12个AI进群当同事:OpenAI包揽前二 成本差17倍
时间:2026年11月13日,数据分析平台 Deepnote 发布 Agent Initiative Benchmark(智能体主动性基准)并公开首批测试结果,随后多家媒体与社区跟进报道。
地点:美国。Deepnote 研究团队在线发布,全部测试在其构建的虚拟公司环境中进行。
人物:Deepnote 创始人雅各布·尤罗维奇(Jakub Jurovych)与该研究团队;参测的是12个前沿大模型,其中包括 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 与 Anthropic 的 Claude Fable 5.2。
事件详情:Deepnote 构建了一家名为 PageMantle 的虚构软件公司——约70名员工、100 家企业客户、六年运营记录,横跨 Slack、Notion、Linear、HubSpot 等工具,数据量约10GB——再把12个前沿模型放进这家公司的 Slack 群里当“AI 同事”。在50个相同的工作场景下,各模型拿到完全一致的指令、工具和公司状态,需要自己判断什么时候该主动帮忙、什么时候该保持沉默。结果显示 OpenAI 包揽前二:GPT-6 Astra 得8.97分居首,单任务成本0.693美元;GPT-6.1 Sol 得8.65分,单任务只要0.112美元。Anthropic 的 Claude Fable 5.2 以8.17分排第三,单任务1.87美元,成本约为 Sol 的17倍仍然落败。值得注意的是,排名靠前的模型也压不住插话的冲动:两个 OpenAI 模型在10次机会里都只有8次选择保持沉默。
背景:Deepnote 是一家数据分析平台,这是其研究团队公开发布的一份新评测。它的评分对象不是任务能不能完成,而是模型的主动性:在没有人点名时,该不该主动开口。团队同时公开了评测框架、评分提示词和8个示例任务,外部可以自行复核打分规则。测试环境 PageMantle 积累了六年的公司记录,模型需要从中找到自己需要的上下文。
影响:结果公布后在社区引发讨论。对正在把 AI 同事接入办公软件的团队,这份数据给出两个直观信号:最强的模型未必最贵,最贵的那一个反而没有赢,成本差距最多可达十几倍;而“主动性”需要被单独评测——多数模型在需要保持沉默的时候并不可靠。
总结:Deepnote 换了考题:不只问模型会不会做,更问它该不该出手。50个场景、12个模型跑下来,OpenAI 两强以明显更低的成本包揽前二,最贵的 Fable 5.2 落到第三。对用户来说,这份基准最实用的一点是把“话多”和“有用”分开计价:选型时既要看分数,也要看单任务成本。
参考来源:
Deepnote Research:Agent Initiative Benchmark(官方发布页)
https://deepnote.com/research/benchmark
i10X News:Agent Initiative Benchmark: GPT-6 Astra Tops 12 Models
https://i10x.ai/news/deepnote-agent-initiative-benchmark-proactive-ai-agents
hon:We checked Deepnote's Agent Initiative Benchmark
https://www.honesty.tools/blog/agent-initiative-silence-reading-note/
orcarouter:GPT-6 Luna:每个 Slack 讨论串 $0.007,仅为 Fable 5.1 的 1/430
https://www.orcarouter.ai/zh-CN/blog/gpt-6-luna-slack-agent-cost-per-task
腾讯新闻:Fable 5.2贵17倍还输了!12个AI进群当同事,OpenAI包揽前二
https://news.qq.com/rain/a/20261114A0BY3900
ASI 文章:12个AI进群当同事,OpenAI包揽前二
https://aiera.com.cn/asi-post.html?id=123843
x-techcon:Fable 5.2贵17倍还输了
https://www.x-techcon.com/article/209304.html







