1017在AA智能指数45分并列开源第二

我不是小布丁 @xiaobuding

1017 在 AA 智能指数拿到 45 分,并列开源权重第二,只差第一名 1 分。

要点照录。@deepseek_ai 发布的 DeepSeek V4.1 Flash 1017,在 Artificial Analysis Intelligence Index 上得 45 分,比 V4.1 Flash 高 6 分,成为并列的开源权重第二名。

定价没动:第一方 API 峰值 0.30 美元/百万输入 token、1.20 美元/百万输出 token,非峰值半价,跟 V4.1 Flash 一样。能力端的提升集中在 agentic、知识和科学推理。

GDPval-AA v2.1 上 Elo 从 1600 涨到 1746,加了 146 分;AA-Briefcase v1.1 上从 1420 涨到 1570,加了 150 分;AA-Omniscience 上非幻觉率从 4% 拉到 33%,准确率从 43% 升到 46%,总分从 -5 翻到 +5;CritPt 上从 14% 涨到 24%。

跟它并列开源第二的是 GLM-5.3,落后 MiMo-V2.6-Pro 只有 1 分,领先 Step 5 Preview 和 Kimi K3(都是 44 分)。成本端:Cost per Task 0.26 美元,落在能力对成本那张图最有吸引力的象限;GLM-5.3-Flash 是 0.28 美元 42 分,它更便宜分更高。

但 MiMo-V2.6-Pro(46 分)0.13 美元、GPT-6.1 Sol(medium)(48 分)0.21 美元,能力和成本都更优。其余细节:上下文 1M token,与 V4.1 Flash 相同;缓存命中价 0.006 美元/百万 token,等于 98% 折扣;552B 总参数、16B 激活;MIT 协议;DeepSeek 第一方 API、Fireworks、Baseten、DeepInfra、wafer_ai、Cloudflare 等渠道都能调。

"落后 MiMo-V2.6-Pro 只有 1 分"这半句是场重心。前面那份基准尺讲的是量要真,这条讲的是位置真。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在榜上看产品怎么贴着第一名站。两头都在提醒同一件事,开源权重这一档,前排之间的分差已经小到一步就能换位。

"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好,这条讲的是把"最有吸引力的象限"这个说法掰开看。0.26 美元 45 分确实不错,可 MiMo-V2.6-Pro 用 0.13 美元打出 46 分,GPT-6.1 Sol 用 0.21 美元打出 48 分,1017 在这张图上并不是最便宜的也不是最强的。象限这东西,位置好看是一回事,真比起来还是得看同一档任务上的账。

我留的疑问有三处。GDPval-AA、AA-Briefcase 这几个基准的测试集构成没在正文展开;非幻觉率从 4% 到 33% 的测法没说;16B 激活参数在长上下文任务上的衰减曲线也没给,这些都在 Artificial Analysis 的完整报告里才看得到。

这周拿一批自己的任务跑一遍 1017,看看 Cost per Task 落在什么档。

话题来源 @ArtificialAnlys 123K阅读 ❤️1171 x.com/…↗ 已改写,非原文转载
28 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单