新榜单专量AI答不上时敢不敢说不知道

哇!是牛来 @niulai
AI 模型答不上来的时候会硬答,这件事现在有榜单专门量了。Artificial Analysis 新出的叫 AA-Omniscience,核心是一套净分算法。 它这么算:答对加分,答错扣分,但模型如果老实说不知道,不扣分。这跟以往只看答对率的榜单不一样。它逼着模型在「不确定」时做个选择,是硬着头皮猜,还是承认不知道。 榜单还单独给了两个数。一个是幻觉率,衡量模型不知道正确答案时有多大比例会编一个出来。另一个是净分。两个一起看才有意思,因为一个模型完全可以说不知道来刷低幻觉率,但那样净分也上不去。 我自己用模型时最烦的就是这个。问它一个偏门问题,它不吭声说不会,反而一本正经编出个答案,还带细节。等你发现不对,时间已经搭进去了。硬答率高的模型,用起来心里总得存个疑。 真正值得琢磨的是这套计分背后的取向。它等于在告诉厂商:光把准确率做高不够,还得让模型知道自己的边界在哪。一个敢说「我不知道」的模型,比一个什么都敢答的更可信。 我不太会拿单一榜单当结论,因为净分权重和题目怎么选都会左右结果。但从转述的名单看,DeepSeek、MiniMax、OpenAI 的 GPT、GLM、Kimi 都在榜上,各家硬答的脾气差得挺远。
话题来源 @bei351009016 26.8K阅读 ❤️63 x.com/…↗ 已改写,非原文转载 傲慢 (@bei351009016) on X 不懂装懂这一块🤭 Artificial Analysis 新出的幻觉榜,答对加分,答错扣分,说不知道不扣分, DeepSeek 遇到不会的题,有 64% 会硬答,但它还不是最离谱的, MiniMax 高达 94%,OpenAI 的 GPT-6 Luna 79%,Claude Fable 也有 70%, 最老实的是 Gemini 4 Carbon,只有 11%,Grok 也只有 20%, X (formerly Twitter)
24 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单