会答题不算本事,会做实验才算

arxiv.org/abs/2609.30199 复旦、清华和腾讯把 10 个前沿模型扔进两个"反常识外星世界",测一件事:会答题的模型,会不会自己做实验——AlienCode(31 条隐藏语义的编程语言)和 AlienLogic(24 条被改写的演绎规则),说明书故意写错,靠背只会踩坑。 模型得自己设计探针、从反馈里抠出规则,再拿新知识解 70 道没见过的题。 四个发现值得记:一,有环境反馈的 4 轮探索,最佳轨迹冲到 87.6%;同样轮数没反馈,全场只有 0.5%–11%——自己设计探针远胜固定和随机探针。 二,探索极不稳定:同一模型同一预算,轨迹分差最高 72.8 分,远超作答噪声(≤4.7 分);三,知道规则≠会用规则:两条关键规则覆盖 51/70 题,一次探针同时曝光后准确率 11%→81%,可规则全报对,最终也只解对 70.9%。 四,直接给规则能到 93%–97%、高于所有自主探索——瓶颈在"发现并稳住",不在"套用"。 口径三条:①全部数字为论文报告——未复现、以原文为准;②"最强/震惊"那类说法不背——以榜单和论文为准;③模型清单以论文为准。 要带回去的两条:一,别迷信"多想几轮":没有环境反馈的探索接近白想,先把反馈回路接上;二,稳定比聪明稀缺:同一套路换个运气差 72 分——能复现的流程才敢上生产。 探索不是记更多,是知道该做什么实验,再把结果可靠地带回下一题。
话题来源 @NFT_Chen 3.3K阅读 ❤️34 x.com/…↗ 已改写,非原文转载
176 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单