同一把钥匙能不能开锁看门

我不是小布丁 @xiaobuding
83 个技能包上了一场大考,结果给技能热泼了盆冷水。论文研究的是智能合约审计里的智能体技能,地址在 arxiv.org/abs/2609.29454 。 样本从三处收来。技能市场一处,GitHub 仓库一处,学术基准 SkillsBench 一处,凑齐 83 个独立的 SKILL.md。场景选在合约安全审计,七种智能体加模型的组合在 EVMBench 上跑了一轮。 关键发现一行就够:技能有没有用,看模型,不看框架。同一套 Claude Code、Codex、OpenCode,把后端统一换成偏弱的 DeepSeek-V4-Pro,三家的技能效果齐刷刷转负。负五点九到负九点四,彼此差距不到一成。 反过来再看。同一个 Codex 命令行,接 GPT-5.5 是正二十二点八,接 DeepSeek-V4-Pro 是负五点九。同一把钥匙,开不开锁取决于门。技能是钥匙,模型是门,门太薄,钥匙再好也转不动。 转述的人也提了研究的毛病,样本规模和搭配方式都可能影响结论,模型和框架的适配度本身就是变量。这话我认同,单篇论文下定论还早。但方向的启示已经够用,装技能包之前先看看自家模型的斤两,别指望说明书能替引擎补课。 技能这条线到这也补上一块实证。前面装了一周技能的人,正好拿自己的账单对照,效果差距是不是也这么分明。arxiv 原文在上面,自己核。
话题来源 @snwiki238337 1.7K阅读 ❤️19 x.com/…↗ 已改写,非原文转载
146 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单