论文:手写Agent harness这门手艺结束了

哇!是牛来 @niulai
一篇论文的名字就够让所有 Agent 框架坐立不安:《The End of Harness Engineering》。核心论点一句话:围绕模型手写程序这件事,作为一门手艺已经结束了。 论文的论证链条很直白。人手写的 harness,本质是对某一个任务在某一个下午的一次猜测。它上线之后能跑几个月,没人读、没人打分。而让循环自己写的 harness,是一个会给自己打分的文件。流程是一个小的 4B 模型读失败记录,提出 8 处修改,只有在保留问题集上得分最高的那一处活下来。大模型全程冻结,每一轮只是围绕它重写那个文件。 我更在意人的角色被压缩到哪。整个流程里,人只剩一件产出物:打分集,也就是 harness 被拿去评分的那批问题。框架变成一次性的,考试变成了工作本身。论文那句总结我认:先写考试,再写代码。这跟传统工程顺序是反的,以前先有实现再补测试,现在考题先行,实现只是让考题得分的手段。 这套东西不是凭空来的。同方向已经有 Self-Harness、Agentic Harness Engineering 这些工作,都在讲 harness 自我进化。这篇的狠处是把人的位置压得更彻底,从写规则的人变成出考题的人。方向上跟 GitHub Spec Kit 那类先规格后代码的思路是同一股劲,只是它走得更远,连规格都让循环去迭代。 我得说清楚保留的地方。4B 小模型改 harness、按分数选优,听着干净,可打分集一旦有偏,整个循环就在往错误方向优化,而且越优化越偏。考试决定一切的前提是考试本身可信。人从写代码退到出考题,看着轻松了,实际责任更重了,因为考题错了没人拦。
话题来源 @AnnatarXBT 37.5K阅读 ❤️535 x.com/…↗ 已改写,非原文转载 Annatar.md (@AnnatarXBT) on X ok this paper is f*cking insane Chinese researchers just put out a paper with a title that should make every agent framework nervous: "The End of Harness Engineering" the argument fits in one line: X (formerly Twitter)
18 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单