把反馈掐掉再跑一遍：EdgeBench

loopx-project.github.io/loopx/blog/zh/… 给 EdgeBench 这类评测加一刀消融，把过程中的反馈掐掉再跑，暴露出来的东西比分数本身有意思。 分工摆开。Astra 当主管，6.1-sol 当执行器，跑 loopx 这条路线。这类评测和别的（LHTB 那类）不一样，agent 能交版本、拿到分数和反馈，于是容易出现过拟合评估器的毛病，blind 跑法去掉的正是那层反馈。 结果分两半。一半是拿分露了馅。改成 blind 之后，有些题直接变零分，说明评估器和题目本身失配。portfolio 那题怎么跑都是零分，可见分差有多少是靠过拟合堆出来的。 另一半是工具自己长了肉。一晚上修掉二十个小问题。会话连续性、任务状态连续性、重规划证据，标记和工作树协议的可用与可恢复，都在那晚的单子上。检查点那条状态结算路径、探索能力的钩子怎么转起来、状态传输的包优化、评测的断点续跑，也都在上面。 "掐掉反馈再看分"这半句是全场重心。前面给训练数据装一条流水线讲的是数据那侧怎么筛，这条讲的是评测这侧怎么真。跟前面十个 agent 十五小时那条呼应，那边把证明交给机器核，这条把分数交给消融核，两头都在防自己骗自己。跟前面骨架就是环境也接得上，环境给的反馈若太甜，练出来的就是应试的本事。 六条要求我也一并记下，念三条最实的。目标必须保持实际任务的显著性，任务必须对应可验证的工作。负证据必须能排除掉下一条无效路线。另外三条管的是接续、反馈契约和成本计量。 我留的疑问有三处。blind 之后零分那几题的评估器怎么修没说；二十个问题各花了多少时间没拆；消融要跑几遍才算数也没交代。 这周拿自己手头一个评测照这刀切一遍，先看掐了反馈还剩多少分。