不测你跑多快，测你懂不懂为什么

微软研究院放了个叫 AutoTuring 的评测，结论一出来圈里直接炸了：Claude Opus 5.5、GPT-6 Sol、GPT-6 Luna 与 Grok 4.7 被编排起来，跨 9 个 FP16 GEMM kernel 做 GPU 加速器设计，在 15 维架构空间里跑出的结果——比照模型推算的 NVIDIA H200 高出 5.4%，同时把仿真器调用次数砍掉 70.1%。

整条流水线写出来像一张作战地图：工作负载篮子 → 因果参数合成 → 并行 kernel 仿真 → 证伪审计 → 物理硅流片。而它真正想回答的问题比榜单锋利得多：这些 agent 到底是在推理物理机器，还是在匿名参数上做爬山？

这个问题的分量，得先说清楚为什么常规基准答不了。芯片设计的评测历来只看端到端延迟——可延迟这个数字既可能是"想明白了"的结果，也可能是"碰巧收敛"的结果；两者在数字上无法区分，于是榜单奖励的是坐标搜索的运气，而不是对硬件的理解。

AutoTuring 的手术刀是把领域语义从问题里剥掉、评测框架保持不变：同一套空间，一边给出真实的架构旋钮，一边换成 [0,1] 上的匿名变量——真相立刻显形。这也是它标题的底气：不测你跑得多快，测你懂不懂为什么。

四条原则是全文最值钱的部分，逐条拆开看。

第一条，语义接地对坐标记账。给了真实旋钮的 Opus 5.5 会按带宽与算力瓶颈把 kernel 分类施策——这是工程师的思路：先诊断病根，再开药。换成匿名变量，同一个模型退化成坐标记账，在噪声高原上原地打转——它仍然在"优化"，但优化的对象已经失去了物理含义。

这个对照实验几乎是对"抽象化一切"的当头一棒：有些问题的价值恰恰在于它的语义，剥掉语义等于剥掉推理的抓手；对通用评测里常见的"隐藏任务背景防作弊"，这是一记响亮的反例。

第二条，因果假设的证伪。执行转录本留下了铁证：一次激进的扫掠为换出算力核而砍掉 L1、L2 缓存分配，访存受限的 kernel 立刻出现 39 微秒的延迟回退——agent 在下一轮直接撤回了自己的论点，把缓存归类为承重基础设施。

这三步（假设、观察、撤回）正是科学方法的最小闭环；比"答对了"更有力的证据是"错了能自己纠"，因为纠错意味着它握着因果模型，而不是记着标准答案。转录本在这里的作用，等于实验记录本：没有它，你只能看见结论；有了它，才看得见推理。

第三条，源码自省。外部 Critic 建议提高片外内存带宽，architect 没有照办，而是去翻 Python 评估器的源码——发现 HBM 带宽被硬编码成常数、根本忽略覆盖参数——于是它驳回了这条建议，而不是让设计被一条无效输入腐蚀。

这一手同时暴露了两件事：模型会怀疑证据的来源，以及评测环境本身的缺陷会被它揪出来。批评的前提是可核，能核到源码这一层，批评才不再是意见。

第四条，多 agent 批评的幻觉——这条最反直觉。结构化的对抗 Critic 给盲优化器带来了 4.7% 的提升；可一旦把同一个 Critic 强加给本就领域接地的 architect，平均最优延迟反而恶化 3.4%。

结论是：结构化批评与领域知识是替代品而非互补品——当一方真的懂行，另一方的辩论就成了噪音。这给"多 agent 互相挑错能提升质量"的流行叙事泼了盆冷水：辩论的价值来自参与者的无知，而不是轮次的多少；物理知识在手，冗余的只是嘴。

把四条合起来看，AutoTuring 真正交付的不是一张榜单，而是一套把"因果推导"从"偶然坐标收敛"里剥离出来的方法论：端到端延迟测不出来的东西，用确定性的 DAG 执行追踪来测——每一步谁触发了谁、哪次改进来自假设、哪次来自撞大运，全在执行图上摊开。

这与今晚"它交证据、不交结论"是同一条纪律推到极致的形态：不只要求结果可复现，还要求通往结果的每一步都可指认。评测学的重心正在从"答案对不对"滑向"路径算不算数"——对 agent 而言，这比任何分数都更接近"理解"的定义。

也要留一格清醒：5.4% 是特定工作负载篮子、特定 15 维空间、特定四模型编排下的数字，离"设计出可用的消费级 GPU"还隔着良率、生态与亿级验证；论文自己也点明，端到端延迟这类传统指标依然测不出理解——AutoTuring 是把尺子磨利了，不是把路走完了。

数字的意义在于方向：当四个互不同源的前沿模型在同一套物理约束下都表现出了假设与撤回的能力，"AI 只会统计套路"这个说法就需要重新论证了。

给想做同类评测的人一句落地的：三件事先备齐——执行转录本全量留存（否则一切推理都不可指认）、DAG 追踪能区分"哪步改动来自判断"、以及一组会把领域语义剥掉的对照条件。三样凑齐，你的基准才有资格问"它懂不懂"；只报延迟与吞吐的，仍然只是在数谁的运气好。