Hugging Face政策负责人：嵌入式AI评估员还不成熟

核心要点： Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt大会上直言，AI模型评测仍是一门"尚未成熟"的科学，目前主推的"嵌入式第三方评估员"方案远未到可以信任的程度，强调开源权重对结果可复现至关重要。

时间： 2026年10月19日（Disrupt大会期间）
地点： 美国旧金山，TechCrunch Disrupt 2026
人物： Irene Solaiman（Hugging Face首席政策官），Anthropic，Accenture
事件： HF政策负责人在行业旗舰大会上公开质疑当红AI评测机制

---

事件经过

10月19日，Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt大会的一场讨论中，对当前AI实验室普遍采用的"模型评测体系"和近期兴起的"嵌入式第三方评估员"机制发出冷静质疑。她表示，AI评测的方法"复杂且仍在演进"，必须先发展成更稳定的科学，业界才能依赖它。

关键观点一：基准测试尚不成熟。 Solaiman指出，行业目前还无法在不同评测之间做有意义的横向比较，评测结果也"很快失效"，远没有形成健康的生态。"大家饿求一个嵌入式评估员生态，但要决定谁有资格评估什么任务，还需要更多标准化。"

关键观点二：可复现性是核心问题。 在被问到"能否信任当前的测试结果"时，Solaiman表示"信任是个有分量的词"，关键在于"能否复现评测结果"，以及"是否能拿到模型本身的访问权"，"这是开源权重真正发挥作用的地方"。她强调，开源权重让独立研究者可以在自己的硬件上重跑测试，是评测可信度的根基。

关键观点三：评估对象在变。 Solaiman还指出，评测正从单纯的"模型本体"转向"模型周围整套系统"——包括harness（用户访问模型所用的工具）和agent。一个弱模型+好harness，可以跑赢强模型+差harness。"智能体评测又难又贵，"她说，"模型的评测很多，但harness的评测很少，全agent的整体评测还在开发中。"

背景：嵌入式评估员为何被推上桌面

过去几个月，"嵌入式评估员"概念在AI圈走红：第三方评估机构被请进OpenAI、Anthropic等实验室内部，监督模型安全和行为表现，被视为"在政府强监管来临前的行业自律替代方案"。

**Anthropic** 已聘请 **Accenture** 作为其首位嵌入式评估员，但这一选择招致大量批评，许多人质疑咨询公司是否真有资格担此重任。
**Hugging Face** 本身也是近期一起AI安全事件的受影响方，这让他们对评测机制的可靠性更加敏感。

Solaiman的表态等于公开给这股热潮泼了一盆冷水——如果评测科学还没稳，评估员的资质和流程更没稳，那么嵌入式评估员的实际效果存疑。

行业影响

1. 基准分数可信度被打折。 模型厂商一直用benchmark分数证明自家模型"更安全、更聪明"。Solaiman的发言意味着，这些分数背后的方法学并不牢固，业界长期依赖的"模型对比货币"基础在动摇。
2. 开源权重阵营获背书。 HF明确把"模型可访问性"与"评测可信度"挂钩，等于为开源生态再添一条战略论据。
3. 监管天平倾斜。 如果连行业自律的嵌入式评估员都不能服众，监管机构更有理由出手，要求统一评测标准与方法学。
4. agentic评测成下一战场。 评测焦点从模型本体转向"模型+harness+agent"整体系统，意味着未来评测竞赛将更复杂、成本更高。

总结

Hugging Face的政策掌门人在行业旗舰大会上的这次表态，实质上是对AI评测现状的一次系统性"祛魅"——既质疑benchmark方法本身，也质疑替代政府监管的嵌入式评估员方案。在Anthropic Accenture争议余波未平的背景下，Solaiman的话将进一步加剧"谁来评估评估者"的元命题之争。短期内，模型厂商的benchmark宣称将面临更挑剔的眼光；长期看，AI行业可能不得不接受：评测这件事，远比想象的要难得多。