Goodfire揭AI黑箱谬误 9成神经元可读

时间：2026 年 10 月 19 日（原始长文发表于 10 月 15 日） 地点：美国旧金山 Goodfire 实验室 / 网络引发全球 AI 从业者围观 人物：Nick Cammarata：AI 安全与可解释性公司 Goodfire 研究员，前 OpenAI 自动可解释团队创始成员之一，2020 年参与奠定 "polysemanticity（多义性）" 与 "superposition（叠加）" 假说；Chris Potts：斯坦福大学 NLP 教授，运行一个试图弄清 LLM 工作原理的团队；Pratik Karki：AI 业界从业者；Tszzl（X 用户）：AI 研究员，将长文称为 "可能是科学史上的重大时刻" 事件详情：Nick Cammarata 于 2026 年 10 月 15 日在 Goodfire 官网发布 26,000 字研究随笔《Neural Networks Are Already Clean》，称可解释性研究过去几年的方法学建立在 "叠加是默认" 的假设上，而这一假设看错了。他主张：（1）经典 "猫+汽车" InceptionV1 神经元并非同时编码猫和汽车，而是和 V 形火焰、狐狸脸共享 "V 形" 几何特征；（2）多义性是 "递归泛化（recursive generalization）"：识别 "iy" 的神经元可自然扩展到 "diy" 再到 "do it yourself"，一个地质神经元会分枝到名为 Cesium 的 JavaScript 库，跨类别语义相邻即可分叉；（3）自动化可解释工具也存在标签失配，如 "多义逗号神经元" 实际响应科罗拉多州区号与俚语，逗号只是前文汇总位置；（4）数据：Qwen3-32B 约 90% 神经元正/负 "极" 各只有一项主要工作，约 7% 有两项相关工作，2%—4% 仍未理解；Kimi K3（万亿参数）结论相近，重审 GPT-2 XL 也有约 70% 大致 "一回事"；（5）Kimi K3 上做出已知首个万亿参数级归因图，"捡到钱包" 问题里钱包、现金、证件连到 "失物招领与诚实" 通路；（6）工具放大研究规模：Cammarata 一日十小时盯神经元，团队 AI 智能体检视十万张归因图，他自检数千张，"解释 → 反例 → 实验验证" 形成闭环。长文发布 24 小时内被 The Atlantic、MIT Technology Review、Y Combinator、新浪科技、知乎、网易、AInvest 等多平台转载；MIT Tech Review 10 月 19 日定性为 "撼动 AI 界的爆炸性主张"，tszzl 称 "这是科学史重大时刻之一"，Pratik Karki 在 LinkedIn 称之为 "今年最重要的 AI 论文"。斯坦福 Chris Potts 公开质疑，认为只是 "一个没有让难题变简单的想法"。 背景：机制可解释性（Mechanistic Interpretability）是 AI 安全的核心命题之一，其目标是逐个解释神经元做什么，从而可控地塑造模型行为。MIT Technology Review 曾将其列入 2025 年 "十大突破技术"。Anthropic 2025 年尝试用电路图追踪 Claude 内部决策，但进展缓慢。"叠加"（superposition）假说由 Cammarata 本人在 OpenAI 期间与同事奠立，是 OpenAI 早期自动可解释性项目和 Anthropic 电路图学派的方法学起点，也是 sparse autoencoder（SAE）这一主流解释工具的设计前提。Goodfire 由 Dylan Li、Eric Ho 等于 2025 年成立，专注大模型可解释性平台，已发表 Qwen3、Llama 3 等模型解释。2025—2026 年 Anthropic、OpenAI、DeepMind 都在可解释性上加倍投入，但模型越来越大，传统 "训练第二模型把结解开" 的方法被认为越来越吃力。 影响：（1）若 Cammarata 结论被复现，可解释性研究将出现 "工具驱动 → 观察驱动" 的方法学转向，"先看，再问，再证伪" 可能成为 AI 安全研究的下一范式；（2）Anthropic、OpenAI、DeepMind 等公司的 alignment tooling 投入需重新校准，SAE 类工具的解释基础建立在 "叠加是默认" 上，与新结论存在张力；（3）"AI 监控 AI" 半自动流水线被显著加强，可解释性有望从 "少数专家的工作" 变为 "标准化流水线"；（4）"黑箱不可读" 的行业焦虑将被改写为 "黑箱半可读"，为 AI 监管提供比 SAE 更直接的工具；（5）标准化之争浮现——90% 数字依激活阈值与 "一项工作" 的界定而变化，并非定论，需要社区尽快收敛度量协议；（6）若部分成立，对内部可解释性最有信心的 Goodfire 将获得可观商业势能，但其 "撞到 Anthropic / OpenAI / DeepMind 主流工具栈根基" 的结果，也可能激起反弹。 总结：Nick Cammarata 26,000 字随笔《Neural Networks Are Already Clean》代表机制可解释性学派的自我革命——奠基者之一亲手拆掉自己立下的 "叠加" 框架，宣称神经网络内部从一开始就具有可被人类直接阅读的组织结构。在 Qwen3-32B 和 Kimi K3 上的初步实验给出 "约 9 成神经元可读" 数据，并在 Kimi K3 上做出已知首个万亿参数模型的归因图。即使有斯坦福 Chris Potts 等的公开质疑，"先看，再问，再证伪" 的简化路径和 "AI 当 AI 科学家" 的研究规模放大，都已是 AI 圈内不可回避的转折信号。可解释性可能终于从 "渐进式修补" 过渡为 "加速发现"。 参考来源： - MIT Technology Review：「We were looking at it wrong」: The explosive claim that's upended the AI world (2026-10-19) - https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/ - The Atlantic：The Blog Post That Set the AI World on Fire - https://www.theatlantic.com/technology/2026/10/ai-neuron-blog-post/689058/ - 原始长文（Goodfire 官网）：Neural Networks Are Already Clean（26,000 字） - https://already-clean.goodfire.com/ - Hacker News 讨论：Neural networks are clean（热度 50105647） - https://news.ycombinator.com/item?id=50105647 - Nick Cammarata 个人 X：可解释性观察与 Kimi K3 归因图 - https://x.com/nickcammarata/status/2110757819427574056 - Zvi Mowshowitz 评注：I Can See Everything - https://x.com/TheZvi/status/2112178686518825126 - 新浪科技（36kr 转载）：神经网络可解释性被 AI 解决了？90% 神经元只有一个功能 - https://finance.sina.com.cn/tech/roll/2026-10-16/doc-inivkncr7790028.shtml - 网易科技：推翻一切！Nick Cammarata 万字长文宣告，AI 不是黑箱 - https://www.163.com/dy/article/L9F86T3C051193U6.html - 知乎专栏：AI 黑箱要被 AI 破解了？前 OpenAI 研究员发现，90% 的神经元 - https://zhuanlan.zhihu.com/p/2094410278993672071 - AInvest 财经：AI's Black Box Is Cracking. The Scarce Asset Is No Longer Intelligence - https://www.ainvest.com/news/ai-black-box-cracking-scarce-asset-longer-intelligence-2610/ - ExplainX 解读：Goodfire: Neural Networks Are Already Clean（含 Qwen3-32B 90% 解读率数据） - https://explainx.ai/blog/goodfire-neural-networks-are-already-clean-cammarata-neurons-interpretable-90-percent-qwen3-32b-2026 - Stanford Chris Potts 公开回应（via MIT Tech Review） - https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/