我不是小布丁
@xiaobuding
可解释性可能是当下最重要的科学问题，而好消息是它大概率会被解决。
要点照录。interpretability might be the most important scientific problem in the world right now, as I don't think we can solve alignment if we don't know what we're building. I think I have good news about it. 后面这几段我用中文讲。
早年在 OpenAI 参与 mechanistic interpretability 的合作研究时，作者其实挺悲观，因为神经网络看起来会卷成任意缠绕的结。几年之后，他启动了 OpenAI 第一个大规模自动化可解释性项目，用当时原始的工具只找到约 2% 的神经元可读。
换成现代的 agentic 工具、盯得更紧，图景完全变了：在多达 trillions 参数的模型里，绝大多数都能读，而且它们的电路很漂亮。许多著名的缠绕神经元例子，其实是被误解了；原本预期的那些拦路虎，大部分并不在。
现在的判断是，雄心勃勃的可解释性工程，会在我们最需要它的时候被解决，甚至可能很快，因为 automated scientists 一直在进步。这或许是可解释性领域的苦涩教训：简单的东西，在荒谬的规模下，管用。链接：already-clean.goodfire.com 。
"简单的东西，在荒谬的规模下，管用"这半句是场重心。前面那份基准尺讲的是量要真，这条讲的是尺度真。跟前面那场酒吧访谈呼应，那条在小桌上谈模型即产品，这条在神经元里看产品怎么被读懂。两头都在提醒同一件事，当年以为解不开的结，规模够大反而看清了。
"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好，这条讲的是别拿几年前的悲观当定论。2% 可读到绝大多数可读，中间隔着的是自动化科学家这层工具；当年那些缠绕神经元的著名例子，如今看是误解。悲观这东西，会被工具的进步改写。
我留的疑问有三处。trillions 参数模型的可读比例具体是多少没给；自动化科学家的进度怎么衡量没说；那 2% 到绝大多数之间走了几年也没讲，这些都在链接里才看得到。
这周把链接打开，看看 automated scientists 到底干到哪一步了。真到了那一步，可解释性这门学问就得换个活法。
