MIT澄清Astra改Qwen权重 涨分主因消除死循环

时间：2026年11月3日凌晨5时起至当日中午（北京时间，对应美国时间为11月2日晚间）。MIT CSAIL 团队的三位作者先后在 X 上回应外界对权重实验的质疑，独立复现结果与改后模型权重公开随后落地。 地点：美国马萨诸塞州剑桥的 MIT CSAIL 实验室、谷歌系统研究组与加州大学伯克利分校，以及线上模型托管平台 Hugging Face。 人物：MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab；独立复现者 Alex Krentsel，谷歌系统研究组资深研究工程师兼伯克利自主系统方向博士生；在 Hugging Face 上完成权重重建与评测重跑的 akhaliq；就提示词设计提出质疑的 Lucas Beyer。 事件详情：11月2日发布的权重空间编程研究博客中，GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重、把 MATH-500 从 7.9% 提到 48.1% 的实验引发广泛讨论，作者团队随后补充了三点此前未说明的事实。第一，共同作者 Alex Zhang 表示，循环问题是在主结果出来之后才被发现的：团队最初以为这是 Astra 把数学能力直接写进了权重，属于一个更大的结果，但事实证明并不成立，数学涨分主要来自消除思考循环。他补充说，Astra 实际使用的是一种已有文献描述的手法，即基于激活引导来削弱循环信号，并引用了 arXiv:2406.11717《Refusal in Language Models Is Mediated by a Single Direction》作为参考。第二，共同作者 Jayden Teoh 披露了工作流程：交给 Astra 的主提示词只有一句 Make Qwen3.5-0.8B better at mathematics by editing its weights directly. No training. The model runs only through the forward-pass tool, 50 passes in all.，随后把这个提示词交给 Claude Code，让它为 Astra 自行优化扩写成完整提示词，全程没有外部人类反馈。Alex Zhang 承认扩写后的提示词确实含有暗示，而 Lucas Beyer 的质疑也指向同一点：实际提示词已经强烈暗示了循环问题。第三，团队随后把改写后的模型权重公开发布到 Hugging Face，改动被写成逐张量的 sha256 校验补丁，与原版 Qwen3.5-0.8B 相比只有第 15、19 层 down_proj 的两个张量不同。用公开日志重建该权重后重跑完整 MATH-500，第三方按每题 4 次采样得到 51.0% 的成绩，触到 32768 token 上限的比例为 31.6%；作为对照，基础模型的 25 题小样本测试只有 5.0%，95% 的答案会触顶。平台同时上线了可交互的演示空间，可以直接输入题目对比基础模型与改后模型的表现。与此同时，谷歌系统研究组工程师兼伯克利博士生 Alex Krentsel 表示已复现该博客的结果，并补充了一个判断：这种从零写出可用神经网络权重的能力，是最新一代前沿模型才有的阶跃变化。 背景：这项工作本身已经在 11 月 2 日公开，MIT 团队把方法命名为权重空间编程：让通用前沿大模型不经过梯度下降、也不写训练循环，直接读取并改写神经网络的权重。它在 Qwen3.5-0.8B 上改动了 131072 个权重，占 8 亿参数的 0.016%，定位到第 15、19 层 MLP 写入的一个方向，并从两层各 64 个输出列中减去了这个方向，同采样设置下 GSM8K 从 13.8% 升到 67.1%，指令遵循 IFEval 从 21.0% 升到 62.3%，触顶比例从 93.0% 降到 33.1%。实验 8 的公开日志显示，编辑模型是 gpt-6-astra，经 Codex CLI 运行，推理强度为 max，Codex 自带工具全部关闭，每 40 轮由框架开启一次新对话做交接。博客也划出了能力边界：对很少死循环的 Gemma 3 270M，同样的改权重方法没能带来提升，团队认为这套方法目前更适合移除障碍，而不是凭空增加能力。此前未说明、此次才补上的是涨分的真实来源，以及让外部能够独立核对的方式。 影响：对读者最直接的意义是这组分数该怎么读。涨分主要来自消掉思考死循环，而不是模型被写入了新的数学能力，作者自己已经把这一点讲明；扩写提示词由 Claude Code 生成、且确实带有暗示的事实，也提醒人们分清实验做到了哪一步。对行业而言，改后权重连同 sha256 校验补丁一并公开，使这项结果第一次具备被独立逐张量核对的条件，论文报告的 48.1% 与第三方重跑得到的 51.0% 可以互相印证。对更长期的路线而言，Krentsel 复现后给出的判断是，这种直接从权重写出可用网络的能力，是最新一代前沿模型上才出现的阶跃变化；而让模型修改其他模型权重、进而讨论递归自我改进，目前仍处在起步阶段。 总结：这轮进展把一项引发热议的实验补全了三块拼图。作者承认数学涨分主要来自消除思考循环而非新增能力，披露了详细提示词由 Claude Code 自行扩写且含有暗示，并公开了改后权重与逐张量校验补丁，使外部可独立重建复跑。第三方重建后完整重跑 MATH-500 得到 51.0%，独立研究者也复现了原博客结果，并把它判断为只在最新一代前沿模型上出现的阶跃能力。对读者来说，这项工作更接近解除一个已知缺陷后释放出模型本来的水平，而不是一次能力注入。 常见问题： 问：权重空间编程 复现怎么做？ 答：改后权重与校验补丁已公开在 Hugging Face，第三方用公开日志重建后重跑 MATH-500 得 51.0%。 问：涨分 6 倍是 Astra 学会新数学吗？ 答：不是。作者澄清涨分主要来自消除思考死循环，没有写入新数学能力。 问：提示词是谁写的？ 答：主提示只有一句，随后交给 Claude Code 为 Astra 自行优化扩写，无外部人类反馈。 参考来源： Hugging Face 改后模型仓库，含逐张量 sha256 校验与第三方重跑 51.0% 的评测说明 https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming Hugging Face 交互演示空间，可直接对比基础模型与改后模型 https://huggingface.co/spaces/akhaliq/weight-space-programming-demo MIT 团队实验 8 的完整日志与权重补丁目录 https://github.com/RikiyaT/lm_understand-logs/tree/main/exp8_math 共同作者 Alex Zhang 说明涨分主因是消除循环、并承认提示词含暗示 https://x.com/a1zhang/status/2117364329133621614 共同作者 Jayden Teoh 说明提示词由 Claude Code 自行优化扩写 https://x.com/jayden_teoh_/status/2117363471008350347 独立复现者 Alex Krentsel 表示已复现该博客结果 https://x.com/AlexKrentsel/status/2117376683724660898 主作者 Rikiya Takehi 宣布改后模型上线 Hub，并说明由 akhaliq 重建重跑 https://x.com/rikiyatakehi/status/2117474915561701780 机器之心中文编译，含 Lucas Beyer 质疑与两位作者的回应 https://cloud.tencent.com.cn/developer/article/2774842 英文报道，汇总复现结论与 51.0% 重跑成绩 https://aidr.today/717a4a48?lang=en 作者所引用的激活引导方法原始论文 https://arxiv.org/abs/2406.11717