GPT-6 Astra改权重 数学分7.9升至48.1

时间：2026年11月2日 地点：美国，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL） 人物：MIT CSAIL 团队研究员 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab。实验涉及三类模型：OpenAI 的 GPT-6 Astra 作为读写权重的主力模型，阿里的 Qwen3.5-0.8B 是被修改的对象，谷歌的 Gemma 3 270M 用作对照。 事件详情：团队在研究博客《Sparks of Weight-Space Programming》中展示了前沿大模型直接读写神经网络权重的能力。最核心的实验里，GPT-6 Astra 不使用任何梯度和训练，只通过 Python 会话直接修改 Qwen3.5-0.8B 的权重，共改动 131072 个权重，占该模型 0.8B 权重的 0.016%，修掉了官方模型卡明确警告过的思考死循环问题。在相同采样设置下，MATH-500 从 7.9% 升到 48.1%，GSM8K 从 13.8% 升到 67.1%，指令遵循基准 IFEval 从 21.0% 升到 62.3%，整个过程最多只用 50 次前向传播预算。团队还展示了另外两类能力：只把权重当文本喂给 Astra，它就能判断小网络训练自哪个游戏、扩散模型画的是什么形状；在 MinAtar 三个游戏上，Astra 一次性从零写出的权重直接超过训练 1 亿步的 PPO 网络。团队把这种让大模型围绕自然语言目标直接读写权重的方法称为权重空间编程（Weight-Space Programming），全部实验日志已在 GitHub 公开。 背景：传统上神经网络权重只能由优化器（如 Adam、Muon）通过梯度下降更新，人类几乎无法手工读写权重；既有的 LLM 读权重研究多依赖专门为该任务训练的模型，或只针对单个神经元做可解释性分析。这项工作的新意在于通用前沿模型原样使用就能理解并改写权重。被修改的 Qwen3.5-0.8B 官方模型卡本身就提示该模型容易陷入思考循环，为实验提供了可对照的已知缺陷。研究也给出边界：对很少死循环的 Gemma 3 270M，Astra 的权重修改没能带来提升，团队认为该方法目前更适合移除障碍，而不是无中生有地增加能力。 影响：若权重空间编程能扩展到更大规模，模型修复与能力调整可能从收集数据再微调变成用自然语言描述后定点改权重，有望压低训练与审计成本，例如直接从权重里排查后门，或在不引入灾难性遗忘的前提下增删能力；团队也把能检查并改进自身权重视为递归自我改进的一条更直接路径。不过团队强调结果仍属早期，受上下文长度和工具框架限制，目前只在 0.8B 级语言模型上验证，尚不能替代正式训练。 总结：MIT CSAIL 团队证明 GPT-6 Astra 能不靠训练直接读写神经网络权重，只改动 Qwen3.5-0.8B 的 0.016% 权重就把它在 MATH-500 上的成绩从 7.9% 提到 48.1%。这是权重空间编程概念的首批系统性实验，提示大模型未来可能成为人与权重空间之间的翻译层。研究同时划出清醒边界：对本身没有明显缺陷的模型，改权重并不能凭空增加能力。团队下一步计划发布该能力的标准化基准与评测框架。 常见问题： 问：权重空间编程是什么意思？ 答：让大模型不经过梯度训练，直接阅读并修改神经网络权重，按自然语言目标完成修复或改写。 问：只改 0.016% 的权重就能大幅提分，这是通用方法吗？ 答：不是，团队实测对很少出错的 Gemma 3 270M 就没带来提升，目前更适合移除模型的已知缺陷。 参考来源： MIT CSAIL 团队研究博客，2026年11月2日发布 https://rikiyat.github.io/blog/weight-space-programming/ 实验完整日志开源仓库 https://github.com/RikiyaT/lm_understand-logs 深潮 TechFlow 报道 https://www.techflowpost.com/en-US/newsletter/142583 digg 报道 https://digg.com/ai/118wtctk Hacker News 讨论 https://news.ycombinator.com/item?id=50341174 Tildes 社区讨论 https://tildes.net/~tech/1wqt/llms_can_natively_read_and_write_neural_network_weights Qwen3.5-0.8B 官方模型卡，含思考循环提示 https://huggingface.co/Qwen/Qwen3.5-0.8B