MIT团队：大模型能原生读写神经网络权重

时间：2026年11月2日 地点：美国马萨诸塞州剑桥，MIT CSAIL 人物：Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab，均为 MIT CSAIL 研究人员 事件详情：MIT CSAIL 团队 11 月 2 日发布研究博客《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》，提出“权重空间编程”（Weight-Space Programming）这个概念：通用大模型不必借助梯度下降，也不必写训练循环，直接用自然语言就能读取和改写神经网络的权重。论文中使用的模型是 GPT-6 Astra。读权重方面，团队做了多组实验：面对用 PPO 训练 10 亿步、网络结构完全相同（500-32-32-5，共 17253 个权重）的四个小游戏策略网络，在不告知候选游戏名称的前提下，Astra 全部答对训练的是 Breakout、Pong、Pac-Man 还是 Freeway；对三个 12×12 灰度扩散模型，在不允许前向传播、只给原始权重的条件下，它说得出模型生成的是圆、三角还是方；对三个 720 万参数的小语言模型，在只给出中间四个 transformer 模块、去掉输入层与输出层、且不允许运行网络的前提下，两次尝试都答对了训练语种，并找出的复制头（copying head）与实测结果完全一致。改写权重方面，一个卡在斜坡上的 Kinetix 赛车网络，Astra 一次回复就改动了 3.5% 的权重，1024 局测试的成功率从 0% 变成 100%；在 MinAtar 三个游戏上，不给数据、不给损失函数、不给梯度、不给工具，Astra 直接写出全新权重，打败了 PPO 训练 1 亿步的网络，Breakout 得分 517.4，对比 PPO 训练 1 亿步的 15.8 和训练 5 亿步的 25.3，Seaquest 53.1 对 88.9，Asterix 53.2 对 55.2；在 9×9 围棋上，它写出 148 万参数的全新网络，0 次前向传播就赢过一半对局，给到 50 次前向传播后，其网络击败了同等规模、训练了 2000 万局的 PPO 网络。落到真实语言模型上，团队让 GPT-6 Astra 不做梯度下降也不做训练，直接改写 Qwen3.5-0.8B 的权重：它定位到该模型卡里就警告过的思考死循环，根源是第 15、19 层 MLP 写入的一个方向，于是从 8 亿个权重里改动了 131072 个，占比 0.016%；在 50 次前向传播的预算下，MATH-500 从 7.9% 升到 48.1%，GSM8K 从 13.8% 升到 67.1%，IFEval 从 21.0% 升到 62.3%，触到 32768 token 上限的比例从 93.0% 降到 33.1%；但对本身很少死循环的 Gemma 3 270M，Astra 无法提升其数学能力，MATH-500 最高只从 6.8% 动到 7.7%。团队同时把全部实验日志、提示词与评测代码开源在 GitHub 的 lm_understand-logs 仓库。 背景：长期以来，神经网络的权重由 Adam、Muon 这类符号优化器通过梯度下降写出，权重被当成不可读、不可手工操作的连续参数。近几年人们开始用大模型优化提示词、训练脚本和超参数，但这类 hill-climbing 只适用于文本类制品，可微神经网络的权重始终留在符号算法的地盘里。这项工作把这个边界往外推了一步。 影响：如果结果能被独立复现，权重空间编程意味着大模型可以在不跑推理、不跑评测的情况下审计模型权重，发现后门或隐藏能力；可以用一次性初始化替代训练循环，大幅压缩优化成本；可以只改动极小比例的权重来完成能力添加或遗忘，避免微调常见的灾难性遗忘；甚至可以把推理模块嫁接到架构不同的模型上，递归自我改进因此有了更原生的路径。作者也划了边界：这批结果目前仍受上下文长度和工具效率限制；从权重本身识别谄媚模型，四次尝试全部失败，只有在允许查看注意力模式之后才区分成功；它能移除障碍，但不能创造模型本不具备的能力。 总结：这篇工作的价值不在某一个分数，而在于它给出了一个可检验的命题——大模型已经在用自然语言直接读写权重。团队把它命名为权重空间编程，并表示正在构建对应的基准和工具链，希望把这件事从黑魔法变成可复现的工程学科。需要提醒的是，这目前仍是博客文章，尚未经过同行评议、也没有 DOI，48.1% 这类数字应视为待独立复现的早期结果。 参考来源： MIT CSAIL 研究博客原文《Sparks of Weight-Space Programming》，2026年11月2日 https://rikiyat.github.io/blog/weight-space-programming/ Papers with Code 论文条目 https://paperswithcode.co/paper/131739 实验日志与评测代码开源仓库 https://github.com/RikiyaT/lm_understand-logs 社区讨论 LLMs can natively read and write neural network weights https://tildes.net/~tech/1wqt/llms_can_natively_read_and_write_neural_network_weights Techmeme 讨论串 https://www.techmeme.com/261102/p36 中文编译 大语言模型无需梯度即可读取和编辑神经网络权重 https://news.lavx.hu/zh-Hans/article/da-yu-yan-mo-xing-wu-xu-ti-du-ji-ke-du-qu-he-bian-ji-shen-jing-wang-luo-quan-zhong TLDR 技术简报整理 https://tldr.tech/story/4a188846-67b1-4e23-b16b-a01a0d206c05 Hackeradar 每日摘要收录 https://hackeradar.com/digests/153192