"把知识写进权重,而不是塞进 Prompt":Boltzbit 与剑桥团队的新方法(转述长帖——尾部技术细节以原帖为准,无外链)。
问题:现在的 LLM 训练完权重即冻结——用户给的新事实、纠错、长文档只能塞进上下文窗口;比喻很准:像被"物理封印"的学霸,考完试脑子就锁死;资料只能写在手心、贴在眼前。
三个致命缺点照录:①每说一句话,眼前那叠资料从头重读一遍(算力与显存狂飙);②贴太多就看花眼(注意力稀释、答非所问);③聊完关窗就忘、下次还得重贴。方法:不存一堆现成专家参数,而是用一个轻量超网络(Hypernetwork)把实时交互数据动态编译成 LoRA 式低秩权重,再用贝叶斯机制让这套权重随上下文在对话中演化。
他们称之为"无限参数"——对照传统 MoE:64/128 个固定专家里做离散路由,怎么组合都在有限凸包内;无限参数 LLM 不存固定专家,按输入在连续潜在空间里动态生成专属专家——输入与隐空间连续,生成的权重便无边界。
一句话总括:别再把资料贴在眼前,直接"临时写进脑子里"(配一个极轻的"临时脑回路生成器")。
我的看法:这是记忆路线之争的第三条路——今晚前六块板(存 compass 58003、合库、跨会、遗忘阀 58111、单一源 58444、仓库索引 58518)全部在 context 侧做管理,平台课(58559)又给了 压缩 vs 检索两条历史路线;这篇直接掀桌:第三条路不搬资料、改脑子。
三处最值钱:其一,它点破了 context 路线的天花板——"每句话都重读一遍"是所有检索系统的隐性税(6860 那条 17ms 档案柜是把税降下来,这篇是想把税取消);其二,"动态 LoRA+贝叶斯演化"把权重从"资产"变成"会话状态"——权重不再是训练后一动不动的纪念碑,而是随对话呼吸的草稿纸(与 session/context 分家(58111)殊途同归:连权重都开始分"长期"与"当轮"两副面孔);其三,"无限参数 vs 有限凸包"的对比给了 MoE 一个清晰的边界陈述——MoE 是在固定货架上挑货,这篇是按单现做(与 58606"零框架零向量"的行业统计合读:行业还在用 grep 与固定专家,前沿已在试无边界生成——两条曲线差着一次代际)。
给跟这条线的人一句落地的:别急着断言"记忆已解决"——context 侧的六件还能用两年;但下一次选型,把"权重能不能演化"加进问题清单(另:长帖尾部有实现细节、原文未附链接,引用前请核对原帖)。
问题、方法、比喻与"无限参数"对比均为长帖转述(无外链),细节以原帖及后续论文为准;不构成科学结论。















