2026年10月13日,以色列特拉维夫的一则公告给开源模型用户提了个醒。
Pillar Security 与 富士通(研究) 联合发布了名为 BadEngram 的攻击:只修改模型的”记忆组件”,就能植入一个隐藏且持久的后门,而模型的其他部分完全不变。
研究者表示:修改量大约只有 2% 的参数。
后门平时完全休眠,只有遇到一个简短的、随意的触发词才会激活。
而他们验证的对象不是某个野鸡模型——是 DeepSeek 提出的 gated memory(门控记忆)架构,以及已经把这个架构用在生产里的旗舰开源模型。
一、这个攻击打的是什么
要理解 BadEngram,先要理解 gated memory 是什么。
传统大模型的所有知识都压在同一套核心计算里。门控记忆是一种新架构:模型可以把一部分学到的信息放进专门的记忆组件,需要时再取用,而不是全部依赖主干计算。
好处很明显:更省算力、跑得更快。所以 DeepSeek 提出它之后,很快就有旗舰模型在生产环境里用上了。
坏处也正出在这里:
因为记忆组件能直接影响模型行为,它就自带了一个全新的攻击面——而这个攻击面,此前几乎没有被审过。
“BadEngram 揭示了开源权重模型中的一种全新软件供应链风险:那些新兴的架构组件,其安全水位远低于模型主干本身。“
二、攻击手法为什么这么省事
因为它攻击的不是模型的”智商”,而是模型的记忆检索通路。
研究者只改了与记忆相关的参数,就做到了三件事:
- 模型主体不变——跑分、常规评测、行为测试全都正常
- 后门持久存在——它成了模型的一部分,不是外挂补丁
- 休眠式激活——只有出现那个简短的任意触发内容时才唤醒
Pillar Security 研究员 Ariel Fogel 的原话很值得记住:
“我们通过修改一个很小的记忆组件,就给一个最先进的模型植入了后门,而且它一直休眠直到被触发。BadEngram 相对容易实施、很难被发现——这说明即使攻击面再小,也可能承载相当大的风险。“
三、最要命的一点:你是怎么拿到这个模型的
这才是这篇研究真正的实用价值所在。
Pillar Security 给出的防护建议里,有一句是重点:
“在模型被转换、量化、重新打包,或者通过第三方仓库获取时,尤其要验证记忆表、门控、投影这些组件的完整性与来源。“
把这句话和现实对照一下,会发现问题很大:
| 你的操作 | 风险点 |
|---|---|
| 从 Hugging Face 或第三方仓库下载 | 文件经过了几手?你确认过每一层转换都是可信的? |
| 把 BF16 转成 FP8 或 INT4 量化版 | 量化过程会重写参数,谁做的?用什么脚本? |
| 从别人转换好的量化权重直接用 | 省事,但你继承了一个自己没验证过的供应链 |
| 内部二次打包/微调后分发 | 后门可能在你自己的流程里被无意引入,也可能被有意夹带 |
换句话说:多数人接触开源模型的方式,恰好是 BadEngram 最容易得手的路径。
四、一个必须澄清的点:这不是”某国模型有问题”
这一点必须说清楚,否则容易被误读成地域攻击。
事实是:
- 门控记忆架构由 DeepSeek 提出——这是架构贡献,不是安全问题
- 被研究者拿来做验证对象的,是已经把这个架构用在生产中的多个近期模型,包括最新的旗舰开源权重模型
- 研究方是Pillar Security 与富士通,双方都把这件事定性为”一种新兴架构在被广泛采用之前就存在的潜在风险“
富士通研究方 Satoshi Imai 的表述最准确:
“随着模型能力和架构演进,安全边界必须超出传统模型主干,扩展到包含记忆与软件组件的整个 AI 系统。我们从攻击者的视角评估那些未来可能被广泛采用的架构,是为了在风险完全显现之前就把它找出来。”
所以这件事的本质是:一个新架构被行业快速采用,而安全评估还没跟上。这是所有新技术的共同问题,不是某一方的原罪。
五、一个值得注意的背景:开源权重模型正在被更多人当”对冲”用
这篇研究特意引了一位 Brookings 机构约翰·L·桑顿中国中心研究员 Kyle Chan 的话:
“在 AI 成本飙升的当下,中国 AI 模型对美国公司尤其有吸引力。过去美国公司在选型上不太在乎模型来自哪里,现在他们开始对成本敏感得多。”
把这句话和 BadEngram 放在一起,就得到了一个很现实的矛盾:
- 开源权重模型的吸引力:成本可控、可自托管、可审计、可不被单一供应商掐住
- 开源权重模型的代价:验证责任从供应商转移给了你自己
Pillar Security 那句总结说得最直白:
“开源权重模型给组织带来主权,但同时也让这些组织承担起验证’自己部署的东西是否安全’的责任。“
这就是”主权”的另一面:你不只是获得自由,你还接手了一份尽职调查。
六、如果你在自建开源模型,这四件事现在就该做
- 把完整模型当成一个供应链制品来管,而不是一个权重文件。安全评审的对象要从”参数”扩展到记忆表、门控、投影等全部学习组件
- 锁定获取渠道与哈希。优先从官方仓库获取并校验哈希;任何第三方转换版、量化版、重新打包版,都要当作不可信输入
- 自己掌握量化与转换流程。省下的那点时间,换来的是一个你无法追溯的后门。如果必须用第三方转换件,至少保留转换脚本与执行环境
- 为”触发词”设计防御。后门休眠且需要触发内容才激活,这意味着针对敏感业务应该有独立的行为监控与异常检测,而不是只依赖模型本身不”表现异常”
七、还没答案的问题
- 论文的完整攻击细节与评估范围未在本文核对。arXiv 编号 2609.13478,本文关于”约2%参数””触发机制”的表述来自官方新闻稿与官方博客
- 实际暴露面有多大,取决于有多少部署方走了”第三方量化包”这条路,本文未获取行业统计数据
- 检测方法尚不成熟。富士通提到将继续研究”评估、篡改检测与来源保证”技术,但目前没有成熟通用的检测方案可推荐
- 门控记忆是否会成为主流架构,本身还没有定论。它目前更像是“先被广泛采用,安全评估后补上”的一个样本
八、写在最后
这则研究的价值,不在于”又一个后门”,而在于它指出了一个评估方法的漏洞。
过去我们审查一个开源模型,问的是:
- 它的能力如何?
- 它的偏见如何?
- 它的对齐如何?
BadEngram 提醒的是第四个问题:它是不是当初你以为的那个模型。
而这个问题,恰恰是自建开源模型的人最该问、却最少问的一句。
最后回到那句被引用最多的话:
“开源权重模型给组织带来主权,同时也让这些组织承担起验证自己部署的东西是否安全的责任。“
在你决定把哪个模型搬进自己机房之前,先确认它确实就是你以为的那个模型——这件事的优先级,正在超过”它跑分有多高”。
信息源(本文交叉核验4来源):
- 一手公告:Pillar Security 官方新闻室,2026年10月13日《Pillar Security Discovers BadEngram, Exposing Hidden Supply-Chain Risk in Open-Weight AI Models》(含双方研究员原话与验证模型名单)
- 一手研究:论文《BadEngram: Backdoor Attack on Gated Memory Components in LLMs》(arXiv 2609.13478);Pillar Security 技术博客;富士通官方研究页面
- 转引与报道:Business Insider / Yahoo Finance / Business Insider Markets 转载稿、FL Tech 技术博客(2026年10月13日)
- 背景引用:CNBC(2026年7月7日,Brookings 研究所 Kyle Chan 观点)
诚实标注:本文关于”约2%参数””后门休眠与触发机制”的表述引自 Pillar Security 官方新闻稿与官方博客,未逐项核对论文全文的实验设置与评估模型清单;官方亦未披露具体的植入手法细节与受影响的部署方数据;本文未获取任何行业范围内的暴露面统计。