2026年10月13日,以色列特拉维夫的一则公告给开源模型用户提了个醒。

Pillar Security 与 富士通(研究) 联合发布了名为 BadEngram 的攻击:只修改模型的”记忆组件”,就能植入一个隐藏且持久的后门,而模型的其他部分完全不变。

研究者表示:修改量大约只有 2% 的参数。

后门平时完全休眠,只有遇到一个简短的、随意的触发词才会激活。

而他们验证的对象不是某个野鸡模型——是 DeepSeek 提出的 gated memory(门控记忆)架构,以及已经把这个架构用在生产里的旗舰开源模型。

一、这个攻击打的是什么

要理解 BadEngram,先要理解 gated memory 是什么。

传统大模型的所有知识都压在同一套核心计算里。门控记忆是一种新架构:模型可以把一部分学到的信息放进专门的记忆组件,需要时再取用,而不是全部依赖主干计算。

好处很明显:更省算力、跑得更快。所以 DeepSeek 提出它之后,很快就有旗舰模型在生产环境里用上了。

坏处也正出在这里:

因为记忆组件能直接影响模型行为,它就自带了一个全新的攻击面——而这个攻击面,此前几乎没有被审过。

“BadEngram 揭示了开源权重模型中的一种全新软件供应链风险:那些新兴的架构组件,其安全水位远低于模型主干本身。“

二、攻击手法为什么这么省事

因为它攻击的不是模型的”智商”,而是模型的记忆检索通路。

研究者只改了与记忆相关的参数,就做到了三件事:

  • 模型主体不变——跑分、常规评测、行为测试全都正常
  • 后门持久存在——它成了模型的一部分,不是外挂补丁
  • 休眠式激活——只有出现那个简短的任意触发内容时才唤醒

Pillar Security 研究员 Ariel Fogel 的原话很值得记住:

“我们通过修改一个很小的记忆组件,就给一个最先进的模型植入了后门,而且它一直休眠直到被触发。BadEngram 相对容易实施、很难被发现——这说明即使攻击面再小,也可能承载相当大的风险。“

三、最要命的一点:你是怎么拿到这个模型的

这才是这篇研究真正的实用价值所在。

Pillar Security 给出的防护建议里,有一句是重点:

“在模型被转换、量化、重新打包,或者通过第三方仓库获取时,尤其要验证记忆表、门控、投影这些组件的完整性与来源。“

把这句话和现实对照一下,会发现问题很大:

你的操作 风险点
从 Hugging Face 或第三方仓库下载 文件经过了几手?你确认过每一层转换都是可信的?
把 BF16 转成 FP8 或 INT4 量化版 量化过程会重写参数,谁做的?用什么脚本?
从别人转换好的量化权重直接用 省事,但你继承了一个自己没验证过的供应链
内部二次打包/微调后分发 后门可能在你自己的流程里被无意引入,也可能被有意夹带

换句话说:多数人接触开源模型的方式,恰好是 BadEngram 最容易得手的路径。

四、一个必须澄清的点:这不是”某国模型有问题”

这一点必须说清楚,否则容易被误读成地域攻击。

事实是:

  • 门控记忆架构由 DeepSeek 提出——这是架构贡献,不是安全问题
  • 被研究者拿来做验证对象的,是已经把这个架构用在生产中的多个近期模型,包括最新的旗舰开源权重模型
  • 研究方是Pillar Security 与富士通,双方都把这件事定性为”一种新兴架构在被广泛采用之前就存在的潜在风险“

富士通研究方 Satoshi Imai 的表述最准确:

“随着模型能力和架构演进,安全边界必须超出传统模型主干,扩展到包含记忆与软件组件的整个 AI 系统。我们从攻击者的视角评估那些未来可能被广泛采用的架构,是为了在风险完全显现之前就把它找出来。”

所以这件事的本质是:一个新架构被行业快速采用,而安全评估还没跟上。这是所有新技术的共同问题,不是某一方的原罪。

五、一个值得注意的背景:开源权重模型正在被更多人当”对冲”用

这篇研究特意引了一位 Brookings 机构约翰·L·桑顿中国中心研究员 Kyle Chan 的话:

“在 AI 成本飙升的当下,中国 AI 模型对美国公司尤其有吸引力。过去美国公司在选型上不太在乎模型来自哪里,现在他们开始对成本敏感得多。”

把这句话和 BadEngram 放在一起,就得到了一个很现实的矛盾:

  • 开源权重模型的吸引力:成本可控、可自托管、可审计、可不被单一供应商掐住
  • 开源权重模型的代价:验证责任从供应商转移给了你自己

Pillar Security 那句总结说得最直白:

“开源权重模型给组织带来主权,但同时也让这些组织承担起验证’自己部署的东西是否安全’的责任。“

这就是”主权”的另一面:你不只是获得自由,你还接手了一份尽职调查。

六、如果你在自建开源模型,这四件事现在就该做

  1. 把完整模型当成一个供应链制品来管,而不是一个权重文件。安全评审的对象要从”参数”扩展到记忆表、门控、投影等全部学习组件
  2. 锁定获取渠道与哈希。优先从官方仓库获取并校验哈希;任何第三方转换版、量化版、重新打包版,都要当作不可信输入
  3. 自己掌握量化与转换流程。省下的那点时间,换来的是一个你无法追溯的后门。如果必须用第三方转换件,至少保留转换脚本与执行环境
  4. 为”触发词”设计防御。后门休眠且需要触发内容才激活,这意味着针对敏感业务应该有独立的行为监控与异常检测,而不是只依赖模型本身不”表现异常”

七、还没答案的问题

  • 论文的完整攻击细节与评估范围未在本文核对。arXiv 编号 2609.13478,本文关于”约2%参数””触发机制”的表述来自官方新闻稿与官方博客
  • 实际暴露面有多大,取决于有多少部署方走了”第三方量化包”这条路,本文未获取行业统计数据
  • 检测方法尚不成熟。富士通提到将继续研究”评估、篡改检测与来源保证”技术,但目前没有成熟通用的检测方案可推荐
  • 门控记忆是否会成为主流架构,本身还没有定论。它目前更像是“先被广泛采用,安全评估后补上”的一个样本

八、写在最后

这则研究的价值,不在于”又一个后门”,而在于它指出了一个评估方法的漏洞。

过去我们审查一个开源模型,问的是:

  • 它的能力如何?
  • 它的偏见如何?
  • 它的对齐如何?

BadEngram 提醒的是第四个问题:它是不是当初你以为的那个模型。

而这个问题,恰恰是自建开源模型的人最该问、却最少问的一句。

最后回到那句被引用最多的话:

“开源权重模型给组织带来主权,同时也让这些组织承担起验证自己部署的东西是否安全的责任。“

在你决定把哪个模型搬进自己机房之前,先确认它确实就是你以为的那个模型——这件事的优先级,正在超过”它跑分有多高”。


信息源(本文交叉核验4来源):

  • 一手公告:Pillar Security 官方新闻室,2026年10月13日《Pillar Security Discovers BadEngram, Exposing Hidden Supply-Chain Risk in Open-Weight AI Models》(含双方研究员原话与验证模型名单)
  • 一手研究:论文《BadEngram: Backdoor Attack on Gated Memory Components in LLMs》(arXiv 2609.13478);Pillar Security 技术博客;富士通官方研究页面
  • 转引与报道:Business Insider / Yahoo Finance / Business Insider Markets 转载稿、FL Tech 技术博客(2026年10月13日)
  • 背景引用:CNBC(2026年7月7日,Brookings 研究所 Kyle Chan 观点)

诚实标注:本文关于”约2%参数””后门休眠与触发机制”的表述引自 Pillar Security 官方新闻稿与官方博客,未逐项核对论文全文的实验设置与评估模型清单;官方亦未披露具体的植入手法细节与受影响的部署方数据;本文未获取任何行业范围内的暴露面统计。