Ai2发布StateBench 前沿模型最难档仅13%

时间：2026年11月3日 地点：美国西雅图，Allen Institute for AI（Ai2）官方博客发布，技术报告、数据集与代码同步开放 人物：Ai2 研究团队；被测试的前沿模型包括 Google Gemini 3.8 Flash、Anthropic Claude Opus 5.5、OpenAI GPT-6 Sol 与 GPT-6 Luna；开源模型一侧是 Ai2 自家的 Olmo 3（纯 Transformer 架构）与 Olmo Hybrid（加入 Gated DeltaNet 层的混合架构），以及 2.75 亿与 27 亿参数的小模型 事件详情：Ai2 发布长上下文状态追踪基准 StateBench，代码在 https://github.com/allenai/state-bench ，数据集在 https://huggingface.co/datasets/allenai/state-bench ，技术报告见 https://allenai.org/papers/statebench 。StateBench 衡量的是模型在长文档中能否持续跟踪实体状态的变化，并把它拆成四个难度层级：R-trivial 用不可变赋值，等同代码里的 let x = 4，模型只需还原最初的值；Aperiodic 允许按值重新赋值，模型需要找到最近一次的值；Soluble 引入自引用更新，例如 x = x + 5，模型必须把变化一路累加而不是只找最后一次赋值；General finite 再加入按引用赋值，例如 x = y 或两个变量互换位置，对应 S₅ 状态追踪问题，属于最难的一档。四个层级由同一串变量赋值派生而来，变量数量、取值和赋值出现的位置完全一致，只有赋值类型不同，因此可以公平横向比较。Ai2 称这四档在理论上对应克罗恩-罗兹代数（Krohn–Rhodes）中不同的有限单胞类。 背景：状态追踪是很多真实任务的底座，读代码时变量被反复赋值，读侦探小说时要记住谁把什么交给了谁。Transformer 在长依赖链的状态追踪上有明确的理论上限，这正是 Gated DeltaNet 这类递归式与混合式架构被提出来的原因。但以往的状态追踪测试往往只盯着最难的一档，业界并不知道不同架构各自能应付哪一档、又在什么长度开始崩溃。 影响：在开源预训练模型上，Ai2 测试了 Olmo 3（70 亿参数 Transformer）、Olmo Hybrid（70 亿参数、加入 Gated DeltaNet 层）以及 2.75 亿和 27 亿参数模型，这些模型训练时都没有见过超过 64000 token 的上下文，多数测试输入远超该长度。结果是几乎所有模型在 R-trivial 上表现良好，随输入变长在 Aperiodic 上掉分，在 General finite 上停留在随机水平，而且题型表述会显著影响成绩——2.75 亿参数的混合模型和 Gated DeltaNet 模型在 RULER 风格的 R-trivial 题上接近满分，换成电子表格编辑式的表述就接近随机。前沿模型的结果更刺眼：Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 与 GPT-6 Luna 在 R-trivial 和 Aperiodic 上都做得不错，但在 Soluble 与 General finite 上随输入变长准确率急降，最长的 General finite 题上只有 13% 或更低。Ai2 判断这更多来自架构本身而非预训练数据不足，于是从零训练了多个 2.75 亿参数模型（两种 Transformer 变体、两种混合模型、两种记忆更新约束不同的 Gated DeltaNet 变体），训练序列最长 256 次赋值，测试序列最长 64000 次赋值，即训练长度的 250 倍。Gated DeltaNet 与混合模型在 R-trivial、Aperiodic、Soluble 三档上几乎完美外推到数万次赋值，Transformer 学到了简单档位但在长序列上退化、始终学不会 General finite；记忆更新更灵活的 Gated DeltaNet 变体把接近满分的区间推到训练长度的约 10 倍。对做长上下文应用的团队，这组结果的含义很直接：只堆上下文长度并不解决问题，换成带运行中记忆的架构可能才是关键。 总结：StateBench 把模型在长文档里还能不能记住状态，从一句模糊的抱怨变成了四个可比较、可复现的刻度，并把数据集、代码和技术报告一次性放出。对 Ai2 自己，这是给下一代架构立的靶子；对开发者，它提示评估长上下文能力时该测什么、在哪里能看到天花板。Ai2 也留下了开放问题：他们证明带非负特征值、记忆更新受限的 Gated DeltaNet 在定精度舍入条件下能解决全部 Aperiodic 任务和部分周期任务，但它在层级中的确切位置仍未确定；此外 StateBench 假设变量数量固定，尚未覆盖长对话中不断出现新实体、新对象的场景。 参考来源： Ai2 官方博客：StateBench 发布说明（2026年11月3日） https://allenai.org/blog/statebench Hugging Face 官方博客：StateBench 长上下文状态追踪基准 https://huggingface.co/blog/allenai/statebench Hugging Face 数据集：allenai/state-bench https://huggingface.co/datasets/allenai/state-bench GitHub 开源代码库：allenai/state-bench https://github.com/allenai/state-bench Ai2 技术报告页面：StateBench https://allenai.org/papers/statebench AI Weekly Malaysia 报道：StateBench 发布与四个难度层级 https://aiweekly.my/items/42578/statebench-testing-how-language-models-track-state-changes-over-long-documents OmniTools 中文报道：Ai2 发布 StateBench 评测长文档状态追踪能力 https://omnitools.ai/news/news_mw0y9wbc4c4a7edb7d884fa2 Ai2 官方账号推文：StateBench 前沿模型测试结果 https://x.com/allen_ai/status/2117670299298599001