1T 参数只激活 49B 还是 52B:部署前先对齐 3 个口径

10 月 29 日,Hugging Face 官方博客发布 Mistral Large 4(Le Chonk)权重上线。这套权重不是突然冒出来的:Mistral 在 10 月 6 日先给了 API 预览,三周后才开放自托管。现在值得看的原因很直接——开发者终于能把一个 1T 总参数、1M 上下文的 MoE 模型放到自己环境里,不用再经过 Mistral 的 API 过滤和访问策略。

部署前先对齐:激活参数、安全分、商用边界

最容易误读的是激活参数。Hugging Face 官方博客写的是 about 1T 总参数、about 49B 激活参数、1M 上下文窗口。但 TNW 报道写的是 activating 52 billion,而 Orange 法文报道则写每个 token 只调动 49B。

公开口径 总参数 每 token 激活 来源
HF 官方博客 1T 49B Hugging Face
TNW 报道 1 trillion 52B The Next Web
Orange 法文报道 1000 milliards 49B Orange Tech
HF 首页模型条目 名称含 1T-A52B 未在条目细写 Hugging Face

截至 2026-10-29 抓取,HF 首页的 trending 模型条目名是 Mistral-Large-4-1T-A52B。我的推测是,TNW 的 52B 很可能是从 A52B 这个名字直接读出来的,而不是重新核实配置;但这不是官方纠错,部署前仍应以官方博客和模型卡为准。49B 与 52B 相差 3B,按 3/49 算约为 6.1%,如果要拿来做显存规划,这已经不是一个可以忽略的口径差。

第二个要对齐的是网络安全分数。官方博客给的 82% 是 Artificial Analysis Cyber Index;TNW 给的 79% 是 CyberGym-E2E。两者考的不是同一张卷子,不能相减说“退步”或“虚高”。第三个要对齐的是边界:开放权重不等于可以随便做模型即服务。HF 博客明确该权重使用 Mistral Ecosystem Open-Weight License,它是 MIT 的衍生许可,但对 model-as-a-service 场景做了限制。

49B 激活下,MoE 和 DSA 各省掉什么

官方给的结构里有两个稀疏机制,比“1T 参数”更实际。语言部分不是每 token 都跑 1T,而是从 128 个专家里选 4 个,再加 1 个共享专家,也就是说每次跑 5 个专家。把官方数字抽出来,可以复算两个比例:

# 每个 token 的 MoE 激活专家数
selected_experts = 4        # 从 128 个专家中选
shared_expert = 1           # 总有一个共享专家运行
active_experts = selected_experts + shared_expert  # 5
print(f"MoE 激活专家比例: {active_experts}/128 = {active_experts/128:.2%}")

# 满 1M 上下文时,DSA 每个 query 最多选 2048 个 key 位置
print(f"满 1M 上下文时的位置选择比例: {2048/1_000_000:.4%}")
# 结果:MoE 约 3.9%,DSA 约 0.2%

这两个百分比只是按官方数字做的算术,不是对显存或延迟的实测。MoE 省的是前向网络计算,DSA 省的是注意力要看的上下文位置。官方给出的文字解码器还有 72 层、隐藏维度 6144、64 个注意力头;第一层用 dense FFN,后面 71 层都是 MoE。注意力块是 MLA 加 DSA indexer,其中 RoPE 和 NoPE 按 3:1 交替。视觉编码器是 1.6B 的 Pixtral,30 层、隐藏维度 2048、16 个注意力头,14×14 patch,空间合并尺寸为 2。

82% 安全分真正改变的不是榜单,是防御工作流

官方博客说 Mistral Large 4 在 Artificial Analysis Cyber Index 上拿了 82%。这个测试不是问答,而是要求模型在开源软件里复现一个真实漏洞,然后把软件修好。博客同时提到,Mistral 称一些闭源前沿模型在同项测试里接近 0 分,因为它们拒绝尝试。这个对比的意义不在分数,而在于防御者通常必须先复现一个漏洞,才可能修掉它;如果模型过不了这一步,后面都无从谈起。

这也能解释为什么开放权重对安全团队有价值。漏洞研究和事件响应经常长得像攻击输入,闭源 API 的内容过滤可能误拦;依赖 API 的团队还有可能在事件处理中途被断供。开放权重让使用策略和部署位置回到用户手里。不过它仍然会拒绝有害请求:在 JailbreakBench、StrongREJECT 和 AgentHarm 的 cyber prompts 上,官方博客写明它的平均拒答率比其他开放权重模型更高。它不是一个无护栏模型,而是护栏由你部署和配置。

Terminal-Bench 的两个口径:28.3% 和 41% 分别指什么

这里有个必须说清楚的矛盾:同一个基准(Terminal-Bench 4),两个来源给了两个数。

来源 口径 日期
Hugging Face 官方博客 Terminal-Bench 4 上 28.3% 2026-10-29
The Next Web 预览时 28%,三周强化学习后升到 41%(”just ahead of GLM-5.3 at 40%”) 2026-10-28

TNW 的说法是:Mistral 在预览后又做了三周强化学习、并按客户反馈调整,所以 Terminal-Bench 4.0 从预览时的 28% 升到 41%。这解释了 28 和 41 的关系 —— 它们是同一个模型的前后两个版本,不是两次独立测量。

那 HF 博客的 28.3% 呢?我的推算有三种可能,公开材料不足以判定是哪一种:

  1. HF 博客沿用了预览版的测评结果,而 TNW 拿到了更新后的数字;
  2. 两家用了不同的 harness 或模型配置(比如量化版与 FP8),分数本就不可直接比;
  3. 两者都是官方口径,但发布的时间点不同(博客 10-29、TNW 10-28,理论上博客应该更新才对,但 10-29 的博客反而给了较低的数)。

所以 41% 不能当成唯一口径。 你要拿这个模型做选型,务必要认准自己评测时的具体版本(预览版还是发布版)和权重格式(FP8 / NVFP4),因为这两项一换,分数可能差 12 个百分点。

顺带把其他几个编码分数列全(都是 HF 官方博客口径):DeepSWE v1.1 61.7%、SWE-Atlas-QnA 59.4%、Terminal-Bench 4 28.3%;综合 Coding Agent Index 49.8%,排在 DeepSeek V4 Pro 0813 和 Qwen3.8 Max 之前。知识工作侧是 AutomationBench 59.9% 与 AA-Briefcase 1393 Elo。

效率口径也值得记:TNW 称在 Artificial Analysis 的 Coding Agent Index 上它与 GLM-5.3 相当,但平均每任务少用 47% 的 token。这个降幅对长时间运行的 coding agent 更重要,相当于每一步都少付一点 token 成本。

别说开放就是随便商用:官方两个权重和一条 license

Hugging Face 博客列出了两个官方变体:FP8 和 NVFP4。另外还有 Unsloth 和 llama.cpp 团队做的 GGUF,这是社区制作,不是官方变体。NVFP4 的四卡 B300 部署命令,HF 博客的 Dell Enterprise Hub 一节里是直接给出的,不是只能从 TNW 交叉推断:

pip install dell-ai && dell-ai login
dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 
  --engine docker --platform-id xe9780-nvidia-b300 --gpus 4

--model-id 指向 NVFP4、--platform-id 是 B300、--gpus 4 —— 四个参数在同一行里,绑定关系是明确的。TNW 那边说的是”量化版可在 4 张 B200 或 B300 上跑”,两者一致。

(同页还有一段 TRL 微调示例写的是 “a node of 8xB300s”,那用的是 FP8 变体、8 卡,别和上面的 NVFP4 四卡混为一谈。)

版本 提供方 能从来源里读到的信息
FP8 官方 HF 博客列为官方变体
NVFP4 官方 HF 博客列为官方变体;Dell Enterprise Hub 一节给出 --gpus 4 + xe9780-nvidia-b300 的部署命令
GGUF Unsloth / llama.cpp 社区制作,原文未给硬件门槛与性能

许可证同样值得单独看。它叫 Mistral Ecosystem Open-Weight License,HF 博客说的是 MIT 衍生、但限制 model-as-a-service。这意味着如果你只是想内部部署、做防御工具或继续训练,问题不大;但如果你想包一个 API 再卖,就不能只看“MIT 衍生”这四个字,必须去读许可原文的具体限制。

想继续训练:TRL 有现成入口,但硬件门槛不低

社区帖 @sergiopaniego 说,Mistral Large 4 上线 Hub 后,当天就可以用 TRL 做 post-training。示例是 SFT + LoRA,目标模型是 mistralai/Mistral-Large-4-1T-A52B,在单个 8×B300 节点上跑:

git clone https://github.com/huggingface/trl
# 示例入口:trl/examples/sft_mistral_large_4

“单个 8×B300 节点”不是一张消费级显卡,而是企业级起点。这个门槛对个人开发者仍然偏高,但它说明了一点:如果你有代码库、崩溃日志或恶意样本,理论上可以拿 Mistral Large 4 的 trace 去微调更小模型。官方博客也提到,reproduce-then-patch 任务有可验证奖励,很适合接进 RL 环境继续训练更小的安全模型。这条路有价值,但别把它理解成“开源了就能在笔记本上随便调”。

参考来源

评论区

0 条评论

登录后可评论。

早八人 12 阅读