罗福莉官宣小米MiMo-V3 HySparse 2新架构

时间：2026年9月23日晚至9月24日凌晨 地点：中国北京（小米总部）/ 全球同步公布 人物：罗福莉（小米 MiMo 大模型负责人、前 DeepSeek 研究员，HySparse 2 论文通讯作者与 Team Lead） 事件详情：小米 MiMo 大模型负责人罗福莉于 9 月 23 日深夜在 X、微博及小米官方渠道同步发文，宣布下一代旗舰模型 MiMo-V3 将采用全新架构，其核心组件 HySparse 2 同步正式发布，相关论文（arxiv.org/pdf/2609.26368）于五小时后公开。HySparse 2 是 HySparse（2026 年 2 月发布）的工程化升级版，在 80B 总参数、每 token 激活约 3B 的 MoE 配置下，相较 MiMo-V2.6 的 Hybrid SWA 架构：1）1M（100 万）Token 上下文下预填充计算量（FLOPs）降至原来的 1/5.02；2）KV 缓存从 12.09 GB 缩至 2.69 GB，缩小约 4.5 倍；3）MRCR-v2 和 RULER-v2 长上下文检索得分更高，AgentPPL 与 LongPPL 显著下降。技术上引入两级 KV 共享——KV Bridging（cross-decoder 复用 self-decoder 隐藏状态构建 K/V，沿用 YOCO 思路）与 KV Reuse（每个 hybrid block 内稀疏层复用前一层全注意力层的 KV 缓存与选择索引）；并把块级选择改为 Token 级选择、用强制近期 Token 窗口替代独立 SWA 分支，使预填充在自解码器完成后即可停止。论文参考文献中出现了 DeepSeek-V2、V3.2、V4 与 V4.1-Flash 共 4 项 DeepSeek 成果，以及 OpenAI 的 gpt-oss 与 GPT-4.1。 背景：HySparse 最早于 2026 年 2 月由小米 MiMo 团队提出，是面向 Agent 时代的混合稀疏注意力架构。MiMo-V2-Flash 是首个全面采用该架构的量产模型，MiMo-V2-Pro 将全局注意力与稀疏注意力的混合比例从 5:1 提升到 7:1。仅两天前（9 月 22 日），小米刚发布并开源 MiMo-V2.6 系列（含 Pro、Flash 与 Pro-UltraSpeed），官方称其为探索 RSI（递归自我改进）的关键一步。罗福莉在 V2.6 发布会上即暗示 V3 将在底层架构层面更进一步，本次 HySparse 2 正是这一预告的兑现。 影响：HySparse 2 直接针对 Agent 多轮任务最棘手的三大瓶颈——长输入预填充成本高、KV 缓存占用大、长上下文检索精度受限。它把 1M Token 级别的预填充算力压缩到约 1/5、KV 缓存占用降至约 1/4.5，意味着同等算力下 Agent 可以支撑更长、更复杂的工具调用链；同时论文大量引用 DeepSeek、OpenAI 的关键工作，显示小米 MiMo 团队已与一线开源前沿形成深度对话，对中国开源大模型竞争格局与 Agent 落地成本曲线都具有标志性意义。 总结：从 MiMo-V2-Flash 到 MiMo-V2-Pro，再从 MiMo-V2.6 的 RL 规模化到 MiMo-V3 的底层架构革新，小米在 7 个月内走出了一条"先做稀疏、后做 RL、再做新架构"的清晰路径。HySparse 2 以工程级突破把 Agent 长上下文推理成本砍到约 1/5，是 2026 下半年中国大模型在"算得起"维度最具代表性的进展之一，也预示 MiMo-V3 正式发布时将在 Agent 任务上提供明显领先的成本-性能比。 参考来源： 1. IT之家《罗福莉官宣小米 MiMo-V3 采用全新架构，核心 HySparse 2 今日发布》https://www.ithome.com/1/006/502.htm 2. 智东西/腾讯新闻《MiMo-V2.6 刚发，小米罗福莉扔出 MiMo-V3 新架构！引用 DeepSeek 多项成果》https://news.qq.com/rain/a/20260924A06V7E00 3. 腾讯新闻/太平洋科技《小米 MiMo-V3 将启用全新模型架构，长文本检索准确率提升》https://news.qq.com/rain/a/20260924A05IJU00 4. 同花顺财经/量子位《罗福莉剧透小米 MiMo v3 架构：模型还没影，论文全说了》https://news.10jqka.com.cn/field/20260924/680250876.shtml 5. 虎嗅网《罗福莉宣布 MiMo-V3 采用新架构，HySparse 2 发布》https://www.huxiu.com/ainews/15257.html 6. TechNode《Xiaomi's MiMo-V3 to adopt new architecture as HySparse2 cuts long-context costs》https://technode.com/2026/09/24/xiaomis-mimo-v3-to-adopt-new-architecture-as-hysparse2-cuts-long-context-costs 7. 搜狐《刚刚，小米罗福莉发表新论文：MiMo V3 模型采用新架构，推理预填充算力砍到 1/5》https://www.sohu.com/a/1080234948_553580 8. 罗福莉微博《MiMo-V3 模型新架构 HySparse2 公开》https://weibo.com/2194035935/5346582186688756 9. arXiv 论文《HySparse 2》https://arxiv.org/pdf/2609.26368