百度开源文心5.5 Flash Base 刷新同尺寸纪录

时间：2026年11月5日 地点：中国北京 人物：百度文心团队 事件详情：百度11月5日正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。模型采用MoE混合专家架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿个Token完成预训练，预训练上下文长度最高128K，微调与推理阶段支持最长100万Token上下文。在知识、推理、数学、代码、多语言和长上下文等多个基准测试中，文心5.5 Flash Base取得同尺寸模型SOTA（state-of-the-art）表现，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等主流基座模型。模型已在Hugging Face开放下载（https://huggingface.co/baidu/ERNIE-5.5-Flash-Base）。 背景：随着大模型应用从文本问答向长文档分析、多轮交互和智能体任务延伸，模型需要在保持能力的同时提高资源效率。文心5.5 Flash Base围绕"效率"这一设计主线，在注意力机制、专家路由及训练机制等关键环节进行系统性优化，并实现多项算法创新。模型采用Latent-Gated Sparse Attention，将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合，低秩门控注意力使门控投影权重参数减少75%；专家路由采用Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，共512个路由专家，每次激活top-10，改善路由评分与专家实际效用之间的相关性。训练目标引入ECHO机制，无需额外MTP模块，复用主干最后一层让模型自身学习预测后续Token，单步ECHO预训练的复用的最后一层还可作为投机解码的草稿模型，展现出多步外推能力。基建层面，百度对分布式Muon优化器进行了优化，并推出面向大head dim的注意力算子FlashMask-4。 影响：文心5.5 Flash Base的发布，标志着百度在大模型基座层面对"效率"路径的明确押注。280B总参数量、14B激活参数的配置，意味着每次推理仅用约5%的参数，计算和显存开销显著低于同能力密集模型。在性能上超过DeepSeek-V4-Flash-Base、Hy3-preview-Base和MiMo-V2.5-Base等同尺寸基座模型，说明百度在预训练数据和算法优化上均有实质性投入。对开发者和企业而言，基座模型开源意味着可以基于ERNIE 5.5 Flash Base进行二次微调，降低垂直场景模型开发的门槛和成本。需注意，该模型采用自定义授权协议，并非OSI认可的开放源码协议，使用前需确认授权范围。 总结：文心5.5 Flash Base的核心信号是：百度用"稀疏激活+算法创新"的组合，在280B总参数量下实现14B激活参数的推理效率，并在多个基准测试中刷新同尺寸纪录。ECHO单步预训练复用作投机解码草稿模型、Multi-Router MoE降低路由偏差、低秩门控注意力减少75%投影参数——这三项技术叠加，说明百度在基座模型上的优化思路已经从"堆参数"转向"精打细算用参数"。对国内大模型生态而言，ERNIE 5.5 Flash Base开源提供了一个能力对标DeepSeek V4 Flash、Hy3 Preview的高效率基座选项，但自定义授权协议的使用限制需要开发者在选型时留意。 参考来源： 百度开源文心5.5 Flash Base https://www.news.cn/info/20261105/f3bbdb6854f5441ca9fb34062f213875/c.html ERNIE-5.5-Flash-Base-BF16 HuggingFace模型卡 https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16 百度开源文心5.5 Flash Base https://www.qbitai.com/2026/11/507787.html 百度开源文心5.5 Flash Base https://www.pingwest.com/w/319262 百度开源文心5.5 Flash Base https://www.leiphone.com/category/industrynews/XOv7MDFAP99kUMEW.html ERNIE-5.5-Flash-Base license details https://www.orcarouter.ai/blog/ernie-5-5-flash-base-open-weights-license ERNIE-5.5-Flash vs Qwen 3.8 Flash: Base vs Product https://www.orcarouter.ai/blog/ernie-5-5-flash-vs-qwen-3-8-flash