openPangu-2.0

产品简介

openPangu-2.0 是华为于 2026 年正式开源的大规模混合专家（MoE）语言模型系列，定位为昇腾原生训练与推理技术的参考实现，旨在为业界提供基于昇腾 AI 处理器的高性能、低成本模型训练最佳实践。该系列包含多个版本，其中 openPangu-2.0-Pro 参数规模约 5050 亿，激活参数约 180 亿，于 2026 年 7 月 31 日正式开源模型权重、基础推理代码及技术报告；2026 年 9 月 28 日进一步开源预训练代码、SFT 代码及后训练强化学习代码，三大核心训练组件全面开放。

核心功能

• 预训练代码开源：开放 openPangu-2.0-Training 仓库，基于 PyTorch 与 CANN 生态，支持大规模基础模型分布式训练
• 后训练代码开源：开放 openPangu-2.0-RL 仓库，基于昇腾生态与 VERL 强化学习加速框架，支持 RLHF 等后训练范式
• 模型权重开放：Pro 版本开放权重文件，可直接下载用于推理或二次微调
• 技术报告完整：随模型同步发布官方技术报告，详细描述架构设计与训练方法
• 开源协议宽松：所有组件均采用 Apache-2.0 协议，开发者可自由 fork 并用于商业二次开发
• 多版本并行：除 Pro 版本外，还有 920 亿参数的 Flash 版本（已于 2026 年 6 月开源），覆盖不同算力档位需求
• 昇腾生态深度绑定：训练框架与推理引擎均针对昇腾 NPU 深度优化
• 超长上下文支持：Pro 版本支持 512K 上下文长度

特色优势

openPangu-2.0 系列的核心竞争力在于其全栈开源策略：不仅开放模型权重，还同步开源预训练、SFT、RL 三大训练代码，使开发者无需从零构建训练流水线即可在昇腾生态内完成从预训练到后训练的完整流程。在模型架构层面，该系列采用了 MLA 注意力机制结合 DSA+SWA 分层混合架构（层配比 1:2），由 SWA 层负责局部窗口建模、DSA 层负责稀疏全局聚合，在保持精度的同时显著降低了长序列推理的计算与显存开销。拓扑架构上，传统残差连接升级为 4 支流 mHC 架构，提升了模型表征多样性与泛化能力。自投机解码模块采用 3 头 MTP 架构，单次额外预测 3 个 token，有效提升推理速度。训练过程中引入 Muon 优化器，实现更快的收敛速度。

应用场景

• 企业私有模型定制：基于开源预训练代码，在昇腾集群上使用自有数据微调垂类行业模型
• AI Agent 智能底座：为 Agent 应用提供高性能语言模型基座，支持长上下文与工具调用能力
• 长文档分析与多轮对话：512K 上下文支持超长文档理解、代码库分析、长篇报告总结等场景
• 多语言与跨语言任务：训练数据覆盖多语言，可用于翻译、跨语言检索等任务

适用人群

• AI 研究人员与算法工程师，熟悉深度学习与大模型训练流程
• 企业 AI 团队，需要在国产算力平台（昇腾）上构建自有模型能力
• 开源社区开发者，希望基于成熟大模型架构进行二次开发或学术研究
• AI 应用创业者，寻找高性能、低成本的模型基座构建产品

出品方

华为技术有限公司（Huawei Technologies Co., Ltd.），开源社区入口为 Ascend Tribe（gitcode.com/ascend-tribe）。

更新动态

• 2026 年 9 月 28 日：预训练代码、SFT 代码、后训练 RL 代码三大组件正式开源上线
• 2026 年 7 月 31 日：openPangu-2.0-Pro 模型权重与技术报告正式开源上线
• 2026 年 6 月 30 日：openPangu-2.0-Flash（920 亿参数）首个版本开源上线

官网与资源

• 开源社区：https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro
• 华为云 MaaS 平台（在线体验）：https://www.huaweicloud.com/product/modelarts/studio
• Ascend Tribe 主页：https://gitcode.com/ascend-tribe