LoongForge Vibe 项目

项目简介

LoongForge 是百度智能云百舸团队开源的高性能大模型训练框架（Apache-2.0，GitHub 星标 668），面向大语言模型、视觉语言模型、扩散模型与具身智能模型提供更快的训练能力。它源自服务企业客户私有模型训练的 AIAK-Training-LLM 套件，生产环境训练规模超过 5000 卡 XPUs，目前已支持 DeepSeek-V4、GLM-5.3、Kimi-K3、Pi0.5、GR00T-N1.7、Cosmos3、DreamZero 等主流模型。

核心功能

• 开箱即用的训练配置：每个受支持模型都提供 ready-to-run 配置与启动示例，覆盖预训练、继续预训练、SFT 与 LoRA 四种阶段

• 双后端高性能：Megatron 栈服务 LLM/VLM/扩散模型，torch-native 栈服务具身模型，深度优化训练速度且严格保持 loss 与基线对齐

• 具身模型训练：支持 DDP/ZeRO-1/FSDP/HSDP，在 I/O、通信策略、算子效率上深度调优，DreamZero 实测达基线 4.38 倍吞吐

• MoE 拓扑感知优化：TAOT 论文提出动态专家副本放置，专家并行负载不均开销最多降低 74%，真实训练案例提速 1.43 倍

• 快速跟进新模型：2026 年 9 月新增 GLM-5.3-flash 与 Kimi-K3 BF16 训练支持，8 月新增 GLM-5.2+MoonViT、MiniCPM-V-4.6、Qwen3.8-27B 与 Wall-OSS-0.5

• 统一工程化配套：LLM/VLM/VLA/扩散全模型家族共用单一 Docker 镜像，具身栈内置统一评测模块（覆盖 Pi0.5/xVLA/GR00T）

技术实现

LoongForge 采用多后端架构，出发点是"不同模型家族与规模的最优训练策略并不相同"，因此它没有强行统一，而是并行维护两套栈。Megatron 栈基于打补丁的 Loong-Megatron（patched Megatron-LM），在其之上扩展 MoE 并行、按组件的异构并行与长序列优化，负责 LLM、VLM 与扩散模型；torch-native 栈是独立子系统，提供 DDP、ZeRO-1、FSDP、HSDP 四种分布式策略，针对 Wall-OSS-0.5 等代表模型做定制融合算子、缓存感知数据加载、编译注意力块与冻结模块处理，负责 VLA 与世界模型等具身训练。性能层面坚持"loss 与基线对齐"的硬约束，所有加速必须在不改变训练曲线的前提下交付，例如 DreamZero 在 4.38 倍吞吐下损失曲线仍与基线重合；针对 MoE 专家并行的负载不均问题，TAOT 通过拓扑感知的动态专家副本放置把额外开销降低至多 74%。工程配套上，配置与示例分离在 configs/models 与 examples 目录，全家族共用统一 Docker 镜像，具身评测统一收敛到 embodied/eval 模块，并配有 readthedocs 文档与项目主站。

快速上手

1. 访问项目主站与 readthedocs 文档，确认目标模型是否在支持列表内

2. 拉取 Docker Hub 上的统一 loongforge 镜像，准备训练环境

3. 从 configs/models/ 挑选目标模型配置，参考 examples/ 中对应启动脚本

4. 修改数据路径与并行度参数后提交训练，用内置评测模块验证效果

适用人群

大模型训练工程师、具身智能算法团队、需要多框架统一训练入口的 AI 平台团队，以及希望在国产 XPU 上高效训练的基础设施从业者。

官方链接

• 项目站：https://baidu-baige.github.io/LoongForge/

• 文档：https://loongforge.readthedocs.io/

• GitHub：https://github.com/baidu-baige/LoongForge