时间:2026年7月10日
地点:全球(LMSYS Org)
人物:LMSYS Org、AMD ROCm团队、DeepSeek
事件详情:LMSYS Org于7月10日宣布,通过其Miles框架,已成功在AMD Instinct MI355X GPU上完成DeepSeek-V4 Flash模型的强化学习(RL)训练。DeepSeek-V4 Flash是一款2840亿参数的MoE(混合专家)模型,每token激活130亿参数,包含43层解码器、256个路由专家(top-6选择)和混合压缩注意力机制。为了克服模型对齐和在线权重更新的两大技术挑战,团队实现了混合压缩注意力(mHC残差混合)在SGLang和Megatron引擎间的一致性对齐,并在FP4/E8M0量化状态下成功完成在线权重实时更新。经过四节点验证,团队完成了100+优化步的端到端运行,离线AIME-2024评分持续上升,在线奖励也同步改善。
背景:DeepSeek-V4 Flash此前依赖英伟达CUDA生态进行强化学习训练。AMD Instinct MI355X是AMD最新的AI加速卡,采用台积电3nm制程和CDNA 4架构,配备288GB HBM3E内存和8TB/s带宽。Miles是一个开源的RL训练协调框架,负责管理SGLang(生成响应)和Megatron(训练评分)之间的异步循环。这次突破意味着DeepSeek-V4 Flash的RL训练首次在非英伟达硬件上实现了端到端运行。
影响:
- 打破英伟达CUDA生态在AI训练领域的垄断——AMD Instinct MI355X成功运行DeepSeek-V4 Flash RL训练,证明AMD ROCm生态在高端AI训练场景已具备竞争力,为大模型训练提供更多硬件选择。
- 降低AI训练成本和供应链风险——企业和开发者可以灵活选择硬件平台,不再受限于单一GPU供应商,有助于控制训练成本并降低供应风险。
- 加速AI硬件市场竞争——这一里程碑将推动英伟达、AMD和新兴AI芯片厂商在训练领域的激烈竞争,推动整体AI基础设施成本下降。
总结:DeepSeek-V4 Flash成功登陆AMD Instinct MI355X GPU进行强化学习训练,是AI基础设施多元化的重要里程碑。这不仅是技术层面的突破——解决了混合压缩注意力对齐和在线量化权重更新两大核心难题——更标志着AI训练生态正在从CUDA独占走向ROCm等开放平台兼容的新格局。随着Miles框架对更多硬件平台的适配,未来AI模型训练将更加灵活、更具成本效益。
参考来源:
- https://www.lmsys.org/blog/2026-07-10-rocm-miles-dsv4
- https://so.html5.qq.com/page/real/search_news?docid=70000021_40069ee004f64365
- https://news.ycombinator.com/item?id=48861717
- https://so.html5.qq.com/page/real/search_news?docid=70000021_03869eb23c587152
- https://www.amd.com/en/blogs/2025/amd-instinct-mi350-series-and-beyond-accelerating-the-future-of-ai-and-hpc.html









