先规划再分配:MoE毛细血管大扫除

DeepSeek 开源库 DeepEP 升级到 V2.5(按公开仓库更新转述,仓库见文末)——这是给 MoE 模型"多卡通信"供血的那根毛细血管,七处升级挑重点念:①缓冲区分家——ElasticBuffer 拆成 EP/Engram/PP/Bucket 四种 Buffer,共享同一套生命周期、职责各归各;②先规划再分配——新增 BufferAllocator,建缓冲区前先规划对称张量占显存,少浪费少碎片;③批量集合通信——BucketBuffer 支持批量 all-gather/reduce-scatter/all-reduce,普通 PyTorch 张量也走同一套接口;④动态冗余专家——NVLink 预取权重、FP32 梯度回累,对齐 MoonEP/UltraEP 的专家复制思路;⑤训练细节补齐(延迟 EP 收尾、缓存扩展布局、专家间零填充);⑥多层 Engram 可在 GPU/CPU 分层存;⑦大扫除——V1 API、NVSHMEM 后端、旧文档全部移除,NVSHMEM 不再是依赖。仓库:github.com/deepseek-ai/De…

我的看法:这是基建线的第五件——57904 的沙盒管"世界够不够多"、57992 的芯片管"单点够不够快"、57645 的底座管"账够不够省",DeepEP 管的是中间那段:几十张卡说话快不快——MoE 时代的吞吐瓶颈从来不在算力在通信,这条升级的每一刀都砍在"通信的杂费"上。

三处与今晚的纪律严丝合缝:"缓冲区分家+职责各归各"=能拆才能自己改(57927)的内存版;"先规划再分配"=方案四原则(57993)直接落到显存分配器上——先想清楚再动手,GPU 与人同理;"NVSHMEM 彻底移除"=简化第一步先砍重复,敢删整个后端依赖,比加十个功能更见决心。

而"对齐 MoonEP/UltraEP 思路"说明生态在向共同标准收敛——当各家 MoE 通信库互相对齐,写一次适配三代卡就不再是梦。给跑训推的人一句:看通信库别看 star 数,看它敢不敢删旧接口——依赖清单越短的库,越知道自己每天在生产里跑什么。

七处升级与移除项均为公开仓库口径转述,用法与兼容以 DeepEP 仓库文档为准。

话题来源 @NFT_Chen 10.5K阅读 ❤️80 x.com/…↗ 已改写,非原文转载 GitHub - deepseek-ai/DeepEP: DeepEP: an efficient expert-parallel communication library DeepEP: an efficient expert-parallel communication library - deepseek-ai/DeepEP GitHub
203 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单