llm-d 1.0发布 K8s原生分布式推理进生产级
时间:2026年10月20日(周二,美国西部时间上午),llm-d 项目贡献者在加州圣何塞举行的 PyTorch Conference North America 大会上正式宣布 llm-d 1.0 发布。IBM Research、Google Cloud 与 Red Hat 同日通过官方博客、新闻稿同步披露,中文科技媒体在 10 月 20 日至 21 日跟进报道
地点:美国加州圣何塞 PyTorch Conference North America 大会现场;llm-d 项目由 Red Hat、IBM、Google 担任首席维护者,作为 CNCF 沙箱项目托管,代码在 GitHub 开源
人物:IBM Research 杰出工程师、llm-d 联合创始人兼首席维护者 Carlos Costa;IBM Research 首席科学家兼 IBM 资深院士 Ruchir Puri;Red Hat 首席技术官办公室副总裁 Stephen Watt;共同创始方 CoreWeave 与 NVIDIA;贡献方 AMD、Cisco、Hugging Face、Intel、Lambda、Mistral AI;早期采用方 DigitalOcean 人工智能工程高级副总裁 Salman Paracha;Moor Insights & Strategy 分析师 Jason Andersen
事件详情:开源分布式推理框架 llm-d 发布 1.0 正式版,标志这套 Kubernetes 原生的大模型分布式推理服务栈从"演示单项技术"进入"生产就绪"。llm-d 于 2025 年由 Red Hat、IBM、Google 联合 CoreWeave、NVIDIA 共同创立,目前有 500 多名贡献者、来自 25 个以上组织,官方定位是"不完全依赖单一专有模型厂商、云平台或硬件平台"的厂商中立替代方案。
llm-d 1.0 继承并集成的五项核心技术为:前缀缓存感知路由(把请求导向可能已持有其共享上下文的基础设施)、KV 缓存卸载(在 GPU、CPU 与存储之间迁移缓存)、批量推理优化、Prefill 与 Decode 分离(读提示词与生成回复分开扩缩容)、广域专家并行(把大型 MoE 模型分布到多个加速器)。1.0 的新增重点不是这些技术本身,而是围绕它们的集成度与运维成熟度,具体包括:多租户服务质量(带优先级与公平性感知的流控、概率准入器、程序感知公平性、轮次优先级评分,统一收敛到单一 flowControl 字段)、零停机运维(路由器高可用与热备、安全滚动更新、DisaggregatedSet 控制器把 Prefill 与 Decode 副本作为逻辑单元统一编排)、智能体感知服务(会话状态生成器插件、动态会话亲和性、轮次优先级调度、原生 Responses API 状态)、以及与 TorchTPU 协作时间片机制的 TPU 集成扩展。所有组件统一发布为 v1.0.0 版本号,v1.0.0 GitHub 标签已签名验证。
性能与成本数据由官方给出:在一项基于 219 个真实生产环境 Claude Code 会话的智能体编码负载测试中,主代理请求输入 Token 中位数为 195K、输出 Token 为 317,96% 的主代理轮次会重复使用至少 90% 的输入内容,llm-d 的前缀感知路由捕获了可用缓存复用机会的 96% 至 97%。按 H200 每 GPU 小时 2.71 美元的假设租价测算,在两种各配备 64 块 GPU 的配置下,自托管推理每百万输入 Token 成本为 0.05 至 0.08 美元,每百万输出 Token 成本为 1.92 至 3.55 美元。另一次演示中,IBM 与 Red Hat 在 544 块 NVIDIA H100 上部署开放权重 MoE 模型 GLM-5.2(约 7500 亿总参数、约 390 亿激活参数),峰值时每分钟生成超过 660 万个输出 Token,最多支持 3000 个编码智能体并发且无抢占,2500 个智能体同时运行时持续达到每分钟 7612 个请求,官方称按当前云租价折算每 Token 成本比同等商业 API 低 5 至 10 倍。Google 在 PyTorch 大会主题演讲中演示了 1000 个沙箱化智能体通过 GKE 上的 Agent Substrate 访问同一个 llm-d 端点,后端横跨 vLLM、SGLang 以及 Google Cloud 的 TPU 与 GPU 混合集群。IBM Research 首席科学家 Ruchir Puri 称,在量子纠错硬件设计这类计算密集型问题上,开源大模型配合 llm-d 可获得 11.8 倍的效率优势。
背景:llm-d 由 Red Hat、IBM、Google 于 2025 年发起,最初与 CoreWeave、NVIDIA 共同创立,NVIDIA 随后通过 Dynamo 社区计划参与推动;项目托管于 CNCF 沙箱,把 PyTorch 生态(vLLM、SGLang 等推理引擎)与 Kubernetes 生态(生产级分布式编排)连接起来。Red Hat 已将 llm-d 与节点级 vLLM 引擎打包进 Red Hat AI 产品,Google 在 Google Kubernetes Engine 中同时运行这两个组件。GitHub 仓库 llm-d/llm-d 采用 Apache-2.0 许可,目前约 4888 个 Star、866 个 Fork,2025 年 4 月 29 日创建,最近一次代码推送为 10 月 20 日。DigitalOcean 是较早采用者,公司基于自己分叉的 llm-d 版本支撑 Managed Agents 与 Serverless Inference 服务,Salman Paracha 表示若没有 llm-d 就无法以可接受成本扩展到分布式规模。
影响:自托管推理正在从"能跑通"进入"能长期运维"的阶段,llm-d 1.0 把竞争焦点从单点基准分数拉到了流量变化、硬件故障、软件升级、多租户争抢资源时的稳定服务能力上,直接受益方是把按 Token 计费的 API 成本转成自有 GPU 折旧的企业。对芯片与云厂商格局而言,Red Hat、Google、CoreWeave、NVIDIA 同处一个开源项目栈,也意味着英伟达之外出现了另一条被主流推理引擎与 Kubernetes 生态共同认可的自建路径。需要注意,上述缓存复用率、成本区间与吞吐数字均为项目方与 IBM、Red Hat 官方口径,benchmark 文章亦声明只覆盖 GPU 租用费用并以持续负载为前提,尚无独立第三方复现
总结:llm-d 1.0 用"多租户流控 + 零停机升级 + 智能体感知调度"三块补齐了开源分布式推理的最后一段运维短板,并给出 97% 缓存复用、3000 智能体无抢占并发、成本比商业 API 低 5 至 10 倍等官方数据,是当前自建推理栈最具代表性的生产级开源方案
参考来源:
1. IBM Research 官方博客:https://research.ibm.com/blog/llmd-1-0-is-ready-for-production-inference-serving
2. IBM Newsroom 新闻稿:https://newsroom.ibm.com/2026-10-20-llm-d-1-0-advances-open,-cost-efficient-ai-inference-for-production-scale
3. Google Cloud 官方博客:https://cloud.google.com/blog/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference
4. SiliconANGLE:https://siliconangle.com/2026/10/20/ibm-backed-llm-d-framework-adds-controls-for-running-ai-models-in-house/
5. TechTarget:https://www.techtarget.com/it-infrastructure/news/366652343/CNCFs-llm-d-10-tackles-high-AI-inference-costs
6. Red Hat 官方新闻稿:https://www.redhat.com/en/about/press-releases/llm-d-1-advances-open-cost-efficient-ai-inference-production-scale
7. llm-d 官网:https://llm-d.ai/
8. GitHub 仓库:https://github.com/llm-d/llm-d
9. Unite.AI 中文版:https://www.unite.ai/zh-cn/llm-d-1-0-debuts-at-pytorch-conference-with-production-inference-stack/
10. 新知元中文整理:https://www.jxxy.net/ai/articles/rss-ibm-llmd-10-production-inference-2026-10-20/
11. llm-d 官方基准博客(GLM-5.2 智能体负载):https://llm-d.ai/blog/serving-glm-5-2-agentic-workloads-on-llm-d
12. Red Hat 官方中文解读(什么是 llm-d):https://www.redhat.com/zh-cn/topics/ai/what-is-llm-d







