llm-d 1.0

产品简介 llm-d 是一套 Kubernetes 原生的开源分布式大模型推理栈，2025 年由 Red Hat、IBM、Google 联合 CoreWeave 与 NVIDIA 共同发起，托管于 CNCF 沙箱，代码以 Apache-2.0 许可在 GitHub 开源。它要解决的问题很具体：把 vLLM、SGLang 这类单机推理引擎，变成能在整个集群上稳定对外服务的生产系统，并且不绑定某一家模型厂商、云平台或硬件平台。

核心功能

• 前缀缓存感知路由：把请求导向可能已持有相同上下文的副本，官方测试中捕获了 96% 至 97% 的可用缓存复用机会。
• KV 缓存分级卸载：在显卡、内存与存储之间迁移缓存，长上下文不再撑爆显存。
• 预填充与解码分离：读提示词与生成回复两个阶段独立扩缩容，各自匹配最优硬件。
• 广域专家并行：把数千亿参数的混合专家模型切分到多个加速器上。
• 多租户服务质量：带优先级与公平性感知的流控、概率准入与轮次调度，统一收敛到单一配置字段。
• 零停机运维：路由器高可用与热备、安全滚动升级，预填充与解码副本作为逻辑单元统一编排。
• 智能体感知服务：会话状态插件、动态会话亲和、原生接口状态管理，为长时间运行的编码智能体保住上下文。
• 跨硬件可移植：显卡、张量处理器、加速卡与处理器都能跑同一套部署配方。

特色优势

• 官方在 544 块 H100 上部署约 7500 亿参数的 GLM-5.2，峰值每分钟生成超过 660 万输出词元，最多支持 3000 个编码智能体并发且无抢占。
• 按显卡租价折算，自托管每百万输入词元成本 0.05 至 0.08 美元，官方称比同等商业接口低 5 至 10 倍。
• 提供照明路径式的部署配方，把常见生产模式做成可复制的起点，而不是只给一组基准分数。
• 生态成熟：500 多名贡献者、25 个以上组织，Red Hat 已把它与节点级引擎打包进自家 AI 产品，谷歌也在其托管 Kubernetes 服务中同时运行两个组件。

应用场景

• 企业自建推理：把按词元计费的接口成本换成自有显卡折旧。
• 智能体编码：为长时间运行的编码智能体维持会话与缓存，减少重复输入的浪费。
• 多租户推理服务：在共享集群上给不同团队划分优先级与配额。
• 混合硬件集群：同一套栈跑在显卡与张量处理器混合的集群上。
• 模型即服务的云厂商：用开源栈支撑托管推理与无服务器推理产品。

适用人群 平台工程与基础设施团队、云厂商与新云、对数据出域敏感的大型企业，以及需要控制推理成本曲线的技术负责人。

出品方 由 Red Hat、IBM、Google 担任首席维护者，CoreWeave 与 NVIDIA 为共同创始方，AMD、Cisco、Hugging Face、Intel、Lambda、Mistral AI 等参与贡献。

更新动态 2026 年 10 月 20 日，项目在加州圣何塞的 PyTorch Conference 北美站发布 1.0 正式版，所有组件统一为 1.0.0 版本并完成签名验证，重点补齐多租户流控、零停机运维与智能体感知调度三块运维短板。

官网链接 https://llm-d.ai/