Netflix披露自研LLM平台 Triton与vLLM混合部署

时间：2026年7月27日 地点：美国 人物：流媒体平台Netflix 事件详情：流媒体巨头Netflix于7月27日详细披露其内部LLM推理平台的技术架构。该平台基于NVIDIA Triton与vLLM构建，混合使用CPU与GPU推理：小模型在JVM服务层内CPU推理，大模型委托给MSS由Triton接管模型加载、批处理、GPU调度与多框架服务。在GPU路径上，Netflix选择vLLM执行推理并提供自定义扩展机制，Triton负责模型管理与调度。该平台通过OpenAI兼容API与KServe HTTP/gRPC前端对外提供服务。 背景：Netflix将LLM推理整合到现有JVM服务层中，继续由其处理路由、特征检索、候选生成、后处理与日志。Netflix对比了Triton Python backend与vLLM backend两种打包方式，最终选择vLLM-backend方案，使模型与前端能更独立演进。为解决版本兼容问题，Netflix将测试过的Triton与vLLM版本绑定固定，并采用Red-Black与Versioned部署策略管理模型变更。constrained decoding受vLLM暂停恢复机制影响，Netflix通过检测状态变更并重建上下文解决token history同步问题。 影响： - 展示企业级LLM推理平台架构设计思路，为AI平台工程团队提供实战参考 - Triton与vLLM组合方案验证开源推理引擎在大规模生产环境的可行性 - 混合CPU+GPU推理策略降低推理成本，体现端到端优化的工业实践 - 版本兼容与Red-Black部署策略解决LLM生产环境高频迭代难题 总结：Netflix详细披露的内部LLM推理平台展示了AI基础设施工程化的最新进展，Triton与vLLM的组合方案在Netflix规模得到验证。其核心经验包括：通过版本绑定固定解决Triton-vLLM兼容问题、混合CPU+GPU推理优化成本、Red-Black与Versioned部署策略管理变更。这一案例为企业AI平台建设提供了可参考的工程实践，体现工业级LLM推理平台的复杂性与精细化要求。 参考来源： - https://www.infoq.com/news/2026/07/netflix-llm-platform/ - https://netflixtechblog.com/in-house-llm-serving-at-netflix-a5a8e799ea2c