vLLM-Omni Vibe 项目

项目简介

vLLM-Omni 是 vLLM 社区官方推出的全模态模型推理与服务框架，目标是「让每个人都能简单、快速、低成本地部署全模态模型」。它在 vLLM 原有的文本自回归能力之上，扩展出图像、音频、视频乃至动作（action）生成的服务能力，并支持扩散Transformer 等非自回归架构。项目由 vllm-project 组织维护，GitHub 收获 7117 星，Apache-2.0 许可，官方文档站为 vllm-omni.readthedocs.io。

核心功能

1. 全模态覆盖：统一处理文本、图像、音频、视频与动作数据，兼容自回归与并行生成两类模型。
2. 异构输出流水线：用统一的流水线抽象管理复杂模型工作流，从传统文本生成扩展到多模态与动作输出。
3. 高性能服务：复用 vLLM 成熟的 KV cache 管理，流水线阶段执行重叠以提升吞吐，OmniConnector 支持全解耦部署与跨阶段动态资源分配。
4. 易用接口：提供 OpenAI 兼容的 API server、流式输出、全双工实时服务（流式音频输入输出），并与 HuggingFace 模型无缝集成。
5. 分布式推理：支持张量并行、流水线并行、数据并行与专家并行，覆盖 CUDA、ROCm、XPU、NPU 等多种硬件。

技术实现

vLLM-Omni 的核心设计是把「多模态生成」拆成可独立伸缩的阶段并统一调度。文本等自回归部分继续沿用 vLLM 高效的 KV cache 与分页注意力，图像、音频、视频等扩散式生成部分则通过分层（stage）执行与请求级批处理接入，各阶段之间以 OmniConnector 进行完全解耦的数据传递，并可按负载动态分配资源，从而在同一条链路上同时获得低首包延迟与高吞吐。工程实现上提供异构流水线抽象，把 AR 段、DiT 段、动作策略段封装为可组合节点，配合流式输出与全双工会话，支撑语音对话、世界模型交互等实时场景；分布式层还支持层间扩散权重卸载（layerwise diffusion offload）与跨阶段 KV 复用，降低多模态大模型的显存门槛。模型生态方面，它可直接服务 Qwen3-Omni、MiniCPM-o 4.5、Cosmos3、HunyuanImage、BAGEL 等全模态模型，Qwen3-TTS、CosyVoice3 等 TTS 模型，MiniMax H3、LingBot World、Wan2.2 等图像/视频/音频扩散模型，以及 π0.5、GR00T-N1.7 等机器人动作策略模型。版本节奏上，自 0.14.0 起与 vLLM 偶数版本号稳定对齐，0.30.0 已基于 vLLM 0.30.0 构建，2026 年 10 月发布全模态统一服务运行时技术报告（arXiv:2610.09307）。

快速上手

1. 阅读官方文档的 Installation 页面完成环境安装，或直接拉取 Docker Hub 上的 nightly CUDA 镜像。
2. 跟随 Quickstart 启动 OpenAI 兼容的推理服务，确认模型可正常响应。
3. 到 Deployment Recipes（recipes.vllm.ai）选择目标模型的部署配方，按需调整并行度与流水线阶段配置。
4. 用 OpenAI SDK 或流式接口接入业务，实时全双工场景可启用全双工实时服务 API；需要支持矩阵时查阅 Supported Models 列表。

适用人群

多模态推理工程师、AI 应用后端团队、具身智能与机器人研究者，以及需要在同一套推理底座上同时部署对话、生图、生视频与动作模型的算法与平台团队。

官方链接

https://github.com/vllm-project/vllm-omni （文档：https://vllm-omni.readthedocs.io/en/latest/）