AIBrix Vibe 项目

项目简介

AIBrix 是字节跳动开源、现已捐赠给 vLLM 社区的云原生 GenAI 推理基础设施套件。项目以 Kubernetes 为底座，围绕 vLLM 推理引擎提供一套可组合、可插拔的控制面与数据面组件，帮助企业自有集群低成本、高弹性地部署与管理大规模大语言模型推理服务。项目采用 Apache 2.0 许可，最新版本为 2026 年 6 月发布的 v0.7.0，GitHub 星标已突破 5000，曾在 KubeCon 欧洲、北美、中国三地做主题分享，并与 Google、Anyscale 等团队在 Kubernetes LLM 服务标准上持续协作。

核心功能

• LLM 网关与智能路由：LLM 感知的网关在多模型多副本间高效分流，支持语义路由、Agentic 路由与 Prefill-Decode 分离，把请求送到最合适的引擎。
• 高密度 LoRA 管理：以极低成本同时托管大量 LoRA 适配器，支持动态加载与下发，让长尾精调模型也能按需唤起。
• 应用定制的自动扩缩容：PodAutoscaler 直接消费 LLM 相关指标而非传统 CPU 内存指标，按真实推理压力动态调整 GPU 资源。
• 分布式推理与多节点编排：通过 StormService 等抽象把单模型扩展到多机多卡，简化分布式推理的角色编排。
• 分布式 KV Cache：多层级 KVCache 卸载框架，支持 DRAM 一级缓存与 InfiniStore 远程二级缓存，跨引擎复用前缀缓存，显著降低 GPU 显存压力。
• 异构 GPU 推理：GPU Optimizer 在 L20、A10、V100 等不同卡型间按 SLO 与成本动态组合，在满足时延目标前提下把推理成本压低约一成。
• GPU 故障检测与演练：内置 GPU 诊断与故障模拟工具，可复现 NvmlInit 缺失等典型故障，帮助团队提前验证容错能力。
• 统一 AI Runtime：以 sidecar 形式提供指标标准化、模型下载与生命周期管理，屏蔽底层引擎差异。

技术实现

AIBrix 完全基于 Kubernetes 原生能力构建，用 CRD 声明模型与推理任务，用 Controller 完成调和，用动态服务发现完成流量接入，天然继承 K8s 的可扩展性与可靠性。整体分为控制平面与数据平面：控制平面负责模型元数据注册、自动扩缩容、LoRA 适配器注册与各类策略执行；数据平面负责可配置的请求派发、调度与推理执行。在引擎层与系统层的协同上，AIBrix 把模型加载、指标采集、路由决策等通用能力从引擎中卸载到系统层，再以统一的引擎接口层对外暴露，让 vLLM 等引擎保持专注推理本身。数据面通过 Envoy Sidecar 与自研 Gateway 承接流量，Offloading Connector 借助优化过的 CUDA kernel 在 GPU 与 CPU 之间高速搬运 KV 张量。项目主体以 Go 编写，控制面组件包括 Router、Autoscaler、KVCache Controller、ModelClaim 等，配套 Brixbench 压测工具与 Workload Generator 用于性能评估，整体代码与文档全部开源。

快速上手

1. 准备一个 Kubernetes 集群与 kubectl 环境，克隆仓库并通读官方文档的 Overview 与 Quickstart。
2. 安装组件依赖与 CRD：执行 kubectl apply -k config/dependency 与 kubectl apply -k config/crd，或直接安装稳定版 v0.7.0 的 dependency 与 core-crds 清单。
3. 部署 AIBrix 核心组件：执行 kubectl apply -k config/default（或稳定版 aibrix-core-v0.7.0.yaml），确认 Router、Autoscaler、Runtime 等 Pod 就绪。
4. 把模型声明为自定义资源，通过 Gateway 暴露推理服务，再按文档逐步开启自动扩缩容、LoRA 动态加载与 KVCache 卸载等进阶能力。
5. 需要生产化时，参照 Production 章节配置高可用 Gateway、可观测性与模型部署模板，并用 Brixbench 做基线压测。

适用人群

面向需要在 Kubernetes 上大规模运行 LLM 推理的平台团队与 SRE，包括自建推理集群的互联网公司、做多租户推理平台的云服务商、希望用异构旧卡降本的中小企业，以及研究 LLM 推理系统、需要可复现基线的学术团队。对于只想调用 API 的普通开发者，AIBrix 偏底层，更适合具备容器化与 GPU 运维经验的用户。

官方链接

• GitHub 主仓：https://github.com/vllm-project/aibrix
• 官方文档：https://aibrix.readthedocs.io
• 项目博客：https://aibrix.github.io
• 论文：https://arxiv.org/abs/2504.03648