LiteLLM

产品简介

LiteLLM 是一套开源的 AI 网关与 LLM 代理，为团队提供统一的大模型接入层。它用一个 OpenAI 兼容的 API 同时连接 140 多家模型供应商、1800 多个模型，并把对 Agent 与 MCP 服务器的访问纳入同一网关，让开发者几分钟跑通接入，而不必走完一整轮采购流程。

核心功能

1. 统一 API 接入：一个 OpenAI 兼容接口调用 140+ 供应商、1800+ 模型，切换模型不改业务代码，新模型发布当天即可支持。
2. 虚拟密钥与权限管理：基于 SSO 单点登录，密钥按团队、项目、应用划分权限，可对接企业已有的密钥管理系统。
3. 预算与成本控制：支持组织、团队、标签多级预算，提供 TPM/RPM 速率限制、软限制告警与超预算处置（限流、阻断、自动降级切换）。
4. 安全护栏：内置 PII 脱敏、提示词注入检测、密钥泄露检测等 Guardrails，每次请求留有审计日志。
5. 智能路由与缓存：跨供应商、跨区域、跨密钥负载均衡，自动路由把简单提示词分流给便宜模型，支持响应缓存、语义缓存与提示词压缩。
6. 可观测分析：按团队、密钥、模型、标签统计请求数、Token 与花费，支持时间筛选与导出。

特色优势

LiteLLM 的 Rust 内核 AI 网关是其性能亮点：官方基准测试显示 p99 仅增加 0.66 毫秒延迟，比次优方案低 3.5 倍；空载内存约 22MB，约 21% CPU 占用下可承载 2800+ 请求每秒，每美元请求数约为同类方案的 4.5 倍。同一套网关既能云端托管，也能完全离线自托管，Docker 镜像累计下载量已超过 2.4 亿次。

应用场景

1. 企业统一 LLM 出口：全公司共用一个 API 与登录入口，平台团队集中管理密钥、权限与预算。
2. 多模型成本治理：按团队、项目、标签核算开销，用自动路由与缓存把预算花在刀刃上。
3. 生产环境高可用：跨区域、跨密钥负载均衡，配额用尽或密钥失效时自动降级切换。
4. 团队自助开通：开发者自己就能拿到模型访问权限，不必等待采购与重复的安全审查。
5. 私有化合规部署：基于自有 Postgres/Redis 与 Kubernetes 弹性伸缩，支持完全气隙环境与一键云上部署。

适用人群

平台工程与 MLOps 团队、AI 应用开发者、需要统一治理多模型调用的企业 IT 与安全团队，以及希望第一时间试用新模型的产品团队。

出品方

LiteLLM 由 BerriAI 团队（Krrish 与 Ishaan）开发维护。官网客户证言来自 NVIDIA、Netflix、Okta、AT&T：Netflix 称 LiteLLM 让他们通常在新模型发布一天内就能提供给用户，省下数月工作量；AT&T 数据办公室称引入后部分编码类 AI 任务成本最高下降 56%。

更新动态

2026 年 10 月，LiteLLM 上线全新 Rust AI Gateway，官方以开源基准项目 AI Gateway Bench 对比同类网关（Portkey 2.29ms、Bifrost 4.54ms），并提供 Helm Chart、Terraform 一键部署。仓库持续高频更新，当前 6 万+ Star。

官网链接

官网：https://litellm.ai 文档：https://docs.litellm.ai GitHub：https://github.com/BerriAI/litellm