Antirion — 一个 Rust 二进制搞定的最快开源 AI 网关

产品简介

Antirion 是面向「应用与所有模型供应商之间那一层」的开源 AI 网关，用 Rust 写成，单一二进制里同时包含数据面、管理 API 与 Web 控制台。它的定位非常明确：把多供应商接入、路由、成本控制、安全护栏与可观测性收进一个进程，同时把网关自身的开销压到几乎看不见。官方在同机对比中宣称在 5,000 RPS 下 p50 开销 0.53 毫秒，是 Bifrost 2.2.4（19.7 毫秒）的三十七分之一，4 vCPU 上可持续跑到 14,000 RPS，峰值内存 215 MiB 而对照组为 1,389 MiB。许可证为 Apache-2.0，作者是 eliasbiondo。

核心功能

• 统一协议入口：客户端可以用 OpenAI、Anthropic、Gemini 或 Bedrock 任一协议说话，网关负责互译；后端支持 OpenAI、Azure OpenAI、Anthropic、Amazon Bedrock、Google Vertex AI、Gemini、Mistral、Cohere、Groq、Together、Fireworks、DeepSeek、xAI、Cerebras、DeepInfra、Perplexity，以及任何 OpenAI / Anthropic 兼容服务（如 vLLM）。
• 按请求智能路由：回退链、加权分流、最低成本、最低延迟、最空闲、分层路由、内容分类器、重试、对冲请求与熔断，每次决策都记进请求日志。
• 预算与限额：在组织、团队、项目、密钥四个层级上设置美元或 token 限额，支持按模型定价、成本台账与预算告警。
• 边缘安全护栏：对请求、响应与流式输出做 PII、密钥、关键词、正则、JSON Schema、工具权限、话题、内容审核、模型评审与第三方服务检查，能拦截提示注入，并在脱敏时保持原始格式。
• 缓存：精确缓存与语义缓存并存。
• MCP 与 Agent 网关：为工具调用与 Agent 流量提供统一入口。
• 企业级身份与审计：OIDC / SAML / SCIM 单点登录，变更需审批的审计日志。
• 可集群部署：单机模式或基于 PostgreSQL + Valkey 的集群模式，镜像为 distroless。
• 内置控制台：24 小时概览、花费、请求量、延迟、错误率、缓存命中、团队预算、Top 模型、供应商余量与最近请求，全部在一个二进制里。

特色优势

• 性能与资源占用：无 GC、无解释器，每 CPU 一个数据线程；空载内存 41 MiB，对照组为 498 MiB 与 1,653 MiB。
• 部署极简：docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion 即可，无需配置文件，首次启动打印控制台地址与管理员令牌。
• 基准可复现：压测工具链放在 bench/，方法与三款网关的完整配置写在 docs/benchmarks.md，可在自己的 AWS 账号复现。
• 协议兼容而非锁定：既有 SDK 与调用代码基本无需改写，迁移成本低。

应用场景

• 多模型生产环境：同时接 OpenAI、Anthropic、Bedrock 与自建 vLLM，按成本与延迟动态分流。
• 团队成本治理：给不同团队/项目设美元预算，超支前告警，按模型对账。
• 合规与安全：在入口统一做 PII 脱敏、提示注入拦截与工具权限管控，避免每个应用各写一遍。
• 高并发推理服务：需要在几千 RPS 下保持个位数毫秒以内网关开销的场景。
• Agent 与 MCP 流量治理：统一管理工具调用、限流与审计。

适用人群

• 平台/基础设施工程师与 SRE
• 需要统一多家模型供应商的 AI 应用团队
• 关注推理成本与延迟的技术负责人
• 有合规要求、需要集中审计与护栏的企业

出品方

由 eliasbiondo 开源维护，Apache-2.0 许可，代码托管在 GitHub，官网 antirion.ai 提供性能对比与文档入口。

更新动态

项目正在快速迭代，官网与仓库 README 同步维护性能基准、部署方式与功能清单；基准对比对象为 Bifrost 2.2.4 与 LiteLLM 1.103.1，并声明可自行复现。具体版本变更请以仓库 Release 与 docs/ 为准。

官网链接

• 官网：https://antirion.ai
• GitHub：https://github.com/eliasbiondo/antirion
• 协议：Apache-2.0