AI Circuit Breaker

产品简介

AI Circuit Breaker（REV-2026 网关规范）是一款专为 LLM API 调用设计的 drop-in 反向代理网关，由挪威工程师 Roan de Jager（@roandejager）独立开发。它通过基于 SHA-256 提示指纹 + 滑动 deque 的循环识别，配合小时/日硬性支出上限，主动拦截 AI 智能体的无限工具调用循环与预算溢出——研发代号 REV-2026 部署于 Frankfurt (eu-central-1)，代理开销宣称 < 35ms，并且不持久化任何 payload，纯 RAM 易失内存执行。

核心功能

• Drop-in 反向代理：仅替换 base URL，业务侧 SDK 与代码零修改即可接入；
• 滑动窗口循环拦截：以 SHA-256 提示指纹 + 滑动 deque 监控请求重复度，第 3 次重复即触发阻断，识别 120 次/分钟级重试循环；
• 硬性预算封顶：每条请求在发出前检查小时（$2.00/hour）和日（$10.00/day）账户上限，超限返回 HTTP 429 BUDGET_LIMIT_BREACHED；
• 易失内存执行：< 15ms 内存执行目标，0 次磁盘写入、零持久化保留（RAM-only fingerprint）；
• HTTP/2 + SSE 透传：完整透传实时流式响应，阻断时返回结构化 HTTP 400 错误（circuit_breaker_loop_detected 类型 + infinite_loop_killed 错误码）；
• 实时 trace 可视化：每条请求均带时间戳、窗口扫描、支出校验等检查点日志，便于审计与回放。

特色优势

AI Circuit Breaker 的差异化在于"零持久化"——所有检查逻辑均在 RAM 内完成，避免留下任何 payload 痕迹，符合金融、医疗等对日志合规敏感的场景；其滑动窗口算法在第三次重复就触发，比常见的 fifth-attempt 策略更激进，能在循环"烧钱"早期就掐断；同时它不绑定特定 LLM 提供商，用户可继续使用现有 SDK 与账户，只在网关层做拦截和记账。

应用场景

• 自主智能体防爆预算：拦截 SQL 错误重试、递归工具调用等典型失控循环；
• 多模型账户成本控制：统一按账户、小时、日多维度设置硬性支出上限；
• 隐私敏感行业：基于 RAM 易失内存的零持久化设计满足合规要求；
• SDK 透明接入：业务代码无需改动，仅切换请求 base URL 即可获得保护；
• 运维可观测：trace 日志可直接对接现有日志系统，便于异常归因。

适用人群

使用 LLM API 的应用开发者、部署自主智能体（Agent / Tool-use）的工程团队、对隐私与成本合规敏感的企业 AI 应用负责人、运维与 SRE。

出品方

由挪威工程师 Roan de Jager（@roandejager）独立开发并维护，使用 Python + FastAPI 实现，技术定位为 LLM 成本防火墙（LLM Cost Firewall）。

更新动态

当前版本 REV-2026 网关规范，部署于 Frankfurt (eu-central-1)，代理延迟 32ms，HTTP/2 + SSE 在线。官方示例中给出一个 SQL 重试失控场景：智能体以 120 次/分钟重试未处理的 SQL 错误，网关在 attempt 3 识别并阻断，估计避免单次事故约 $680+ / 45 分钟（建模场景，非实测客户支出）。

官网链接

• 主页: https://circuit-breaker-sage.vercel.app/
• 健康检查: https://circuit-breaker-api.onrender.com/health
• 工程师主页: @roandejager