RunInfra

RunInfra - 面向AI编程智能体的开放模型推理平台,缓存命中率99.3%

LLM大模型 部分免费

产品简介

RunInfra 是一个面向 AI 智能体(Agent)的开放模型推理平台,主打开源模型托管与 Coding Agent 订阅计划。它不做自研闭源模型,而是把一批高质量开放模型统一接入一套 API 网关,并针对「智能体长会话」这一真实负载做了深度优化:会话感知的路由会让 Agent 重放的上下文保持热缓存,缓存命中率最高可达 99.3%,直接把长上下文的实际输入成本压到标价的十分之一左右。目前平台在线提供 8 个模型。

核心功能

  1. 统一双协议 API:同一把 API Key 同时兼容 OpenAI 的 chat completions 与 Anthropic 的 Messages 协议,切换模型不必重写客户端代码。
  2. 8 个开放模型库:包含 Ornith 1.5 122B / 35B、DeepSeek V4.1 Flash 1017、GLM 5.3、GLM 5.3 Flash、Nemotron 3.5 Lightning 30B、Qwen3.8 27B 等,全部支持工具调用(Tool Calling)、JSON 模式与流式输出,多数模型额外支持图像输入。
  3. 按 Token 计费而非按算力:预充值余额从 5 美元起,按每百万 Token 计价,支持缓存输入折扣。例如 Nemotron 3.5 Lightning 30B 输入 0.05 美元、缓存输入 0.01 美元、输出 0.15 美元;GLM 5.3 为 1.30 / 0.13 / 4.20 美元。
  4. Coding Plan 三档订阅:Starter 约每月 12 美元、Pro 约 35 美元、Team 约 119 美元;额度每 5 小时与每周重置,额度耗尽可转入更慢的免费 Standby 通道,也可选择上限或不限额由余额兜底。
  5. 19 款编程智能体开箱即用:官方列出 Claude Code、Codex、OpenCode、Aider、Qwen Code、Kilo Code、Goose、Cline、Droid、OpenClaw、Kimi CLI、Mistral Vibe、Forge、Nanocoder 等已就绪连接,Zed、VS Code Copilot Chat、OpenHands CLI 等处于预览状态。

特色优势

平台的核心差异点是「为 Agent 而设计」而非「为大聊天窗口而设计」。会话感知路由让智能体重放时不必重新编码上下文,实测 24 小时内缓存命中率最高 99.3%(DeepSeek V4.1 Flash 1017),意味着每百万输入 Token 的实际成本可低至 0.011 美元。输出侧吞吐在 30B 轻量模型上可达约 541 tok/s,在千亿级模型上约 300 tok/s。官方还提供对比页,把自租 GPU 的闲置时间、租金与 API 调用成本放在一起算给用户看。

应用场景

  1. 为 Claude Code、Codex、OpenClaw 等编程智能体提供低成本后端模型,降低长会话成本。
  2. 企业内部 Agent 平台的模型网关层,统一 OpenAI 与 Anthropic 两套协议,免去多供应商适配。
  3. 需要工具调用 / JSON 模式稳定输出的自动化工作流,如批量抽取、分类、结构化报告。
  4. 图像与文本混合的多模态任务,由支持图像输入的模型承接。
  5. 预算敏感的高并发场景,用缓存输入折扣与会话路由压缩单位成本。

适用人群

正在做 AI 编程工具或 Agent 产品的开发者、需要统一模型网关的 AI 平台团队、关注 Token 成本与并发吞吐的技术负责人,以及有 SOC 2 / RBAC / SLA 硬性要求的企业采购方。

出品方

RunInfra 团队,官方在 X 上以 @runinfrai 运营,定位为独立的模型推理基础设施服务商。

更新动态

2026 年 10 月 20 日在 Product Hunt 上以「Open models, built for agents」为主题上线,同期公布 Coding Plan 订阅体系与 8 模型库。价格页显示 SOC 2 Type II 已通过审计,企业版提供审计日志、RBAC、最高 99.99% SLA 与专属客户成功经理。

官网链接

https://runinfra.ai

团队信息

由 AI 猎手自动发现

评论与建议

0 条评论