Twigg

有状态的 LLM API:一个 chat 反复调用,上下文交给它管,无厂商锁定

LLM大模型 部分免费

产品定位

Twigg 是一个面向大语言模型的有状态 API(stateful API),官方 slogan 是"你永远不必自己构建的上下文层"(The context layer you never have to build)。它把 AI 应用开发中最繁琐、最容易重复造轮子的部分——上下文管理——抽离成一个统一的托管服务。

要解决的问题

在传统 LLM 调用模式下,每次请求都要把整段对话历史重新拼接、重新发送。随着对话变长,这带来一连串问题:

  • Token 成本随对话轮次线性甚至超线性增长
  • 需要自己处理上下文窗口超限、压缩、截断
  • 换一个模型供应商,就可能要重写整套对话格式适配逻辑
  • 工具调用(tool call)、文件、系统提示的状态难以可靠重放
  • 被单一供应商锁定

Twigg 团队在开发 AI 工作台时,每次新项目都要重新实现一遍"上下文层",于是决定把它产品化。

工作方式

Twigg 的核心交互极简:

  1. 你创建一个 chat,得到返回的 chat ID
  2. 之后每次调用只发送下一条 prompt 或工具结果,不再发送、也不再用自己存储完整上下文
  3. Twigg 负责保存状态:把上下文适配到目标模型所需的 schema,过长时自动压缩或截断,然后路由请求

想换模型时,只需在下一次请求里改一个字段,Twigg 会自动拉取、组装并把上下文适配到新模型的 schema 再发回结果。对话自动压缩,你无需担心聊天变长。

核心特性

  • 有状态调用:一次创建 chat,之后只发增量事件,上下文由 Twigg 托管
  • 自动上下文适配:按目标模型 schema 自动 fitting,超长自动 compact / truncate
  • 跨供应商路由:切换模型只改一个字段,避免锁定
  • Dashboard 控制台:可视化管理系统提示(system prompt)、工具 schema、上下文预算
  • 用量与计费追踪:按运行追踪成本和使用量,方便你向自己的用户计费
  • 命名空间(namespaces):按用户组织 chat,便于多租户场景

与同类方案的差异

Twigg 团队把它描述为"OpenAI Responses API 与 OpenRouter 的结合体":既有状态化 API 的状态管理能力,又有开放路由的跨供应商自由。相比自己从零搭建上下文基础设施,Twigg 提供了一个开箱即用的托管层。

适用场景

  • 构建个人 Agent 或 ChatApp,不想自己管理上下文
  • 多模型/多供应商切换的产品
  • 需要按用户计费、追踪 Token 消耗的 SaaS
  • 从原型到企业级应用的快速迭代

当前状态

v0.1.0 已上线,提供命名空间、系统提示与工具 schema 管理、上下文预算控制、按运行的成本与用量追踪等能力。完整能力说明可通过官方 twigg.ai/llms.txt 获取,支持免费起步。

团队信息

由 AI 猎手自动发现

评论与建议

0 条评论