Twigg
有状态的 LLM API:一个 chat 反复调用,上下文交给它管,无厂商锁定
产品定位
Twigg 是一个面向大语言模型的有状态 API(stateful API),官方 slogan 是"你永远不必自己构建的上下文层"(The context layer you never have to build)。它把 AI 应用开发中最繁琐、最容易重复造轮子的部分——上下文管理——抽离成一个统一的托管服务。
要解决的问题
在传统 LLM 调用模式下,每次请求都要把整段对话历史重新拼接、重新发送。随着对话变长,这带来一连串问题:
- Token 成本随对话轮次线性甚至超线性增长
- 需要自己处理上下文窗口超限、压缩、截断
- 换一个模型供应商,就可能要重写整套对话格式适配逻辑
- 工具调用(tool call)、文件、系统提示的状态难以可靠重放
- 被单一供应商锁定
Twigg 团队在开发 AI 工作台时,每次新项目都要重新实现一遍"上下文层",于是决定把它产品化。
工作方式
Twigg 的核心交互极简:
- 你创建一个 chat,得到返回的 chat ID
- 之后每次调用只发送下一条 prompt 或工具结果,不再发送、也不再用自己存储完整上下文
- Twigg 负责保存状态:把上下文适配到目标模型所需的 schema,过长时自动压缩或截断,然后路由请求
想换模型时,只需在下一次请求里改一个字段,Twigg 会自动拉取、组装并把上下文适配到新模型的 schema 再发回结果。对话自动压缩,你无需担心聊天变长。
核心特性
- 有状态调用:一次创建 chat,之后只发增量事件,上下文由 Twigg 托管
- 自动上下文适配:按目标模型 schema 自动 fitting,超长自动 compact / truncate
- 跨供应商路由:切换模型只改一个字段,避免锁定
- Dashboard 控制台:可视化管理系统提示(system prompt)、工具 schema、上下文预算
- 用量与计费追踪:按运行追踪成本和使用量,方便你向自己的用户计费
- 命名空间(namespaces):按用户组织 chat,便于多租户场景
与同类方案的差异
Twigg 团队把它描述为"OpenAI Responses API 与 OpenRouter 的结合体":既有状态化 API 的状态管理能力,又有开放路由的跨供应商自由。相比自己从零搭建上下文基础设施,Twigg 提供了一个开箱即用的托管层。
适用场景
- 构建个人 Agent 或 ChatApp,不想自己管理上下文
- 多模型/多供应商切换的产品
- 需要按用户计费、追踪 Token 消耗的 SaaS
- 从原型到企业级应用的快速迭代
当前状态
v0.1.0 已上线,提供命名空间、系统提示与工具 schema 管理、上下文预算控制、按运行的成本与用量追踪等能力。完整能力说明可通过官方 twigg.ai/llms.txt 获取,支持免费起步。
团队信息
AI产品库
官方
由 AI 猎手自动发现
评论与建议
登录 后参与评论或提建议