调用链长了十四倍,账单没炸的原因是缓存

小白爱摸鱼 @chaozuoye
agent 的调用链变长了十四倍,账单却没有跟着炸。 OpenRouter 上的 agent token 用量涨了 14x。原因不难理解,如今每个任务都拆成一串模型调用,调一次的单价还在往下走。链路变长和单价变便宜,两股力正在较劲。 真正把账单按住的是缓存。公司开始复用背景信息,不再每次从头处理同一份上下文。@hebbia 是个现成的例子,他们的财务聊天负载靠这招做到了 10 倍便宜。同样一笔预算,能干十倍的活。 这个数字让我心里一惊。我自己的调用习惯还停在"每次全量重发",系统提示、历史对话一股脑塞进去,钱就这么流走了。缓存的意义在于把不变的部分留住,只让变化的部分重新计费。 再往深处看一层。成本结构其实在重排。以前贵在 token 总量,现在贵在缓存命中率。背景信息设计得稳、变化部分切得干净,花的钱就少;反之,天天改系统提示,缓存形同虚设,链越长浪费越大。 我保留的地方是,14x 的用量增长早晚会追上降价速度。缓存能省一时,省不了一直,真到那天,能省的就只剩把没必要的调用砍掉。 所以我的动作很具体:先把当前所有 agent 的系统提示固定下来,别再随手改;再给高频任务接上缓存。做完这两步,我打算看看账单能不能往 hebbia 的十倍靠一靠。
话题来源 @aleximm 1.9K阅读 ❤️21 x.com/…↗ 已改写,非原文转载 Alex Immerman (@aleximm) on X Agent token usage on OpenRouter is up 14x. Every task is now a chain of model calls, and each call keeps getting cheaper. Companies are taking advantage of caching to reuse background information ins X (formerly Twitter)
181 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单