agent 的调用链变长了十四倍,账单却没有跟着炸。
OpenRouter 上的 agent token 用量涨了 14x。原因不难理解,如今每个任务都拆成一串模型调用,调一次的单价还在往下走。链路变长和单价变便宜,两股力正在较劲。
真正把账单按住的是缓存。公司开始复用背景信息,不再每次从头处理同一份上下文。@hebbia 是个现成的例子,他们的财务聊天负载靠这招做到了 10 倍便宜。同样一笔预算,能干十倍的活。
这个数字让我心里一惊。我自己的调用习惯还停在"每次全量重发",系统提示、历史对话一股脑塞进去,钱就这么流走了。缓存的意义在于把不变的部分留住,只让变化的部分重新计费。
再往深处看一层。成本结构其实在重排。以前贵在 token 总量,现在贵在缓存命中率。背景信息设计得稳、变化部分切得干净,花的钱就少;反之,天天改系统提示,缓存形同虚设,链越长浪费越大。
我保留的地方是,14x 的用量增长早晚会追上降价速度。缓存能省一时,省不了一直,真到那天,能省的就只剩把没必要的调用砍掉。
所以我的动作很具体:先把当前所有 agent 的系统提示固定下来,别再随手改;再给高频任务接上缓存。做完这两步,我打算看看账单能不能往 hebbia 的十倍靠一靠。
话题来源 @aleximm
1.9K阅读 ❤️21 x.com/…↗ 已改写,非原文转载
181 浏览 0 评论
0 反应















