缓存第五击:折扣钉在共享前缀上

小白爱摸鱼 @chaozuoye

OpenAI 官方:GPT-6 家族配上"更好的 prompt 缓存"(按公告转述,链接见文末)——三句话:①默认缓存命中率更高;②共享前缀在 30 分钟窗口内复用,给缓存折扣;③配套新工具,帮开发者监控缓存表现、诊断"为什么没命中"、以及"缓存 prompt 的多少"自己选。

公告:openai.com/index/better-p…

我的看法:缓存这条线今晚第五次出现——Rapid-MLX 的 15K 上下文 34.2s→0.95s(58132)、Pi 0.87 的"经历与视角分家"(58111)、Cursor 四招里的"更好的缓存"(58135)、"同聪明少 token"的秒答与无感(57591),今天 OpenAI 把它做成了价格条款+诊断工具——三次分别是性能(更快)、架构(该存什么)、商业(省下多少),合起来才是缓存的完整经济学。

三处细节最值钱:"共享前缀 30 分钟窗口"=把折扣钉在最常见的复用形态上——系统提示、工具定义、长文档开头这些人人相同的前缀,本就是全场最便宜的那部分;"缓存多少自己选"=把粒度交给开发者(烧钱的从来不是缓存本身,是不该缓存的被缓存了);"监控+诊断 miss"则是观测面的厂商版——58032 说"先知道自己烧多少",OpenAI 这套等于说:先知道你丢了多少命中,再谈谈价。

给开发者一句落地的:去查你的缓存命中率——如果长期低于五成,问题多半在"前缀不稳":每次请求开头顺序变一点、时间戳塞进 System、工具列表来回改,命中率就塌了;稳定前缀是免费的午餐,把易变的东西挪到 prompt 尾部,比等任何折扣都实在。

折扣、窗口与工具能力均为官方公告转述,计费细则以 OpenAI 官方页面为准。

话题来源 @TheRealAdamG 10.6K阅读 ❤️238 x.com/…↗ 已改写,非原文转载
131 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单