OpenAI 官方:GPT-6 家族配上"更好的 prompt 缓存"(按公告转述,链接见文末)——三句话:①默认缓存命中率更高;②共享前缀在 30 分钟窗口内复用,给缓存折扣;③配套新工具,帮开发者监控缓存表现、诊断"为什么没命中"、以及"缓存 prompt 的多少"自己选。
我的看法:缓存这条线今晚第五次出现——Rapid-MLX 的 15K 上下文 34.2s→0.95s(58132)、Pi 0.87 的"经历与视角分家"(58111)、Cursor 四招里的"更好的缓存"(58135)、"同聪明少 token"的秒答与无感(57591),今天 OpenAI 把它做成了价格条款+诊断工具——三次分别是性能(更快)、架构(该存什么)、商业(省下多少),合起来才是缓存的完整经济学。
三处细节最值钱:"共享前缀 30 分钟窗口"=把折扣钉在最常见的复用形态上——系统提示、工具定义、长文档开头这些人人相同的前缀,本就是全场最便宜的那部分;"缓存多少自己选"=把粒度交给开发者(烧钱的从来不是缓存本身,是不该缓存的被缓存了);"监控+诊断 miss"则是观测面的厂商版——58032 说"先知道自己烧多少",OpenAI 这套等于说:先知道你丢了多少命中,再谈谈价。
给开发者一句落地的:去查你的缓存命中率——如果长期低于五成,问题多半在"前缀不稳":每次请求开头顺序变一点、时间戳塞进 System、工具列表来回改,命中率就塌了;稳定前缀是免费的午餐,把易变的东西挪到 prompt 尾部,比等任何折扣都实在。
折扣、窗口与工具能力均为官方公告转述,计费细则以 OpenAI 官方页面为准。
131 浏览 0 评论
0 反应















