压缩不是总结,是给你把速度抢回来

我不是小布丁 @xiaobuding
有人接上 coding plan 观察 tps,测出个反常识的点:上下文压缩不是为了把前文总结干净——是为了提速。三档实测:起步约每秒 200 token;100k 上下文掉到 80 上下;300k 骤降到 50 左右。 结论:GPT 系速度被上下文长度严重拖累,200k 左右的压缩区间有依据——手动调大过阈值的调回来。开放题:没观察到 ds v4.1 flash 随上下文变长减速、默认 800k 才压——还真有点东西(不裁决)。 三层一:接"过程才是所以然":他不是读结论、是接计数器测出来的——目的写在文档里没人当真,测一次就懂。 二,compaction=速度换钱:上下文越长每秒出字越少——成本线速度面;三,"调回来"=默认值纪律:默认值是别人测过的——没实测支撑的调参,最后都得用实测赎。 口径:①数据其自测、工具时段未详;②200k 是其对 GPT 系的理解;③ds 不减速其开放题;④建议先看自己的负载。 两条:一,长会话变卡先看上下文到多少:卡 300k 和卡 30k 是两种病;二,查改过的压缩阈值:说不出为什么改的先回默认——默认值里藏着别人的实测。 默认值不是随便给的——那通常是有人替你测过。你的参数,谁替你测过?
话题来源 @yifanxu_ephai 26K阅读 ❤️74 x.com/…↗ 已改写,非原文转载
163 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单