github.com/architectds/co…
作者在谷歌A100跑 Qwen Flash:prefill 3000+、decode 90+ tps——他判断已比商用 API 快,短时并发可放 Collab,Recipe 已开源(引帖自证)。
三层拆:一,免费档论证二次进阶:上次省钱,这次速度也位移——成本与吞吐两维超付费基线,比降本更强的信号;二,prefill/decode 分开报是完整口径:灌入与生成分开测才算快——主帖引帖(2800~3000/90+)互证;三,Recipe 开源把结论变成路径:复现是唯一落点——读结论不算,跑一遍才算。
口径:①"一般商用API"未点名——基线需自建,没基线就没有"更快";②"短时"并发是免费档天然边界——90 tps 是 burst 还是持续未分,以自跑为准;③两段数字均出自其自测——未复现。
给要验的三条:一,先量基线:手头API的 prefill/decode——没这两行,无从比较;二,按 Recipe 跑一轮、两段分记:灌入与生成瓶颈常不同处;三,把"短时"变数字:额度连跑几分钟降速——这数字才是免费档的真单价。
下次在 Collab 跑起模型,首个请求返回那两行数——prefill/decode——就是位移在你机器上的证据。
话题来源 @ivanalog_com
25.9K阅读 ❤️206 x.com/…↗ 已改写,非原文转载
212 浏览 0 评论
0 反应













