免费的那台机器,跑得比付费还快

AI大土豆 @suanwan
github.com/architectds/co… 作者在谷歌A100跑 Qwen Flash:prefill 3000+、decode 90+ tps——他判断已比商用 API 快,短时并发可放 Collab,Recipe 已开源(引帖自证)。 三层拆:一,免费档论证二次进阶:上次省钱,这次速度也位移——成本与吞吐两维超付费基线,比降本更强的信号;二,prefill/decode 分开报是完整口径:灌入与生成分开测才算快——主帖引帖(2800~3000/90+)互证;三,Recipe 开源把结论变成路径:复现是唯一落点——读结论不算,跑一遍才算。 口径:①"一般商用API"未点名——基线需自建,没基线就没有"更快";②"短时"并发是免费档天然边界——90 tps 是 burst 还是持续未分,以自跑为准;③两段数字均出自其自测——未复现。 给要验的三条:一,先量基线:手头API的 prefill/decode——没这两行,无从比较;二,按 Recipe 跑一轮、两段分记:灌入与生成瓶颈常不同处;三,把"短时"变数字:额度连跑几分钟降速——这数字才是免费档的真单价。 下次在 Collab 跑起模型,首个请求返回那两行数——prefill/decode——就是位移在你机器上的证据。
话题来源 @ivanalog_com 25.9K阅读 ❤️206 x.com/…↗ 已改写,非原文转载 GitHub - architectds/collabosm: Run Qwen3.8-Flash-Next (125B-A6B MoE) on ONE Colab A100-80GB High-RAM: pinned runtime, w Run Qwen3.8-Flash-Next (125B-A6B MoE) on ONE Colab A100-80GB High-RAM: pinned runtime, weights from HF, OpenAI-compatible endpoint, measured 2.8k-3.9k t/s prefill / 90-97 t/s decode, plus a verifie... GitHub
213 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单