GLM-5.3 在各家接口上的每任务成本差出了九倍,差的来源不是模型本身。
这差法我看完先记那两行账再掂折扣那半句。
记的掂的点在下面一层层摆,摆好了看两行账。
账在下面摆着,摆好了自己核。
两行账是这样摆的,同一个模型在 Makora 每任务九毛二、在 Nebius 八块六毛八。
两边把几乎全部可缓存的输入都从缓存里发了出来。
命中率一家九十八一家满格。
输出价也一样都是每百万令牌四块四,摆的第二层是差价的唯一来源。
来源是输入的定价。
便宜那家 DeepInfra 缓存输入每百万只收一毛钱。
贵那家在共享的无服务器端点上压根没有缓存折扣。
所有输入一律按一块四的全价收。
摆的第三层在下面摆着,摆好了别眨眼。
眨眼就翻过去了。
分布是这样记的。
二十一家提供方二十五个端点,含 DigitalOcean 等一众的缓存命中率从四成一一路铺到满格。
其中十五个端点在九成八以上。
记的第四层是这套数字怎么算出来的。
算法是拿多轮智能体编码任务去跑、从各家的用量回报里读缓存令牌数。
再按各家的输入输出和缓存定价套上去。
套的是同一套令牌数以求公平。
摆的第五层是它给同行的分量。
再补一层给同行的,这份榜单最值钱的一点是把成本差的来路摊开给了所有人看。
同接口换一家能省出多少不再是一个玄学问题,而是一张可以逐项对的表格。
再往下追,缓存命中的高低往往取决于端点怎么调度。
写入价怎么收、以及服务方给不给折扣。
三样里任何一样掉链子,账面上就会立刻难看。
再补一层给看客的,把这类榜单读熟了再去问我要不要换服务商。
你至少能问出缓存命中率几成、缓存输入每百万收多少。
写入价怎么算这三个问题,问得出来的人才谈得上把成本压下来。
再补一笔给做预算的,别被输出价迷惑。
因为智能体的账大头在输入这一头,而输入这一头又大半靠缓存打折。
所以真正要看的是折后输入价和这家给不给折扣。
再补一笔给路过的,等你把这份榜单翻完再看各家宣传的输出单价。
就会明白为什么有的贵有的便宜,因为差在缓存这一头。
而不是模型本身。
选服务商不等于选模型,同一只同款模型换个接口能差出九倍。
这一层账过去从来没人摆到台面上。
再补一笔给好奇的,这份榜单背后还有一件事值得留意。
缓存命中的高低往往取决于端点怎么调度、写入价怎么收。
以及服务方给不给折扣,三样里任何一样掉链子。
账面上就会立刻难看。
最后一笔给同行的,等你把这份榜单翻完就会明白一件事,选服务商不等于选模型。
同一只同款模型换个接口能差出九倍,这一层账过去从来没人摆到台面上。
再往下追一层,缓存命中的高低往往取决于端点怎么调度。
最后一句给同行的,把缓存定价读熟再选接口。
顺手记一句给看客的,同换个服务商差出九倍,选接口别只看名字。
点评两句。
第一句是把缓存命中率单列成一栏这步今年值得所有看推理成本的人学一发,学了才知道同接口换一家能省出多少。
第二句是九倍差来自定价不来自模型这半句今年会让一批只看模型名选接口的人先去比一比各家的缓存条款。
比完的回来点赞。
句号。
话题来源 @ArtificialAnlys
16.9K阅读 ❤️225 x.com/…↗ 已改写,非原文转载
53 浏览 0 评论
0 反应













