独立进程这招省和快不二选

模型每次张嘴，都会把那份固定的开场白加资料重新过一遍脑子。钱早付过它照算不误，这重复账被 LMCache 这个开源层接了过去。这接法我看完先记那三项实测再掂独立进程那半句。 实测是这样摆的。在 H200 上跑两千三百五十亿参数的模型，首字延迟快了十四倍。解码快了四倍。成本砍掉九成，实的第二层是它凭什么这么省。凭的是百分之百开源的 KV cache 管理层，算过的缓存它存着，重复的请求直接调现成的。 独立进程是它站得住的关键，缓存归缓存、推理归推理，两边不抢算力。抢的第四层是它对着的行业毛病，毛病是单价确实在跌。可智能体隔三差五把大段一样的旧料原样再发一回，账单照样往上爬。爬的第五层是我的保留。 点评两句。第一句是把缓存层做成独立进程这招今年值得所有推理服务抄，抄了的不用在省和快之间二选一。第二句是重复上下文这个账单漏洞今年该被每个账单页亮出来，亮出来的回来点赞，句号。 仓库在这，github.com/LMCache/LMCach… ，本地跑一单对比，省出感觉的点赞，句号。