ElastiCache分布式KV缓存 LLM降本40%
时间:2026年11月21日
地点:美国
人物:AWS团队
事件详情:亚马逊云科技(AWS)宣布Amazon ElastiCache for Valkey正式支持分布式KV缓存,面向自托管大语言模型推理场景。该功能可将GPU推理成本降低最多40%,首token延迟(TTFT)缩短最多80%。AWS介绍,这一能力通过在GPU服务器旁部署共享缓存层,让多个推理worker复用历史attention状态,避免每次请求都重新计算相同上下文。从技术架构看,分布式KV缓存作为L2层,位于GPU内存L0和本地NVMe L1之间,通过开源的LMCache服务器和Valkey适配器管理缓存。vLLM与SGLang可连接本地LMCache服务器,即使后续请求落到不同推理服务器也能复用缓存条目。该功能同时作为AWS Agent Toolkit的一项skill发布,可与Kiro、Claude Code、OpenAI Codex等编码agent配合使用,并提供KVTrace工具让用户在部署前估算收益。
背景:企业在自有GPU集群上托管LLM时,常因每台服务器本地缓存孤立而重复计算KV attention状态。以法律AI助手为例,单次对话可能累积数十万token的历史上下文,用户离开一段时间后返回,新请求仍要从头prefill,导致响应时间长达数分钟。此前业界已尝试本地缓存,但跨服务器、跨会话的复用一直缺乏托管方案。
影响:该功能目前已上线13个AWS区域,包括美东(弗吉尼亚、俄亥俄)、美西(俄勒冈)、欧洲(爱尔兰、法兰克福、斯德哥尔摩)及亚太(孟买、东京、新加坡、悉尼、香港、马来西亚、泰国)。AWS测试显示,增益取决于缓存命中率和workload特征,对短prompt、一次性查询或扩散模型效果有限。部署上需要使用基于节点的ElastiCache集群,运行Valkey 9.1或更高版本,实例规格为cache.i8ge.48xlarge,暂不支持ElastiCache Serverless。此外,该缓存非持久化存储,节点重启或故障会导致缓存丢失,应用需重新计算或加载缺失状态。
总结:AWS通过ElastiCache为自托管LLM场景补上了一层共享KV缓存,瞄准的是GPU集群中普遍存在的重复prefill浪费。对于长对话、编码agent和文档问答等重上下文场景,最高40%的成本和80%的首token延迟降幅具有实际意义。但该功能对硬件规格、网络拓扑和模型框架均有明确限制,且缓存不持久,实际落地前需要评估workload特征和运维成本。
参考来源:
AWS Database Blog
https://aws.amazon.com/cn/blogs/database/announcing-distributed-kv-caching-for-self-hosted-llms-with-amazon-elasticache/
AWS Machine Learning Blog
https://aws.amazon.com/blogs/machine-learning/cut-self-hosted-llm-cost-and-latency-with-the-distributed-kv-caching-agent-skill/
Data Phoenix
https://dataphoenix.info/news/aws-elasticache-distributed-kv-caching
explainx.ai
https://explainx.ai/blog/aws-distributed-kv-caching-agent-skill-elasticache-november-2026
dailyartifact.ai
https://dailyartifact.ai/story/cut-self-hosted-llm-cost-and-latency-with-the-distributed-kv-caching-agent-skill-1mwnq
techandbusiness.org
https://techandbusiness.org/newswire/hQwcl7ZqzXlUsWGUA-rbnA







