AI自写推理引擎 解码速度比vLLM快90%

**时间**：2026年10月3日 **地点**：美国旧金山（Baseten总部）+ arXiv线上平台 **人物**：Baseten工程团队；MetaInfer论文团队（论文作者未具名） **事件详情**：机器学习基础设施厂商Baseten工程师10月2日发布实测博客《Agentic inference optimization: 50-90% faster engines》，复现了arXiv论文《MetaInfer: A Knowledge Only LLM Inference Engine Generator SKILL Toolbox》中提出的"LLM-as-Compiler"思路：用大模型自动生成定制化推理引擎，并在Qwen-3.6-35B-A3B（NVFP4精度、单卡B200）上对比vLLM 0.25.1。结果显示，该AI生成的推理引擎在单流解码速度上比vLLM最多快90%，首token延迟（TTFT）快2.33倍；为追求极低延迟的实时AI应用打开了新空间。MetaInfer由arXiv论文2607.12875提出，本质是让LLM扮演编译器角色：用户只给定运行时约束，模型自行从零产出针对特定硬件+模型的推理引擎代码，全程不依赖vLLM/SGLang/TensorRT-LLM等通用引擎的源码；论文已在Qwen3-8B + TP=4配置下把代码量缩减99%、吞吐量推至60.2 tok/s。 **背景**：推理优化长期是大模型落地的核心瓶颈。vLLM、SGLang、TensorRT-LLM虽是业界事实标准，但要做到"低TTFT+低TPOT+高吞吐"必须在多个维度同时调优——内核融合、KV缓存复用、预填充/解码分离、推测解码、量化精度、跨硬件调度——任何一层掉链子都会拖累整体SLA。Baseten工程师援引Karpathy的Autoresearch项目指出，当LLM被放在"可量化指标+可验证正确性+明确约束"的优化问题上时，能像AlphaProof那样"日夜刷榜"自动搜索性能优化点；而推理引擎恰是这种"目标可验证、搜索空间极大"的理想场景。MetaInfer正是这一范式的首次系统化尝试，把"推理优化"从人写代码升级为"AI写引擎、人设约束"。 **影响**：若"LLM自写推理引擎"成为可复制方法，意味着推理基础设施的开发节奏将显著加速：每次新模型（如DeepSeek V4、Qwen3.8、GLM 5）发布，不再需要等待社区花数周手写优化，而是由AI在数小时到数天内产出专用引擎。短期看，对vLLM/SGLang等通用引擎形成"垂直整合"竞争压力，尤其在低延迟场景（代码补全、语音、Agent调用）优势突出；长期看，将改变AI基础设施栈的分工——上层应用厂商直接拥有"自调优推理能力"，对中间层推理服务商构成降维打击。Baseten本身既是MetaInfer的早期验证者，也仍是vLLM生态重要集成方，其立场颇具风向标意义。 **总结**：从"AI用工具"到"AI造工具"，推理优化正进入自动化时代。MetaInfer以50-90%的实测加速给出首个硬指标落地样本；它不是要取代vLLM等通用引擎，而是开辟"专用引擎按需生成"的新范式。当LLM开始自己写编译器，AI基础设施的研发曲线将被再次重写。 **参考资料**： 1. https://www.baseten.co/blog/agentic-inference-optimization-faster-than-sota/（Baseten官方博客原文） 2. https://arxiv.org/abs/2607.12875v1（MetaInfer论文arXiv主页） 3. https://superpowerdaily.com/posts/baseten-says-ai-built-inference-software-beat-its-baselines-by-up-to-90（Superpower Daily报道） 4. https://www.zenml.io/llmops-database/mission-critical-llm-inference-platform-architecture（Baseten推理平台架构分析） 5. https://cloud.google.com/blog/products/ai-machine-learning/how-baseten-achieves-better-cost-performance-for-ai-inference（Baseten 225%成本性能提升数据） 6. https://ar5iv.labs.arxiv.org/html/2607.12875（论文ar5iv可读版） 7. https://segmentfault.com/a/1190000047876324（思否中文技术解读） 8. https://github.com/MetaInfer/MetaInfer（MetaInfer开源代码仓库）