DeepInfer：DeepSeek开源的推理框架，日服务155万亿Token Vibe 项目

项目简介

DeepInfer 是 DeepSeek 自研并开源的大模型推理框架，支撑其线上大规模推理服务。2026 年 10 月 20 日随 V4.1 Flash 上线完整开源，仓库 deepseek-ai/DeepInfer 采用 Apache 2.0 协议，数日即获一万一千以上 Star。官方统计显示，单个集群一天可服务 155 万亿 Token，平均每请求输入约 77K Token，首字延迟 400 毫秒，生成阶段每卡每秒输出 230 个 Token，写代码场景可到 300 个。

核心功能

• Prefill 与 Decode 分离：Prefill 用 8 卡机器，Decode 用 64 到 128 卡超节点，带图请求单独交给图像编码服务。
• 前缀缓存复用：Agent 每轮重发整段上下文，框架只算新增部分，线上约 96% 的输入直接命中缓存。
• DSpark 与置信度调度验证：预估草稿 Token 被接受的概率，概率低的跳过验证，把算力留给别的请求。
• SWA 有界重放：基于滑动窗口注意力只重放有限后缀，Prefill 总计算量减少近一半。
• 异步调度：CPU 编排第 N+1 步时 GPU 已在算第 N 步，消除两步之间的空等。
• 结构化输出与确定性：支持正则、JSON Schema、EBNF 约束，支持批次无关推理与确定性采样。
• 内置自研算子：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 与 TileLang 定制算子。

技术实现

MoE 专家并行是关键。V4.1 Flash 光路由专家就有 384 个，Decode 阶段把这些专家摊到 64 张卡，每卡 6 个再额外放 1 个热门专家副本；每卡专家越少，每步从显存读取的参数越少，同样卡数能接住更多请求，离线测试 64 卡一组每卡每秒最高输出 2.6 万 Token。

缓存独立于计算。全部 KV 缓存放在 3FS 存储集群，容量约 100PiB 全固态硬盘，Agent 流量保留 3 天、聊天流量保留 7 天。解耦后任意 Prefill 机器都能读到任意缓存，用户不因换机器丢命中率；计算节点故障率比存储高一个数量级，机器坏了缓存仍在。

硬件同时支持 NVIDIA SM100 与华为昇腾 950 NPU，框架最初基于 vLLM 构建，并参考了 SGLang 与 TensorRT-LLM。

快速上手

1. 准备 Linux 环境，安装 GCC 13 以上与 Python 3.12；NVIDIA 需 CUDA 13，昇腾需 CANN 9.2。
2. 建一个干净的 Python 3.12 虚拟环境，导出 DEEPINFER_ACCELERATOR=nvidia（昇腾填 ascend）。
3. 执行 ./build.sh 从源码编译。
4. 运行 python examples/offline_inference.py，首次自动下载 DeepSeek-V4.1-Flash-1017 权重；离线运行设 DEEPINFER_HF_MODEL_DIR。
5. 用 examples/sweep/run_sweep.sh 复现官方基准（Prefill 4 卡、Decode 64 卡）。

适用人群

推理基础设施工程师、模型部署与私有化交付团队、需要压低单位成本的云厂商与模型公司、研究 KV 缓存与调度机制的系统方向研究者。本次开源的是离线推理版本，完整在线服务仍需自备 KV 缓存系统、PD 分离编排与数据并行副本的负载均衡。

官方链接

https://github.com/deepseek-ai/DeepInfer（Apache 2.0）；同批放出的 deepseek-recipe 负责 API 协议转换与 Token 编解码：https://github.com/deepseek-ai/deepseek-recipe