DeepSeek全面开源内部推理框架DeepInfer

时间：2026年10月20日（北京时间当日，DeepSeek 官方宣布并同步在 GitHub 上线开源仓库） 地点：中国杭州（DeepSeek 总部）；开源仓库面向全球开发者同步上线于 GitHub 人物：DeepSeek 官方团队（本次公告由公司名义发布，未署名个人发言人；开源仓库由 deepseek-ai 组织维护） 事件详情：DeepSeek 今日官宣，在此前开源大模型、TileLang 编译工具及推理算子库的基础上，进一步将内部推理框架 DeepInfer 全面开源，同步开源生产级 Token 编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与深度优化的推理引擎，主要能力包括：优化内核与模型及采样器运行时（集成 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及基于 TileLang 的自定义算子）；并行策略支持 Attention DP 与均衡 CP、MoE EP 配合 EPLB；DSpark 草稿 Token 推测解码配合置信度调度验证（默认最大草稿长度 5）；解码器 SWA bounded replay，仅重放有限后缀以压缩 prefill 计算量；异步调度与零开销批调度器；批组成不变推理（batch-invariant）与确定性采样；以及正则表达式、JSON Schema、EBNF 三类结构化输出约束。框架支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU 两种硬件平台，编译环境要求 Linux、GCC 13 及以上、Python 3.12，NVIDIA 侧需 CUDA 13、昇腾侧需 CANN 9.2；当前开源版本聚焦离线推理（offline inference），完整的在线推理服务所需的 KV cache 系统、Prefill 与 Decode 分离部署以及副本间负载均衡并未包含在本次发布中。DeepSeek 称，基于 DeepInfer 已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务；据 TechWeb 援引官方说法，目前单一集群服务吞吐为 155 万亿 Tokens/天，整体收入折合每卡每小时 38 美金（按谷价计算），未来新模型的推理代码及后续优化也将在该仓库持续更新。开源地址为 github.com/deepseek-ai/DeepInfer 与 github.com/deepseek-ai/deepseek-recipe，其中 DeepInfer 采用 Apache-2.0 许可，deepseek-recipe 采用 MIT 许可。 背景：推理框架是模型与算力集群之间长期未被公众了解的中间层。DeepSeek 官方表述称，大模型的能力边界由模型本身划定，但能否以合理成本提供超大规模模型服务，取决于推理框架对算力集群的统筹调度效率，其效率直接决定 AI 服务的算力成本与电力消耗。此次开源把 DeepSeek 生产环境中的部署经验向社区开放，同步开放的 deepseek-recipe 编解码组件与 DeepSeek 官方 API 的处理逻辑完整对齐，确保社区获得与官方部署一致的 API 体验；这是 DeepSeek 在开源模型权重、TileLang 编译工具以及 DeepGEMM、FlashMLA、DeepEP 等推理算子库之后的又一步动作，标志其开源策略从模型层进一步下沉到推理基础设施层。 影响：对企业和开发者而言，拿到的不再只是模型权重，而是一整套可直接部署的官方级推理栈，可用于构建私有化与公有云部署，目标是压低推理成本与能耗。兼容英伟达 SM100 与华为昇腾 950，意味着国产算力平台首次可以直接复用头部模型厂商的生产级推理实现，国产软硬件生态的可用性与迁移成本都有望改善。从行业竞争看，DeepSeek 正从模型层继续下沉到基础设施层，这一动作会加大国内其他大模型厂商在推理框架开源上的压力，也会促使海外厂商在开放部署栈这一维度重新评估自身位置。需要说明的是，155 万亿 Tokens/天 与每卡每小时 38 美金均为 DeepSeek 官方自述数据，目前尚无第三方复现；且本次开源版本以离线推理为主，面向大规模在线服务的完整能力仍需社区在实际部署中检验。 总结：DeepSeek 此次开源的不是新模型，而是模型与算力之间的那层中间件，但它可能是这一轮开源大模型竞争中最容易被低估的一环。推理框架决定同等算力下的服务吞吐与单位成本，官方自述单集群 155 万亿 Tokens/天、每卡每小时 38 美金的产出水平，也把竞争从参数表推向了算力效率表；而昇腾 950 的支持，则让这套栈第一次有了国产硬件的现成落点。 参考来源： IT之家：https://www.ithome.com/1/015/429.htm 财联社：https://www.cls.cn/detail/2509932 科创板日报：https://www.chinastarmarket.cn/detail/2509932 腾讯新闻（TechWeb）：https://new.qq.com/rain/a/20261020A0BG1W00 腾讯新闻：https://news.qq.com/rain/a/20261020A0BD9M00 凤凰网科技：https://original.ifeng.com/c/8xNa7mI3a8J 今日头条：https://www.toutiao.com/article/7698677140962804250 新浪新闻（界面新闻）：https://k.sina.com.cn/article_5182171545_134e1a99902002kkzk.html GitHub DeepInfer 官方仓库：https://github.com/deepseek-ai/DeepInfer GitHub deepseek-recipe 官方仓库：https://github.com/deepseek-ai/deepseek-recipe