DeepInfer：DeepSeek开源的生产级MoE大模型推理框架

AI新闻 dotaai 1小时前

一、DeepInfer是什么

DeepInfer是DeepSeek开源的高性能大规模大模型推理框架，是支撑DeepSeek线上生产服务DeepSeek-V4.1 Flash的底层推理引擎，开源协议为Apache 2.0。该项目于2026年10月20日对外发布，官方定位为面向MoE稀疏大模型的离线推理核心组件，内置深度优化算子、并行调度、投机解码等能力，官方线上集群依靠这套内核实现单日155万亿Token的处理规模。

DeepInfer在设计上参考vLLM、SGLang、TensorRT-LLM的架构思路，专门针对DeepSeek MoE模型做定制优化，配套同步开源了采用MIT协议的deepseek-recipe Token编解码库。需要注意，当前开源版本不包含跨副本KV缓存共享、集群负载均衡模块，它是推理内核，不是开箱即用的完整在线服务网关。

二、功能特色

MoE专家并行深度优化：原生支持专家并行EP、专家负载均衡EPLB，可将大量专家分片调度至多卡，适配超大规模稀疏MoE模型。
DSpark投机解码：内置DSpark投机解码与置信度校验机制，在不降低输出质量前提下，降低单Token生成耗时，优化端到端响应延迟。
异步零开销批调度：异步调度器实现Prefill与Decode分离调度，长短请求混合流量场景下，提升GPU利用率，减少排队抖动。
结构化输出与确定性采样：支持JSON Schema、正则约束的结构化生成；NVIDIA硬件链路支持确定性采样，相同输入与随机种子可复现输出结果。
SWA有界回放：配套SWA有界回放能力，适配长上下文连续对话场景，稳定控制显存开销。
多硬件原生适配：官方原生适配NVIDIA SM100 GPU、华为昇腾950 NPU，面向国产算力提供部署路径。

DeepInfer（图1）

三、技术细节

DeepInfer整体分为算子层、模型运行时、调度层、采样校验层四个模块。

算子层集成DeepSeek自研优化内核，针对MoE路由、专家GEMM、稀疏注意力做底层加速；并行策略支持数据并行DP、流水线并行PP、专家并行EP+EPLB，解决MoE推理里专家负载不均、跨卡通信瓶颈的痛点。

调度层采用Prefill-Decode分离架构，把上下文预填充和Token生成两个阶段拆分开调度，避免长输入请求阻塞大量生成请求；异步批调度没有额外锁开销，支持batch-invariant inference，保证批量请求下生成行为稳定。

解码链路搭载DSpark投机解码，先快速生成候选Token序列，再批量校验，校验通过直接输出，失败则回退重生成；采样模块支持确定性采样，在固定随机种子、关闭变长MTP变量模式时，输出结果可复现。

配套deepseek-recipe为Rust编写的高性能Tokenizer，独立于推理引擎，负责输入文本编码、输出解码，协议宽松，可单独集成到其他服务。

四、应用场景

企业私有化部署DeepSeek-V4.1 Flash MoE大模型，搭建高吞吐推理集群；
算力厂商、云服务商做MoE模型推理性能调优，研究稀疏大模型分布式调度方案；
AI科研团队研究投机解码、MoE专家负载均衡、长短请求混合调度工程实现；
对输出确定性、结构化JSON输出有强要求的Agent、代码生成、文档解析服务；
基于昇腾950 NPU集群部署DeepSeek系列大模型的国产化算力项目。

DeepInfer不适合新手本地快速体验各类开源模型，它的模型支持范围窄、编译部署门槛偏高，缺少开箱即用的完整Web服务层。

五、使用方法

环境准备：准备适配硬件（NVIDIA SM100 / 昇腾950），安装对应驱动、CUDA或CANN环境，C++编译工具链。
拉取源码

git clone https://github.com/deepseek-ai/DeepInfer.git
cd DeepInfer

编译内核与运行时：按照仓库README文档执行编译脚本，编译优化算子与推理运行时。
模型准备：下载DeepSeek-V4.1 Flash权重文件，配置模型路径、并行策略、硬件参数。
启动离线推理：调用内置推理入口，传入Prompt、采样参数；如需对外提供API服务，开发者需要自行封装网关、KV缓存集群、负载均衡组件。
配套Tokenizer：单独拉取deepseek-recipe仓库，完成文本编解码接入。

六、竞品对比

对比项	DeepInfer	vLLM	SGLang
核心定位	DeepSeek MoE模型专属生产级推理内核	通用大模型推理服务引擎，覆盖面广	侧重前缀缓存复用、Agent结构化生成推理引擎
模型支持	当前仅原生支持DeepSeek-V4.1 Flash	海量开源模型、稠密/MoE都支持，社区生态庞大	主流开源模型，擅长多轮对话、Agent工具调用
MoE优化	深度定制专家并行、EPLB专家负载均衡，专为DeepSeek MoE打磨	通用MoE支持，通用性强，无厂商专属深度优化	MoE支持完善，优势不在专家调度而在RadixAttention前缀复用
特色能力	DSpark投机解码、SWA有界回放、确定性采样	PagedAttention分页KV缓存、丰富量化方案、广泛硬件适配	RadixAttention前缀树KV缓存，结构化生成、约束解码成熟
上手难度	高，偏内核，缺少完整服务层	低，开箱即用OpenAI兼容API	中等，适合Agent长对话业务
硬件适配	NVIDIA SM100、昇腾950	NVIDIA、AMD、昇腾、Gaudi、Apple Silicon等多硬件	主流NVIDIA GPU为主，逐步拓展国产算力

七、常见问题解答

Q：DeepInfer可以直接对外上线做公网API服务吗？

A：不可以直接当成完整服务使用。当前开源版本只开放推理内核，缺少集群KV缓存共享、多副本负载均衡、网关限流这些线上必备组件，需要开发者自行补齐上层服务模块后再部署上线。

Q：DeepInfer支持其他开源大模型，比如Llama、Qwen吗？

A：现阶段官方仅针对DeepSeek-V4.1 Flash做适配优化，暂不支持其他第三方模型，它不是通用推理引擎。

Q：DeepInfer和deepseek-recipe是什么关系？

A：DeepInfer是推理运行内核，deepseek-recipe是配套独立Tokenizer组件，负责文本与Token互转，两个仓库分开维护，协议不同，deepseek-recipe可以脱离DeepInfer单独使用。

Q：确定性采样怎么开启？

A：仅NVIDIA硬件链路支持。开启batch-invariant模式，关闭DEEPINFER_ENABLE_MTP_VARLEN环境变量，并且在采样参数中传入固定seq_seed，相同输入就能得到一致输出。

Q：DeepInfer和TensorRT-LLM有什么区别？

A：TensorRT-LLM偏向单卡/小规模稠密模型极致延迟优化；DeepInfer重心是大规模MoE稀疏模型多卡分布式调度与高吞吐集群推理，优化方向不一样。

八、相关链接

DeepInfer 主仓库：https://github.com/deepseek-ai/DeepInfer
deepseek-recipe Tokenizer仓库：https://github.com/deepseek-ai/deepseek-recipe

九、总结

DeepInfer是DeepSeek从自身线上大规模MoE服务沉淀出来的推理内核，聚焦稀疏大模型的多卡专家调度、投机解码与混合流量调度，在适配硬件和目标模型上性能优势突出，虽然它不是通用推理框架、缺少完整服务网关，但是给有私有化部署DeepSeek-V4.1 Flash需求的企业与算力团队，提供了一套原厂生产级的底层推理实现方案。