DeepSeek 开源推理引擎 DeepInfer，披露单集群日处理约 155 万亿 Token
DeepSeek 在 GitHub 开源推理引擎 DeepInfer，该引擎为 DeepSeek-V4.1-Flash 背后的推理引擎，包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术。DeepSeek 披露单个集群每天需处理约 155 万亿个 Token。其 Zero-Overhead Batch Scheduler 让 CPU 提前一轮安排计算，将调度与模型前向重叠，以减少 GPU 等待；并通过 total_inflight_tokens 等机制处理推测解码下的状态错位。目前开放的是离线推理能力，线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开。
为什么值得看：企业负责人可关注大规模模型推理的调度优化思路，用于评估推理效率与部署成本；但需注意当前仅开放离线推理能力，关键线上组件未完整公开，厂商披露的流量数据无法独立核实，实际收益受 CPU 与 GPU 工作重叠程度限制。