DeepInfer 开源：推理性能、缓存收益与部署边界
Latent Space3 天前
DeepInfer 开放了哪些能力？
DeepSeek 发布了用于 V4.1 Flash 的推理引擎 DeepInfer，开放范围包括推理引擎及 API 处理层。
此次披露的主要能力包括：
- 分布式推理与推测解码。
- SWA Bounded Replay 和结构化输出。
- 对 NVIDIA 与华为昇腾平台的支持。
- 配套的 deepseek-recipe 组件，提供生产环境使用的 token 编解码，以及兼容官方 API 的处理逻辑。
DeepSeek 表示，后续模型的推理实现和优化也将进入该代码仓库。
如何理解每日 155 万亿 token？
披露材料给出的生产运行指标包括：
| 指标 | 披露数值 |
|---|---|
| 单集群每日处理量 | 155 万亿 token |
| 输入缓存命中率 | 96% |
| 平均首 token 延迟 | 400 毫秒 |
| 生成速度 | 230 token/秒 |
| 编程场景生成速度 | 最高 300 token/秒 |
这些属于生产运行披露，并非经过独立审计的测量结果。
理解这些数字时，最重要的前提是高缓存命中率。每日处理量包含大量命中缓存的输入 token，不能直接当作全部重新计算或新生成的 token 数量，也不宜与不同缓存条件下的吞吐量直接比较。
材料还提到，单张预填充 GPU 每秒可处理约 150 万个包含缓存命中的输入 token，单张解码 GPU 每秒可生成约 1.4 万个输出 token。这些指标对应不同阶段，不能混为同一种单卡性能。
引擎开源，不等于完整服务可直接复现
此次开放的代码不等于生产服务的全部基础设施。
技术说明指出，KV 缓存管理与负载均衡组件尚未完全开放，原因是它们仍与内部基础设施耦合。因此，即使部署了推理引擎，开发者仍需处理服务级缓存管理、请求调度及配套基础设施等问题。
这也意味着，不能仅凭代码已经开放，就认定其他团队可以直接复现相同的集群吞吐、延迟或成本表现。
高利润率与短回本周期，应视为条件性估算
材料提到，按非高峰价格计算，每加速器小时收入约为 38 美元；另有成本假设将每卡每小时综合成本设为 5—8 美元，进而推算推理利润率和设备回本周期。
这些数字需要分开看：
- 每加速器小时收入是特定业务与计价条件下的披露或折算指标。
- 利润率依赖成本假设，不能直接等同于公司整体利润率。
- 回本周期属于进一步推算，不能视为已经兑现的财务结果。
因此，“约 80% 利润率”“81 天回本”等表述不适合作为无条件成立的结论。
对开发者的实际意义
DeepInfer 提供了观察生产级推理工程的机会，但评估重点应同时覆盖引擎能力、缓存条件和服务编排。对于计划部署的团队，更有价值的问题是：在自己的请求结构、缓存命中率和硬件条件下，能够获得怎样的延迟、吞吐与成本，而不是直接套用生产集群的数字。