模型权重决定能力的边界，推理框架决定能力的成本。这一次，成本工程学的图纸摊在了所有人面前。 DeepInfer于10月20日正式官宣并上线GitHub。 10月20日，DeepSeek把支撑其线上大规模服务的内部推理框架DeepInfer（Apache 2.0协议），连同生产级Token编解码组件deepseek-recipe（MIT协议），一并全面开源。 在公众注意力集中于参数规模与榜单分数的这几年里，大模型产业真正的经济性难题，始终藏在模型与硬件之间那个“看不见”的环节。 训练让模型学有所成，推理则让模型为人所用。 当海量调用同时涌向一个动辄千亿参数的模型，推理框架承担的是调度、分批、缓存复用、并行切分的系统工程。它决定同一块加速卡一天能产出多少token，决定一次请求的延迟，也最终决定了这家公司在API账单上写下的每一分钱。 这组数字建立在三个前提之上——96%的缓存命中率、单一集群高负载率、谷时价格折算。它是DeepSeek自有集群、以长对话与Agent为主的自有流量的线上统计，不是通用基准，不能直接套到别的模型、别的流量结构上。 将这样的系统开源，本质上是在公开一门“成本工程学”。 如何以合理价格提供超大规模模型服务，答案不再只有头部实验室知晓。 高命中率背后是一套双层KV缓存架构，这也是本次披露中最具价值的技术细节。 Block KV缓存：持久存入自研3FS分布式存储集群，约100 PiB SSD，峰值聚合读带宽约10TiB/s。对话流量保留7天，Agent流量保留3天。任何一台Prefill机器都能命中任意前缀，路由无需照顾缓存亲和性，存储与算力独立扩缩。 SWA滑动窗口KV：只在活跃会话内复用，驻留节点本地内存而非持久化存储，线上TTL约180秒，命中率超98%。 一旦SWA缓存失效，框架通过SWA Bounded Replay仅重放末尾128个token，并以近似注意力窗口替代精确重建——重算成本由此与上下文长度无关。 官方称，将其应用于解码器层后，每次Prefill的总计算量近乎减半。这是用可控的微小精度损耗，换确定性计算量削减的典型工程取舍。 需要说明的是Replay带来的精度损失虽微小，却客观存在；对准确率高度敏感的业务，应先在自有流量上完成评估，再决定是否启用这套机制。 Prefill与Decode的物理拆分则是生产侧的另一根支柱。 计算密集的Prefill由常规8卡机器承担，带宽密集的Decode由64至128卡超节点以Wide-EP（宽专家并行）承载。 官方给出的最小高效部署单元是64卡Prefill池搭配64卡Decode池。两组资源池独立调度、按需配比，而非固定一一绑定的物理节点。 DeepInfer最初基于vLLM搭建，并借鉴了SGLang与TensorRT-LLM的设计，其上叠加DeepSeek自己的算子栈。 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，以及自定义TileLang内核。 几个关键优化的真实收益边界值得如实呈现： DSpark投机解码：通过置信度头预测每个草稿token的被接受概率，动态决定验证长度。效果是每步验证的草稿token减少约30%（5个降至3.2–4.4个），线上生产点位吞吐提升约4%至7%（官方口径约6%）。这不是跨越式加速，而是在万亿级持续调用中持续消减无效验证算力的边际压榨型优化——低负载下它甚至略亏于固定验证，价值高度依赖高并发场景。 MoE专家并行（EP+EPLB）：解决MoE最头疼的all-to-all通信与热点专家拥堵。EPLB通过统计与复制热点专家，把各卡负载不均衡度压至约1.03–1.09。值得一提的是，EPLB属于基于历史路由窗口的预测式均衡，天然要求负载相对平稳；它针对的正是线上长Agent流量中持续的热点专家漂移，这与通用框架面向多样模型的均衡策略，指向的是两类不同的工程痛点。 取舍线：开源版本目前只提供离线推理，首发仅支持V4.1 Flash一个模型；硬件明确限定为英伟达SM100（Blackwell）与华为昇腾950——Hopper及更老架构不在支持列表，消费级显卡无法运行，普通笔记本无缘。KV缓存管理系统、Prefill/Decode分离调度、跨副本负载均衡三块因与内部基础设施耦合过深，代码暂未放出——设计细节写进了官方长文与问答，实现留在了内部。这正是“交出引擎、而非整套线上服务栈”的准确含义。 DeepInfer并非孤立事件。 先是大模型权重开源，建立社区信任。随后是TileLang编译工具与推理算子库。2025年那批高性能算子库，如今都成为DeepInfer可插拔的积木。 尤其值得注意的是9月30日的前置动作。 DeepSeek已面向昇腾平台开源了与英伟达版一一对应的整套组件——TileLang昇腾后端、DeepGEMM-Ascend、DeepEP-Ascend、TileKernels、FlashMLA、DeepSelect。 据官方披露，华为团队深度参与基于昇腾950的128卡超节点方案，多项关键测试中计算与通信性能已接近硬件上限。DeepInfer的双平台兼容是这套垂直算子栈的自然延伸，而非孤立的移植适配。 这套组合拳的行业意义不止于“多支持一家硬件”。 业内普遍反馈，昇腾平台跑通大规模MoE宽EP的all-to-all通信是公认的难点。 DeepEP-Ascend与EPLB的整套打包开源，等于为昇腾侧的大MoE集群提供了一份可直接参考的通信与负载均衡方案。 这是多数通用框架“后移植适配”模式之外，一条独立的技术路线。 当初DeepSeek解释“为何不开源内部推理引擎”时，理由是引擎与内部集群工具深度绑定。 今天的DeepInfer是在同样约束下完成的取舍：能解耦的，全部交出；解不开的，如实说明。 这种克制，反而比“一次放出全部”更具工程可信度。 对私有化部署：门槛被实质性拉低。此前自建推理服务需要在吞吐、延迟、成本之间做漫长的黑箱探索，现在可以直接站在一套经过大规模生产验证的框架之上。 对推理引擎生态：vLLM、SGLang、TensorRT-LLM迎来重量级参照系。vLLM官方已公开致谢，并表示将吸收DeepInfer的想法改进自身效率。这套剧本，在开源史上反复上演。 对行业定价逻辑：“每卡每小时38美元”提供了罕见的标尺。但必须澄清口径：这是谷时价格折算的API收入，不是硬件成本，更不是利润，也不代表任意流量都能达到该收益。它成立的商业前提，是高缓存收益的长对话流量与峰谷错峰定价的组合。 这张表揭示的是两条路线的分野。 vLLM/SGLang以通用性取胜，做多模型、多硬件兼容； DeepInfer则选择模型—算子—引擎垂直耦合，把单款MoE长上下文模型的经济性榨到极致，再把这份生产最优解开源输出。 它不打算取代谁，而是给已经在跑V4.1Flash、做长对话Agent业务的团队，一份经过万亿token验证的部署范本。 所有性能与经济性数据均来自DeepSeek自有口径，尚无第三方独立复现基准。 公开版FlashMLA缺失一处面向内部集群的手工调优，解码内核单项慢5%–10%；叠加全链路调度后，端到端性能差距官方控制在5%以内。 社区拿到的是“接近官方”，而非“等同官方”。 模型绑定风险同样现实：DeepInfer的定制算子、SWA策略、MoE调度都与V4.1 Flash的架构深度耦合。一旦模型换代，这套范式的红利未必能直接复用——它不是一套万能推理引擎。 私有化落地的隐性成本最容易被低估：96%命中率依赖约100 PiB 级分布式KV存储、会话路由与峰谷流量结构的配套。只拿到引擎、没有整套存储与调度体系的项目，命中率可能断崖下跌，成本优势随之消失。 而最小高效单元64P+64D的硬件门槛意味着这首先是云服务商与大型推理团队的工具，而非普通开发者的玩具。 从开放权重，到开放算子，再到开放引擎，DeepSeek正在把大模型的价值重心，从“模型本身”引向“模型如何被高效、低成本地交付”。这场静悄悄的工程革命也许不会在榜单上留下名次，但它改变的，是每个企业为智能付费的方式，和智能触达每个人的价格。 大模型竞争的下半场，枪声在地基之下。而这一次，DeepSeek把图纸摊在了所有人面前，只是图纸之外，全局缓存路由、峰谷调度、负载漂移的整套生产标定方案，仍握在它自己手里。
DeepInfer为Apache 2.0 · deepseek-recipe为MIT。为什么是推理框架？被长期忽视的“中间层”
96%命中率不是魔法，是存储分层的取舍
引擎之上：DSpark、EPLB与一条清晰的取舍线
溯源：一场从权重到算子、从算子到引擎的开源长征
推理成本，正在从“商业机密”变成“公共知识”
开源不等于免费，热度不等于性能
本文来源于DOIT传媒，文章内容仅供参考，不构成投资建议。
评论列表