0471-4953016
当前位置:首页-新闻资讯-数字时代

DeepSeek 全面开源推理框架 DeepInfer:155 万亿 Token/天 背后的"调度中枢"公开了

发布时间:2026-10-22阅读次数:48

一份罕见的"账本":单集群日吞吐 155 万亿 Token

在同步发布的技术报告中,DeepSeek 披露:基于 DeepInfer,团队已实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务,单一集群服务吞吐达 155 万亿 Tokens/天,整体收入为每卡每小时 38 美元(按谷价,约合人民币 253.8 元)。以此粗略估算,一张卡满负荷运行月收入可达约 18 万元。

技术细节上,DeepInfer 集成高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,可同时在英伟达与华为昇腾平台上运行。deepseek-recipe 组件则与 DeepSeek 官方 API 处理逻辑完整对齐,确保第三方部署获得与官方一致的 API 体验。开源交付也有明确边界:完整在线服务所需的 KV 缓存系统、推理阶段分离部署、跨副本负载均衡等组件,仍需开发者自行补齐。

时机微妙:被排除的恰是全球"用脚投票"的选择

就在开源前一天(10 月 19 日),美国国土安全部发布命令,将 DeepSeek 产品与服务从联邦民用机构的采购渠道中清除。而据全球模型聚合平台 OpenRouter 统计,10 月 12 日至 18 日,中国大模型周调用量达 79.18 万亿词元,约为同期美国模型的 4.5 倍,连续 25 周位居全球第一;全球调用量前五名全部是中国模型,DeepSeek V4.1 Flash 连续数周居首。

另一个与内蒙古密切相关的消息是:据媒体报道,DeepSeek 计划在内蒙古的新数据中心部署至少 16 万张昇腾 950DT 芯片用于模型运行。国产算力基建与开源推理生态正在形成闭环,"东数西算"节点上的内蒙古,正在从数据通道走向 AI 基础设施腹地。

语音智能体补上"电话线":Mistral Voxtral 3 同期发布

大模型厂商的下一战场正在从文字转向语音。10 月 21 日,Mistral 发布 Voxtral 3 语音系列:三档转录模型(Small Transcribe 3 以 2.1% 词错率位列语音转写榜第 3)加一款 TTS 模型,支持 50+ 种语言转写、35+ 种语言 50+ 方种的语音合成,并附带基于 LiveKit 的语音智能体 SDK——官方演示场景是一通中法混说的预约电话,语音智能体边听边翻边操作工具,直接把号挂了。对企业应用而言,语音正成为尚未被瓜分的服务入口。

对企业级部署意味着什么

DeepInfer 开源最直接的受益者,是计划私有化部署大模型的企业与云服务商:过去"模型开源、部署黑盒"的格局被打破,企业可以基于与官方一致的技术栈自建推理服务,显著降低算力与运维成本。作为扎根呼和浩特 15 年的内蒙古灵集科技,我们关注的正是这层"模型能力→业务系统"的传导:无论是为政企客户做内蒙古 APP 开发中集成智能问答与语音交互模块,还是基于开源推理框架为客户规划本地化大模型部署,模型层的每次开源都在降低内蒙古软件开发的落地门槛。在团队协作与智能体办公场景,workbuddy企业购买 也已成为客户快速获得生产级 AI 能力的现实选项——灵集科技提供从选型、部署到流程整合的完整服务。

image.png

图1:DeepSeek 官方公告宣布正式开源大规模云服务推理框架 DeepInfer(图源:中国城市网转载 DeepSeek 官方公告)

上一篇
已经是第一篇