给大模型装上"记忆器官"

传统大模型受限于上下文窗口：对话结束、上下文耗尽，此前的经验只能以文本文件的形式"交接"给下一次会话，模型权重本身没有任何改变。MemT-1.0 的思路是让记忆成为模型前向传播的一部分：团队在选定的 Transformer 模块中引入原生记忆模块，使原有注意力与记忆注意力并行运行。

本次开源包含两款模型：

MemT-1.0-Flash：288B 参数（17B 激活、336M 动态记忆）；

MemT-1.0-Nano：36B 参数（3B 激活、10M 动态记忆）。

架构上有三项关键创新：基于 Gated DeltaNet-2 的逐 token 稳定更新机制，在每轮交互后通过擦除、写入与遗忘把新信息融入已有记忆；Mixture-of-Storage（MoS）混合存储扩容，将记忆模块扩展为多个"记忆专家"并采用稠密路由，为记忆容量扩展打下基础；持续预训练与后训练两阶段训练，使模型真正具备"基于记忆完成任务"的能力。

成绩单：记忆基准双第一，编程智能体显著提分

在 11 项记忆基准上，Flash 与 Nano 的平均得分分别为 50.6 与 47.0，包揽参数化记忆方法前两名。在编程智能体实测中，Nano 在 SWE-bench Verified 的 500 项任务上，平均成功率从 66.07% 提升至 69.73%，三次全部成功的比例从 54.00% 提高到 62.80%——重复执行的一致性和稳定性明显增强。

长历史场景下的效率提升更为直观：相比完整上下文方式，Nano 在 128K 历史下实现约 1.86 倍、256K 历史下约 3.99 倍的端到端推理加速，持久化记忆状态仅约为完整上下文的 1/66。

目前 MemT-1.0 系列已通过 Hugging Face、GitHub、ModelScope 等平台开源，开发者可免费获取模型权重与技术报告。业内分析认为，记忆原生为持续学习与递归自我改进提供了架构基础，将直接惠及智能客服、软件研发自动化、个性化服务等需要"长期陪伴"的应用场景。

对企业级 AI 应用意味着什么

对做行业软件的企业而言，这是一个值得关注的信号。以往做智能客服、运维助手、诊疗随访这类需要长期记忆的应用，普遍依赖外部检索（RAG）或上下文拼接，成本高且效果打折；记忆原生架构给出了"把记忆做进模型里"的新选项。

作为深耕企业数字化 15 年的内蒙古灵集科技团队观察到的趋势是：开源模型能力持续下沉，正让地方企业也能低成本构建自己的智能应用。无论是基于开源基座做内蒙古 APP 开发中的智能问答模块，还是为政企客户定制本地化的智能体工作流，模型层的每一次进步都会传导到应用层。针对团队协作与办公自动化场景，workbuddy企业购买 也已成为不少客户落地 AI 智能体的现实选择——灵集科技可提供从选型、部署到业务流程整合的完整内蒙古软件开发服务。

图1：MemT-1.0 在 LoCoMo、MemoryAgentBench 等 11 项记忆基准上的评测对比（图源：澎湃新闻/网易转载）

图2：把"持久记忆"装进模型——记忆原生架构概念图（AI 生成示意图）