记忆张量开源MemT 1.0 记忆原生大模型

时间：2026 年 10 月 20 日，记忆张量（MemTensor）正式发布并开源记忆原生基础模型 MemT 1.0 系列；技术论文《MemT-1.0: Towards Memory-Native Evolution》同期在 arXiv 上线（编号 2610.26825）。 地点：中国北京（线上发布）；模型代码与权重同步在 GitHub、Hugging Face 开放。 人物：记忆张量（MemTensor）团队。该公司成立于 2024 年 11 月，主打“低成本、低幻觉、高泛化”，此前已推出 Memory³ 分层记忆研究与 MemOS 记忆操作系统框架；本次论文作者来自记忆张量及上海交通大学、香港中文大学（深圳）等高校与研究机构。 事件详情： 模型规格：MemT 1.0 系列包含两款模型——MemT-1.0-Flash（总参数 288B、激活参数 17B）与 MemT-1.0-Nano（总参数 36B、激活参数 3B）。 架构：MemT 1.0 在 Metis 基座之上引入 Gated DeltaNet-2，提供稳定的逐 token 记忆更新机制，每轮对话结束时刷新记忆状态；并提出 Mixture-of-Storage（MoS）架构，用多位“记忆专家”分头掌管存储空间的读写分配，采用稠密融合方式参与计算。基座主干权重在记忆训练阶段保持冻结，仅“超记忆”这一层的读写投影与门控参数可训练，新信息则保存在动态矩阵形式的“局部记忆”中。 训练：使用 340 亿 token 记忆训练语料，分两阶段推进——200 亿 token 继续预训练，训练模型把长文本片段写进记忆并据此回答查询；140 亿 token 后训练进一步对齐任务结果，数据包含记忆原生语言建模、记忆存储与利用（摘要、续写、压缩等）以及专门强化长程记忆的任务数据。 基准：官方在 11 项系统记忆基准上评测（覆盖长期保留、动态更新、个性化理解，历史跨度从 16K 到 100 万 token）。全程“闭卷”作答的 MemT-1.0-Flash 平均 50.6 分、MemT-1.0-Nano 47.0 分，分别位列参数化记忆方法第一、第二，比同组最强基线高出 12.5 分和 8.9 分，平均表现与检索增强方案基本持平，但无需在每次查询时现场检索历史。消融实验显示，移除后训练会让 Nano 均分从 47.0 跌至 36.3；记忆专家从 2 个扩充到 4 个，均分最高再提升 2.7 分。 效率：在双 GPU、单并发、batchsize 为 1 的测试条件下，处理 64K token 历史的端到端推理速度约为完整上下文方案的 1.20 倍，128K 时约 1.86 倍，256K 时约 3.99 倍；查询首字延迟稳定在 104 至 112 毫秒，而传统完整上下文方案在 256K 历史下约需 445 毫秒。存储方面，256K 历史下每条会话的记忆状态约占 40 MiB，较传统方案的 5.06 GiB 缩减约 130 倍；128K 历史下恢复单条交互所需的持久化存储，约为完整上下文 KV cache 的六十六分之一（不计共享模型权重）。 智能体表现：在 SWE-bench Verified 的 500 项任务实测中，MemT-1.0-Nano 引入历史解题经验后平均成功率由 66.07% 提升至 69.73%，同一道题独立跑三次全成的比例从 54.00% 提高到 62.80%；在覆盖九种编程语言、300 项任务的 SWE-bench Multilingual 上，平均成功率由 60.00% 提升至 63.56%，三次全成率从 45.33% 跃升至 55.33%。测试中模型还能正确区分“用户从未提供过生日”的情况并回答不知道，不会编造。 开源：代码已开放于 github.com/MemTensor/MemT-1.0，模型权重发布在 huggingface.co/collections/MemTensor/memt-1。团队表示后续将继续提升长期记忆能力、扩展记忆容量并降低记忆更新成本。 背景： 当前大模型处理长会话主要靠不断拉长上下文，聊得越久成本越高；外挂检索方案最多算翻查一份静态备忘录，无法把用户的调教过程沉淀为行事默契。在 Meta Muse、OpenAI Dots、xAI Grok Bot 带起的私人助理热潮下，长期助理的核心门槛恰恰是把反馈转化为经验并在后续主动调用。 记忆张量此前的路径是从系统层切入：Memory³ 提出记忆分层大模型，MemOS 是面向大模型记忆管理的操作系统框架，还曾与阿里云 PolarDB 推出过一站式记忆管理方案。此次发布把记忆进一步下沉到模型层，从“外挂记忆”转向“记忆原生”。技术路线上，它承接了 10 月中旬 Cortex 等“把上下文增益压进权重”的工作，但差别在于记忆更新被写进架构与训练本身，而不是外挂一层检索。 影响： 对行业，记忆原生把竞争轴从“参数规模与跑分”扩展到“时间轴”——模型能否在与用户的长期交互中越用越聪明。团队明确表示，下一步将进一步探索自主获取经验与跨任务持续整合记忆，让记忆原生为持续学习及递归自我改进（RSI）提供基础。 对应用侧，企业研发场景可以借记忆把项目规范与排错套路沉淀为团队资产，减少每次新会话的重复教学；个人数字分身、慢病管理顾问、个性化私教这类强依赖时间厚度的陪伴型产品，也需要一块扛得住长期记忆成本的底座。 对成本结构，在长历史场景下同时降低推理延迟与显存、存储占用，为推理成本敏感的长上下文任务提供了不依赖堆算力的新选项，这也是 MemT 1.0 与主流“加上下文”路线最直接的分歧点。 需要注意的是，上述基准与效率数据均为团队自测结果，跨模型的第三方复现尚未出现；参数化记忆与检索增强在真实业务中的取舍，仍要看长期稳定性而非单次跑分。 总结： MemT 1.0 把“记住”从外挂系统搬进了模型计算本身：记忆是固定体积、可更新、随每一轮交互演进的内部状态，而不是每次都要重新翻一遍的历史文本。Flash 与 Nano 两个规格、340 亿 token 的两阶段训练、11 项记忆基准与接近 4 倍的长历史提速，构成了一条相对完整的技术闭环。它是否真能撑起“养成系 AI”，取决于这套记忆能否在数月交互中稳定不衰减，以及第三方能否复现其效率优势。 参考来源： 1. https://arxiv.org/abs/2610.26825 2. https://github.com/MemTensor/MemT-1.0 3. https://huggingface.co/collections/MemTensor/memt-1 4. https://www.geekpark.net/news/372610 5. https://www.ifanr.com/1684997 6. https://36kr.com/newsflashes/4033725341881216 7. https://i.ifeng.com/c/8xLqOHBp9o7 8. https://finance.sina.com.cn/stock/t/2026-10-20/doc-inivvxcn0846411.shtml 9. https://finance.sina.cn/tech/csj/2026-10-20/detail-inivvxcp7630153.d.html 10. https://www.memtensor.com.cn/