2026 年 10 月 29 日——记忆张量(MemTensor)于 10 月 20 日发布并开源记忆原生基础模型 MemT 1.0 系列,包含 MemT-1.0-Flash(288B 参数、17B 激活)与 MemT-1.0-Nano(36B 参数、3B 激活)两个规模版本;截至 10 月 29 日,两款模型在 Hugging Face 累计下载约 11.2 万次,按上架约 9 天折算日均下载超万次,66 页技术报告已在 arXiv 一并公开。
发布与开源情况
本次发布包括 MemT-1.0-Flash 与 MemT-1.0-Nano 两款模型,权重与代码分别在 Hugging Face 和 GitHub 免费获取。官方称其为业内首个记忆原生基座模型。据 Hugging Face 平台数据,截至 10 月 29 日,Nano 累计下载 62209 次、获 162 个赞,Flash 累计下载 49453 次、获 114 个赞;GitHub 仓库 MemTensor/MemT-1.0 于 10 月 19 日创建,截至 10 月 29 日获 467 个星标。
| 项目 | MemT-1.0-Flash | MemT-1.0-Nano |
|---|---|---|
| 总参数量 | 288B | 36B |
| 激活参数量 | 17B | 3B |
| 动态记忆容量 | 336M | 10M |
| 基座模型 | DeepSeek-V4-Flash | Qwen3.6-35B-A3B |
| 开源许可证 | MIT | Apache-2.0 |
| Hugging Face 下载(截至 10 月 29 日) | 49453 次 | 62209 次 |
技术报告题为《MemT-1.0: Towards Memory-Native Evolution》(arXiv 编号 2610.26825),全文 66 页、含 15 图 16 表,模型仓库内同时附带 PDF 版本。
记忆原生架构:把经验存进模型内部
此前 Agent 场景的常见做法,是把踩坑经验写进 AGENTS.md 这类记忆文件,文件越写越长,每次新开会话都要先读一遍,尚未开始工作就先占掉一部分上下文窗口;官方技术报告则将主流外挂检索类方案比作「翻查静态备忘录」。MemT 1.0 针对的就是这一痛点:据官方介绍,其思路是让记忆脱离外挂模块、内化进模型架构,由模型通过训练自己学会记忆的写入、更新与调用,经验积累本身成为模型能力的一部分。
架构上,MemT 1.0 将模型计算分为两部分:主干网络承载通用认知能力;动态记忆状态体积固定、独立于上下文存在,在持续交互中通过 token 级更新机制刷新,直接参与后续每一轮生成计算,哪些信息保留、哪些覆盖由训练习得的门控机制自主决定。工程实现上,模型基于 Metis 构建,采用 Gated DeltaNet-2 与轮次内稳定的 token 级记忆更新机制,并引入 Mixture-of-Storage(MoS)架构扩展记忆容量——基座 MoE 负责计算,多个「记忆专家」分管存储空间的读写分配。
训练方面,技术报告披露共使用 340 亿 token 数据,分两阶段完成:先以 200 亿 token 做继续预训练,让模型学习用过去片段预测未来;再以 140 亿 token 做后训练,由教师模型对记忆提取结果打分以驱动改进。
基准与实测数据
在覆盖长期保留、动态更新、个性化理解等维度、历史跨度从 16K 至 100 万 token 的 11 项系统记忆基准测试中,全程不回看原始文本的 MemT-1.0-Flash 与 MemT-1.0-Nano 均分分别达到 50.6 和 47.0,领先同组最强参数化记忆基线 12.5 分和 8.9 分(官方技术报告口径)。消融实验显示,去掉后训练后 Nano 均分从 47.0 降至 36.3;MoS 记忆专家从 2 个扩充至 4 个,均分最高提升 2.7 分。官方展示的测试案例中,模型在 500 余轮、约 6.6 万 token 的对话后,仍能在不回看原文的情况下准确报出展览改期后的安排,并区分未被采纳的备选方案。
经验内化方面,团队从数万条成功编程轨迹中提炼出上千条可复用经验,并筛出 4.2 万余条「无经验时做错、补上经验后跑通」的样本,专门训练 Nano 的记忆模块。编程实测结果如下(官方技术报告口径):
| 测试项目 | 无经验基线 | 经验写入内部记忆 | 文本经验对照组 |
|---|---|---|---|
| SWE-bench Verified(500 项)平均成功率 | 66.07% | 69.33% | 68.87% |
| SWE-bench Verified 三次运行全部成功 | 54.00% | 61.60% | 61.60% |
| SWE-bench Multilingual(300 项)平均成功率 | 60.00% | 63.56% | 63.00% |
| SWE-bench Multilingual 三次运行全部成功 | 45.33% | 55.33% | 53.67% |
其中实战模式(执行中按报错反馈动态写入记忆)在 SWE-bench Verified 上达到 69.73% 平均成功率与 62.80% 三次全成率,高于文本经验对照组的 69.13% 与 61.80%。这组数据说明,模型在不把经验文本放进上下文的前提下,靠内部记忆状态可以达到与上下文注入相当的任务表现。
推理效率方面,在双 GPU、单并发、batch size 为 1 的测试条件下,处理 64K、128K、256K token 历史时,Nano 相对完整上下文方案的端到端推理提速分别约为 1.20 倍、1.86 倍和 3.99 倍;在 128K 历史长度下,恢复单条交互历史所需的持久存储约为完整上下文 KV cache 的六十六分之一(不计共享模型权重)。
| 历史长度 | 端到端推理提速(Nano 对比完整上下文方案) |
|---|---|
| 64K token | 约 1.20 倍 |
| 128K token | 约 1.86 倍 |
| 256K token | 约 3.99 倍 |
背景与后续关注
记忆张量(上海)科技有限公司成立于 2024 年,创始人熊飞宇。其技术路线由此前的 Memory³ 分层记忆研究、MemOS 记忆操作系统延伸而来:MemOS 于 2025 年 7 月开源,定位大模型与 AI Agent 的记忆操作系统,截至 10 月 29 日在 GitHub 获约 1.22 万个星标。爱范儿等媒体将 MemT 1.0 的路线概括为「养成系 AI」——用户的每次纠正与反馈通过记忆更新沉淀为模型能力。该口径下值得后续关注的是:动态记忆状态的固定体积设计能否在更长周期、多任务并行的真实业务中保持记忆质量,以及外部系统提炼经验、模型内化经验的协同机制在开源社区的实际复现效果。
评论