2026 年 11 月 16 日——GAIR-NLP 团队(上海创智学院 SII 与新序智能 Xinxu AI)于 11 月 4 日发布预训练级递归自我改进(Recursive Self-Improvement,RSI)技术报告与 801-30B-A3B 模型。该模型为总参数 30B、每 Token 激活 3B 的 MoE 基座,由新组建团队从零训练,使用 11.8T Token、历时三个月。论文于 11 月 7 日提交至 arXiv(2611.10719),称据其所知,这是首个将 RSI 用于完整前沿预训练、从零训练并详细公开的案例。基座在 13 项基准上的平均分为 73.13,高于 Qwen3-30B-A3B 的 66.16,以 0.06 个百分点略高于 Nemotron-3.5-Lightning-30B-A3B 的 73.07,仅次于规模更大的 Qwen3.5-35B-A3B(76.67)。
论文称,此前公开的 RSI 工作主要在后训练,或只在小型代理实验上验证数据与训练策略。前沿预训练一次消耗数十万 GPU 小时、通常无法重复,真正目标是后训练余量而非当前分数,因此团队把大循环拆成三类共六个可闭合的小循环。模型名 801 取自其训练所在的教室。
1. 方法:三类小循环
调试循环由内部指标或输出异常触发,把问题定位到可低成本复跑的代码、配置或数据子集。论文称,agent 在 130 多个基础设施代码版本和 106 个超参数字段中完成关联,约一个月内解决五起跨栈诊断;连同数据与配方修订,1T Token 预算下 22 项基准平均分从 47.78 升至 51.96,再到 56.83。
余量循环用 Tiny-SFT、学习效率和多评测协议取最高分估计检查点的后训练潜力。论文报告,8.1T 至 11.5T Token 区间基座平均分在 64 至 66 徘徊,但 Tiny-SFT 后 AVG13 从 70.54 升至 72.93;基座排名与 SFT 后排名也不一致,后期两组检查点的 Spearman 相关系数为 0.438。
经验到度量循环把分类器开发、站点发现、抓取覆盖等依赖人工判断的环节改成带指标的流程,三个月内从零搭建六条数据管线,agent 贡献 36 次模型选择决策。团队还把智能体轨迹作为预训练数据源:26 万个原始 PR 中超过 84% 转为 22 万个可执行任务,经 9 种 harness rollout 约 200 万条轨迹,验证后保留 110 万条、超过 100B Token;加其他来源共 134B Token,15% 进入 256K 长上下文阶段。
2. 数据与训练规格
| 项目 | 数据 |
|---|---|
| 模型 | 801-30B-A3B-Base,MoE,沿用 Qwen3-30B-A3B 架构 |
| 总参数 / 激活参数 | 30B / 3B |
| 训练 Token | 11.8T(Stage1 11.5T,上下文扩展 300B) |
| 训练周期 | 三个月;两次 pilot(1T、3T)加主训练 |
| 序列长度 | 4K → 32K(约 100B Token)→ 256K(约 200B Token) |
| 预训练语料 | 6 条管线、30 多个处理阶段、1,053 个子集、10.5T 唯一 Token |
| Agentic 数据 | 26 万 PR → 22 万可执行任务 → 9 种 harness → 约 200 万条轨迹 → 110 万条验证轨迹、超 100B Token;合计 134B |
| 轻量 SFT | 6.33B Token、271,349 条对话,无强化学习 |
| 基座权重 | 截至 11 月 16 日 GitHub 标注 coming soon,论文称将开源 |
| SFT 数据 | 已在 Hugging Face 发布(SII-GAIR-NLP/801-30B-A3B-tiny-sft-dataset) |
3. 评测结果
基座对比中,801-30B-A3B 在论文列出的 7 个基座中排第二,仅次于 Qwen3.5-35B-A3B(76.67),并以 0.06 个百分点略高于 Nemotron-3.5-Lightning-30B-A3B(73.07);GSM-8K 92.80、HumanEval 78.81 均为表内最高。Gemma-4-26B-A4B 按多提示、多协议取最高分,口径不同。
| 评测 | 801-30B-A3B | 主要对照 |
|---|---|---|
| 基座 AVG13 | 73.13 | Qwen3.5-35B-A3B 76.67;Nemotron-3.5-Lightning 73.07;Qwen3-30B-A3B 66.16 |
| 同数据 SFT AVG13 | 81.34 | Qwen3.5-35B-A3B 83.76;Nemotron-3.5-Lightning 79.88 |
| 同数据 SFT AVG5 | 28.70 | Qwen3.5-35B-A3B 20.54 |
| 智能体四项平均 | 58.43 | Flint-40B-A2.5B 50.23;Qwen3.6-35B-A3B 44.59 |
| KernelBench | 77.60 | 表内最高 |
统一用同一份 6.33B Token SFT 数据、不做强化学习后,801 的 AVG13 为 81.34,仍排第二;AVG5 为 28.70,高于 Qwen3.5-35B-A3B 的 20.54,在五项专门能力评测中四项第一。智能体评测含 SWE-bench Verified、SWE-bench Pro、CyberGym 与 KernelBench,801 仅经轻量 SFT 即取得四项平均 58.43,高于 Flint-40B-A2.5B(50.23)和 Qwen3.6-35B-A3B(44.59),KernelBench 77.60;但 SWE-bench Verified 与 Pro 低于 Flint,CyberGym 略低于 K2-Horizon-MoVA-36B-A4B(K2 39.35,801 为 38.90)。论文说明,对照模型均为厂商完整后训练版本,801 只做轻量 SFT,该表用于观察后训练余量,并非同口径对比。
4. 开源进度与待核事项
截至 2026 年 11 月 16 日,Hugging Face 与 ModelScope 均未检索到 801-30B-A3B-Base 的公开权重;GitHub 项目页 将基座权重标为“coming soon”,论文表述为“将开源”。已上线的是 Hugging Face 上的轻量 SFT 数据集 SII-GAIR-NLP/801-30B-A3B-tiny-sft-dataset,含 271,349 条对话、约 46.2GB,需同意使用条款后下载;技术报告以 report.pdf 放在项目仓库。
论文为 arXiv 预印本,尚未经同行评审,上述成绩均为作者报告,尚待第三方复现。论文将完整后训练留给后续版本;基座权重开放后,外部团队能否用同一份 6.33B Token SFT 数据复现 AVG13 81.34 与智能体平均 58.43,是下一步可核对的进度。论文同时说明,1T Token 阶段的提升伴随数据与配方同时修改,不能拆分为单个循环的独立贡献。
评论