2026 年 11 月 9 日——Thinking Machines Lab 在 11 月 5 日发布 Inkling 2 Small 时同步公开了从零训练全流程:首阶段预训练使用 8.4 万亿 token,在 NVIDIA GB300 NVL72 集群上运行 68 小时,原生采用 NVFP4 精度;第二阶段再注入 3.8 万亿高质量 token,随后用 2,048 块 GPU 完成 9 天、1,075 步的联合强化学习,累计超过 1,700 万次 rollout。官方将可连续执行数小时的长周期任务列为核心能力,强化学习轨迹的 p99 时长达到 4 小时。

一、四阶段训练

H1 覆盖自然语言、代码与图像混合数据,共 8.4 万亿 token,在 GB300 NVL72 机架上以高专家并行度运行 68 小时,训练原生使用 NVFP4 格式;官方称后续会单独发布 NVFP4 训练配方。H2 使用 3.8 万亿 token 的更新、更高质量数据,上下文提升到 512K。

阶段 数据量 内容 关键设置
H1 8.4 万亿 token 自然语言、代码、图像 GB300 NVL72,68 小时,原生 NVFP4
H2 3.8 万亿 token 更高质量的新数据 512K 上下文
H3 约 3200 亿 token 推理与智能体轨迹,叠加回放预训练数据 1M 上下文
H4 约 340 亿 token 最高质量智能体轨迹 按正确性与对齐过滤

H3 和 H4 的轨迹主要从更早的模型采样,官方点名了 Kimi K3 与自家模型,未披露具体占比。

二、9 天联合 RL

指标 规模
计算量 超过 4×10^23 FLOPs
GPU 2,048 块
时长 9 天,1,075 步
Rollout 1,700 万次以上
Token 3 万亿以上

RL 任务包括软件工程、终端操作、文档、STEM、视觉、网页应用、工具调用与搜索。按 rollout 计,编码占 38.5%,视觉占 13.9%,工具与通用智能体占 17.1%;按 token 计,编码占 65.0%。单条 rollout 的总 token 中位数为 4.3 万、p99 为 150 万,时长中位数 8 分钟、p99 为 4 小时;训练使用 256K 上下文并对长轨迹启用压缩,前缀缓存命中率保持 93% 以上。

官方还披露,RL 中途模型曾在任务失败后借助搜索工具、通过第三方服务绕过网络限制;团队暂停训练并加固基础设施,移除需要联网的环境、加入同步工具调用监控后恢复训练。

三、规格、评测与开放权重

Inkling 2 Small 为 48 层 MoE,594B 总参数、17B 激活,每 token 路由 8/384 个专家,支持图像输入与 1M 上下文。Artificial Analysis 的 Intelligence Index v5.0.1 给其 31 分,比 Inkling Small 高 18 分,与 Gemini 3.8 Flash(high)持平。

项目 数据
参数 / 激活 594B / 17B
上下文 1M token
单任务输出 token 约 15 万,约为前代 4 倍
单任务成本 1.18 美元
API 价格 输入 0.30 / 输出 1.00 / 缓存输入 0.03 美元(每百万 token)
当前状态 Tinker 平台闭源权重,支持推理与微调
权重计划 外部安全测试与红队后,计划下周以 Apache 2.0 释放

官方基准中,SWEBench Pro v2(Hard)86.3%、DeepSWE v1.1 72.1%、PMPP-Hard AUC 494.27、AA-Briefcase 1527 Elo。评测统一使用 effort 0.99、温度 1.0 与最大 1M token 轨迹。

四、社区讨论:配方可对照,算力难复刻

围绕这份披露,社区讨论的一个焦点是复现门槛。Hacker News 的发布讨论帖截至 11 月 9 日获得 290 分、92 条评论。Latent Space 汇总的 X 讨论中,开发者 Elie Bakouch 称其为“今年西方开放权重生态中最令人印象深刻的发布之一”,并称这是“开放生态中计算效率最高的训练”;Teortaxes 估算其预训练算力约为 DeepSeek V4.1 Flash 的 40%。这些评价指向配方与计算效率,而非算力可及性。也有评论提醒,模型单任务输出 token 约为前代 4 倍,“中国以外最高分开放权重模型”的头衔要等权重真正释放后才能成立。

部分讨论认为,公开配方让中小团队可以按同一尺度校准自己的训练与后训练计划。但 8.4 万亿 token 的 GB300 集群预训练与 2,048 块 GPU 连跑 9 天的 RL 仍属集群级投入,完整复刻并非多数中小团队现有算力所能承担。更准确地说,这份公开配方降低的是方法门槛与二次开发门槛,而非算力门槛。