2026 年 11 月 21 日——Thinking Machines 于 11 月 20 日发布并开源 Inkling 2 Mini:模型采用循环 Transformer 架构,中段 12 层对每个 token 运行三遍,总参数 26.4B、激活参数 3.4B,权重以 Apache 2.0 许可开放,支持 100 万 token 上下文,内存占用约 20GB。官方称其 DeepSWE v1.1 得分 48.2%,领先所有总参数低于 100B 的开源权重模型。

Inkling 2 Mini 是 11 月 5 日发布的 Inkling 2 Small(594B 总参、17B 激活)之后的小尺寸版本,从主线预测扩展阶梯(predictive scaling ladder)派生,主要改动为剪掉三分之二的专家并把中段层改为循环执行。Thinking Machines 由前 OpenAI CTO 米拉·穆拉蒂(Mira Murati)创立,官方将循环的收益概括为让模型在不把推理过程写进思维链的情况下思考更久,即每个 token 做更多计算,而不是写出更多 token。

循环架构

模型共 24 层,分为四个 6 层块:前导块(第 0–5 层)与收尾块(第 18–23 层)各运行一遍,中间两块(第 6–17 层)共享权重运行三遍,24 层存储因此产生每个 token 48 次层应用。每一遍都以前导块的输出为起点,第二、三遍通过门控消息(message)读取上一遍的中间结果;门控在训练初期屏蔽全部消息,随后逐步放大,使循环能够稳定地加入训练。

官方对比实验显示,循环中段 12 层在 28 项评测中的 27 项优于循环末段 12 层。训练到 2,000 步时,无循环基线要达到中段循环的 loss 需要多花 1.51–1.91 倍算力,末段循环则为 1.24–1.36 倍。与未剪枝的非循环版本相比,循环版训练算力少 7.5%,但在 512K token 的智能体轨迹上要达到相同 loss,需要多 140% 的推理算力。

量化与训练方面,专家层从预训练到强化学习全程使用 4-bit NVFP4,末 4 层前向为 8-bit MXFP8,部署精度与训练一致。训练初期每层有 384 个专家、每个 token 选择 8 个;中训练阶段剪掉三分之二,保留每层最常用的 128 个,再用更大内部 Inkling 模型蒸馏的 1T token 恢复性能,随后进行 SFT 与 2,000 步、2.2T token 的强化学习。

评测与定位

官方公布的基准中,Inkling 2 Mini 在 DeepSWE v1.1 得 48.2%、Vals Index v2.2 得 46.5%,官方称这两项均为总参数低于 100B 的开源权重模型中的最好成绩;AA Index(v5.0)为 20.1,与 Qwen3.8-27B 并列。SWE-bench Verified 为 79.2%,SWE-bench Pro v2 Hard 为 77.9%,Terminal Bench v2.1 为 71.6%;智能体搜索与工具使用方面,BrowseComp 79.0%、DeepSearchQA 85.3%、MCP Atlas 82.7%;视觉方面,ScreenSpot Pro 76.5%(配合 Python 为 87.7%)、OmniDocBench v1.6 为 92.8%。

评测 Inkling 2 Mini Qwen3.8-27B Gemma 4 31B
DeepSWE v1.1 48.2% 42.2% 0.3%
SWE-bench Pro v2 Hard 77.9% 73.8% 14.2%
Terminal Bench v2.1 71.6% 73.0% 43.4%
BrowseComp 79.0% 61.6% 37.0%
DeepSearchQA 85.3% 79.7% 61.7%
MCP Atlas 82.7% 77.3% 54.2%
AA Index v5.0 20.1 20.1 4.4

官方同时披露短板:多轮对话基准 MultiChallenge 为 50.0%,复杂约束基准 ComplexConstraints v1.1 为 33.4%,落后于 Qwen3.8-27B 的 35.6%;知识密集的 AA-Omniscience 得分为 -8.6,与同尺寸模型相当。官方称循环提升的是推理深度,不会让权重存储更多事实,知识容量主要由总参数决定;模型通过搜索与工具调用弥补知识差距,在 BrowseComp、DeepSearchQA 与 MCP Atlas 上领先同尺寸开源模型。

在斯坦福 Hazy Research 与 Scaling Intelligence Lab 的早期测试中,Inkling 2 Mini 在 DGX Spark(128GB,MXFP8、低推理强度)上的每瓦智能得分为 0.703,对比 Qwen3.6-35B-A3B 的 0.430、Gemma-4-26B-A4B 的 0.159 与 Qwen3.5-27B 的 0.036。三组对比模型分别使用 NVFP4、NVFP4 与 INT4 精度,官方说明各组精度设置不同。

本地部署与平台

Ollama 官方库已上架 inkling-2-mini,提供 latest、26b-a5b 与 MLX 的 26b-a5b-nvfp4 三个标签,均为 20GB、100 万上下文,支持文本与图像输入。Ollama 页面标注该模型可在 32GB 以上内存的 Mac 或 NVIDIA DGX Spark 上运行,执行 ollama run inkling-2-mini 即可启动;截至发稿,Ollama 页面显示下载 3,160 次。

vLLM 在同日提供 day-0 支持,Docker 镜像为 vllm/vllm-openai:inkling-2-mini,覆盖 NVIDIA Blackwell、Hopper 与 DGX Spark。实现上把每一遍循环注册为独立的 KV 缓存层,并内置 3 层 DSpark 推测解码器(默认 7 个推测 token);同时支持 SkyRL 强化学习,以及通过 --hf-overrides 调整可变循环检查点的循环次数与缓存共享方式。

权重在 Hugging Face 以 thinkingmachines/Inkling-2-Mini 发布,许可为 Apache 2.0;截至发稿获 847 赞、136 次下载。模型已在 Tinker 上线,提供推理与定制。API 方面,OpenRouter 页面显示 Prime Intellect 渠道的报价为每百万输入 token 0.091 美元、每百万输出 token 0.362 美元。

官方演示中,研究人员在飞行模式下用一台 MacBook Pro(M5 Pro、48GB)离线运行 Inkling 2 Mini,数分钟内构建出可玩的飞行模拟器;另一个演示 Thinkyville 由同一模型在单台离线 MacBook 上驱动 20 个村民角色。

可变循环研究模型

与 Inkling 2 Mini 同步发布的还有研究模型 TML-d24-varloop-research,训练时使用 1–5 遍循环、以 3 遍为主,允许使用者在推理时选择循环次数。官方用它研究循环对可监控性的影响:在 Think Fast 基准上,模型不写思维链(CoT)的时间视野从 1 遍的 16 秒提升到 3 遍的 37 秒,超过 3 遍后大致持平;串行推理基准的成绩随循环次数持续提升到 10 遍,是训练中见过的最多 5 遍的两倍;思维链随循环增加而变短,但保持可读;在智能体破坏行为的内部测试中,得分未随循环次数上升。

官方结论是,循环提高了模型不写思维链时的能力,但在该规模下未观察到推理可监控性明显下降,这也是公开发布 Mini 的原因之一:让社区研究循环 Transformer 的可监控性与可解释性。该研究模型同样以 Apache 2.0 许可在 Hugging Face 开放。

规格与获取

项目 数据
发布时间 2026 年 11 月 20 日
架构 24 层循环 MoE,中段 12 层每 token 运行 3 遍
总参数 / 激活参数 26.4B / 3.4B(含循环重复读取为 5.4B 权重激活每 token)
上下文长度 100 万 token
权重精度 20 层 NVFP4,末 4 层 MXFP8
内存占用 约 20GB
许可 Apache 2.0
关键评测 DeepSWE v1.1 48.2%,Vals Index v2.2 46.5%,AA Index v5.0 20.1
本地运行 Ollama(32GB+ 内存 Mac、DGX Spark),vLLM day-0 镜像
平台 Tinker 推理与定制,Hugging Face 开放权重
API 价格 每百万输入 0.091 美元 / 输出 0.362 美元(OpenRouter 的 Prime Intellect 渠道,截至发稿)

Inkling 2 Mini 的定位是把循环架构带到本地硬件:26.4B 总参数与约 20GB 的内存占用,使其能在消费级 Mac 与 DGX Spark 上直接运行,同时保留 100 万 token 上下文。可变循环研究模型一并开放后,循环层数对推理深度、思维链长度与可监控性的影响,将交由社区在更多任务上验证。