2026 年 11 月 5 日——字节跳动研究人员牵头、联合杜克大学等高校于 11 月 2 日公开 Axion 1.0 智能体基础模型完整研发成果:仅用两段监督微调(SFT)加一轮强化学习(RL)完成训练,提供 35B(激活 3B)与 122B(激活 10B)两个 MoE 版本,训练代码、约 1.8 万条训练数据、评测脚本与论文按 Apache 2.0 协议一并公开,团队称多项基准成绩与领先的商业模型相当。

Axion 1.0 论文题为《Axion 1.0: Open Agent Foundation Models, Simplified》,11 月 2 日提交 arXiv(编号 2611.03233),11 月 3 日更新至 v2;代码仓库 bytedance/axion1_0 同日创建。论文作者来自字节跳动、杜克大学、马里兰大学帕克分校与纽约州立大学布法罗分校,项目负责人为字节跳动研究员 Yunjie Tian。模型定位为科学推理、信息搜寻与工具增强问题求解的智能体基础模型。

开源范围与模型规格

据 GitHub 仓库 README 与 HuggingFace 数据集页面,本次公开内容包括数据构造与过滤代码、全部提示词、两段式 SFT 与异步 RL 训练代码、基准评测准备与判分脚本,以及 HuggingFace 上的训练数据集 Axion1-0/axion-training-data(含两段 SFT 轨迹与 122B R3 运行所用的 RL 训练任务)。仓库与数据集均遵循 Apache 2.0 协议。

模型 基座模型 总参数 / 激活参数
Axion 1.0-35B Qwen3.6-35B-A3B 35B / 3B
Axion 1.0-122B Qwen3.5-122B-A10B 122B / 10B

论文另报告了 4B 与 9B 两个仅用 SFT 训练的变体。需要说明的是,官方未随论文发布正式模型权重,目前可获取的权重为第三方在仓库 issue #1 中公布的社区复现版(详见下文)。

三阶段训练配方

据论文与仓库文档,整个训练流程只有三个阶段,未使用专门的 mid-training、直接偏好优化(DPO)或在线策略蒸馏(OPD)。

第一阶段 SFT 训练自包含推理能力,使用 10,819 条科学与数学推理轨迹。公开种子题先被改写为更难的题目;基座模型能够解出的题目再通过组合、参数化、区间平移或分情况讨论进一步强化,每次改写后都校验参考答案。解题过程允许使用 Python,但不允许联网检索。

第二阶段 SFT 训练依赖工具的推理能力,使用 7,544 条轨迹、约 3.12 亿 token。任务由程序从公开数据源中筛选记录、唯一定位实体并先算出参考答案,再由大模型据此出题;解题时构造数据与答案被隐藏,必须通过工具找到证据,无需检索即可回答的问题被剔除。数据源包括 NASA 系外行星档案、OurAirports、OpenAlex、UniProt 与 Ensembl。

第三阶段从第二阶段检查点出发做异步 GRPO 强化学习,智能体在训练中与搜索、网页访问、学术检索和 Python 执行交互;最终答案正确给满奖励,经验证的中间进展可获得部分得分。两段 SFT 合计约 18,363 条轨迹,与官方「约 1.8 万条数据」的口径一致。

模型 GPU 数 第一阶段 第二阶段 两段 SFT 合计
Axion 1.0-35B 32 1 小时 02 分 1 小时 46 分 约 90 GPU 时
Axion 1.0-122B 32 3 小时 32 分 3 小时 58 分 240 GPU 时

训练基础设施方面,SFT 采用 128K 上下文窗口,基于 Swift 与 Megatron-FSDP,启用专家并行与上下文并行;RL 基于 verl,将 rollout、训练与辅助服务划分到独立 GPU 资源池,并使用 Token-In-Token-Out(TITO)保持 token 编号一致、Rollout Routing Replay(R3)对齐 rollout 与训练两侧的 MoE 专家选择。上述成本仅覆盖两段 SFT,不含 RL 阶段。

基准成绩

论文 Table 1 列出的主要成绩如下(百分比,越高越好;BMB 为 BioMysteryBench 人类高难子集,FS 为 FrontierScience;带星号成绩为 Axion 团队自行评测,其余来自各模型官方报告;短横线表示无公开数据):

模型 HLE BMB SEAL-0 HiPhO FS 奥赛 FS 科研
Agents-A1 47.6 — 56.4 46.4 79.0 40.0
Kimi-K2.6 54.0 — 50.5 41.1 73.0 17.9
DeepSeek-V4-Pro(预览版) 48.2 — 55.0 38.7 76.0 13.3
GPT-5.5 52.2 — 42.3 43.3 78.0 26.7
GPT-5.6 Sol — 47.1* 53.2* 42.9* 79.0* 63.3*
GPT-6 Astra 57.2 — — — — —
Gemini 3.1 Pro 51.4 35.3* 53.2* 38.5* 85.0* 26.7*
Claude Opus 5 63.6 49.4 — — — —
Claude Fable 5 63.8 46.1 — — — —
Axion 1.0-35B 52.2 35.3 62.2 45.7 86.0 56.7
Axion 1.0-122B 59.0 41.7 58.6 46.2 87.0 66.7

从表中数据看,Axion 1.0-122B 在 FrontierScience 奥赛与科研两个分项分别取得 87.0 与 66.7,为表中已列模型的最高分;35B 在 SEAL-0 上取得的 62.2 亦为该列最高。HLE 上 122B 的 59.0(受限网站访问口径)高于 GPT-6 Astra 的 57.2,但低于 Claude Fable 5 的 63.8 与 Claude Opus 5 的 63.6;BMB 上 Claude Opus 5 的 49.4 与 GPT-5.6 Sol 的 47.1 高于 122B 的 41.7。团队在论文摘要中的表述为「在多项基准上与领先的商业模型相当」。

权重获取现状

GitHub 仓库 issue #1(11 月 3 日开立)以「Model weights release」为题询问官方权重的发布时间。11 月 4 日,GitHub 用户 ReachalWang 在该 issue 下公布了社区复现的 35B 权重,文件存放于 Google Drive 并需邮件索取解压密码,同时上传至 HuggingFace 仓库 Axion1-0/Axion-1.0-35B(BF16 精度,Apache 2.0 协议)。官方 README 将其标注为「社区发布,非官方 Axion 检查点」。

据该模型卡,复现版成绩为 HLE 52.8、BMB 35.3、SEAL-0 60.4、HiPhO 45.9、FS 奥赛 85.0、FS 科研 55.0,与论文报告的 52.2、35.3、62.2、45.7、86.0、56.7 接近。截至 11 月 5 日,该复现模型在 HuggingFace 累计下载 596 次,训练数据集累计下载 1,061 次。122B 规格暂无对应的权重发布。