2026 年 11 月 11 日——亚马逊已在 Hugging Face 开源第二代表格基础模型 Mitra-v2,分类与回归两个版本及推理、微调代码均以 Apache-2.0 许可证发布。模型约 77M 参数,预训练全部使用合成数据,在涵盖 51 个真实数据集的 TabArena 基准上以综合 Elo 1774.6 位列单模型第一。技术报告已于 2026 年 9 月 3 日提交至 arXiv(编号 2609.04540)。
Mitra 是亚马逊 AutoML 框架 AutoGluon 中的表格基础模型,第一代于 2025 年 10 月发布。与把表格转成文本交给大语言模型的做法不同,Mitra-v2 直接编码每列的数值与类别特征,在行与列两个维度做注意力计算,以上下文学习方式完成分类或回归。官方模型卡显示,v2 沿用 v1 的 12 层 2D Transformer 架构,提升来自规模更大、更多样的合成预训练分布与改进的优化器。
1. 预训练全用合成数据
据技术报告,Mitra-v2 的预训练数据从随机分类器与随机回归器的混合分布中采样,生成器包括结构因果模型(SCM)、梯度提升、随机森林等,并新增 Hybrid SCM 先验,在单个因果图内组合随机 MLP、决策树、高斯过程、向量自回归等多种机制。v2 的预训练上下文长度为 v1 的 10 倍,特征数量为 3 倍。
回归版将 v1 的标量均方误差头替换为 1,000 个目标分箱的分布头,把回归转化为对 1,000 个分箱的分类:点预测取分布的均值,也可输出完整预测分布,用于分位数、CRPS 等概率评分。据 arXivDaily 解读,合成预训练避开了真实表格数据的授权与隐私限制,也减少对公开基准的直接记忆。
2. TabArena单模型第一,33个数据集32胜v1
据技术报告,TabArena 评测覆盖 51 个真实数据集、816 个评测单元,执行每单元 1 小时预算协议。Mitra-v2 综合 Elo 为 1774.6(分类 1756.3、回归 1985.6),是单模型中最高的点估计:领先 1.6B 参数的 TabFM 约 1 Elo,两者自助置信区间重叠、统计上持平;领先 EXAONE Tabular 约 25 Elo,领先 TabPFN-3 约 137 Elo。榜单上唯一高于它的条目是 AutoGluon 的 4 小时 AutoML 组合,不属于单模型。报告同时注明,对比池中 TabFM 的部分结果拟合时间超出该预算(最高 5,886 秒)。
Mitra-v2 参数量约为 TabFM 的 5%。报告称,在全部 43 个配置条目中,没有任何单数据集成本高于 Mitra-v2(约 9 分钟)的条目取得更高评分。
版本对比同样一边倒:v1 在分类榜 Elo 为 1350.2、回归榜为 1265.2。限定在 v1 能原生跑出结果的 33 个数据集(26 个分类、7 个回归)内,v2 在其中 32 个上平均误差更低(分类 26 个全胜、回归 7 个中胜 6 个)。v2 对 51 个数据集全部原生覆盖、填补率为 0%,v1 则需要在 12 个分类数据集和 6 个回归数据集上做填补。
在覆盖 274 个数据集的 TALENT 基准上,Mitra-v2 与 TabFM、EXAONE Tabular 同处领先集团,并在超过 10 类的分类任务上位列全池第一(两种上下文策略下 Elo 分别为 2070.1 与 2204.2),尽管其预训练只覆盖至多 10 类的任务。
在概率回归基准 ScoringBench(以 CRPS 等适当评分规则评估完整预测分布)上,据 2026 年 9 月 9 日提交的排行榜数据,微调版 Mitra-v2(50 步)在 CRPS 指标上位列 54 个参评模型第一(平均排名 5.56)。该榜单持续更新,截至发稿,英伟达 kumo、limix2 等新增模型已居前列,微调版在该指标上现列第 6。
3. 模型规格与默认微调配方
| 项目 | 数据 |
|---|---|
| 分类版参数 | 75.7M(autogluon/mitra-classifier-2) |
| 回归版参数 | 76.7M(autogluon/mitra-regressor-2) |
| 架构 | 12 层 2D Transformer(行、列双向注意力),与 v1 相同 |
| 预训练数据 | 全合成(SCM、梯度提升、Hybrid SCM 等混合先验) |
| 回归输出 | 1,000 分箱分布头,支持分位数与 CRPS |
| 许可证 | Apache-2.0(权重、推理与微调代码、评测结果) |
| 默认微调配方 | 50 步全量微调(lr 1e-5、warmup 10、weight decay 0.3)+ 8 折 bagging |
| 运行要求 | Python 3.11–3.13、CUDA GPU、AutoGluon ≥1.6、tabarena ≥0.1.0 |
| 技术报告 | arXiv 2609.04540(2026 年 9 月 3 日提交,38 页) |
官方微调包 mitra-finetune 默认在每张新表上自动执行上述短暂微调:以 8 折 bagging 训练 8 份副本并对预测概率取平均,每次 predict 调用都会触发一次这样的 bagged 微调,默认时间预算 3,600 秒。官方在 H100 上实测,每个数据集(微调加预测)平均耗时 0.3 小时、最长 1.4 小时。超过 256 列的宽表会先自动做特征选择或 SVD 降维;超出原生 10 类的分类任务经层级标签分解处理,同一冻结检查点即可运行,无需额外预训练。
4. 安装与获取
权重托管在 Hugging Face 的 autogluon 组织下,推理、微调代码与评测结果在 autogluon/mitra-finetune 仓库。官方模型卡给出的安装命令如下:
pip install uv
uv pip install "autogluon.tabular[mitra]>=1.6" "tabarena>=0.1.0"
uv pip install git+https://huggingface.co/autogluon/mitra-finetune
分类权重可在 AutoGluon ≥1.6 中作为 v1 的直接替换使用,通过超参数 hf_model 指向 autogluon/mitra-classifier-2;回归版需经 mitra-finetune 包接入 1,000 分箱头。官方建议安装 flash-attn 加速预测,微调循环本身可用 torch 原生 SDPA 运行。
官方模型卡注明,报告的基准成绩由上述默认配方加 TabArena 1 小时协议产生,AutoGluon 的内置默认配置与该配方不同。TabArena 与 ScoringBench 均为持续更新的活体榜单,随新模型提交刷新排名;Mitra-v2 的逐数据集评测产物已随 mitra-finetune 仓库开源,可在相同协议下复现。
评论