2026 年 10 月 24 日——FrontiersMind AI 于 10 月 24 日发布并开源 DecisionFormer v0.2.0（GitHub 组织名为 FrontiersMindAI）：一个构建在 Hugging Face transformers 之上的决策模型训练与服务框架，输入状态与带类型的问题后，模型无需生成文本，单次前向计算即为每个选项输出校准概率，兼容 40 余个模型家族，采用 Apache 2.0 许可。

据项目 GitHub 仓库，该仓库于 10 月 22 日创建，配套训练数据集 deciformer-15k 同日上架 Hugging Face；v0.2.0 于 10 月 24 日发布并上架 PyPI，通过 pip install decisionformer 即可安装。截至 10 月 24 日，仓库获得 22 个 star 与 2 个 fork。

项目信息

项目 数据
项目名称 DecisionFormer
开发方 FrontiersMind AI（GitHub 组织：FrontiersMindAI）
当前版本 v0.2.0（2026 年 10 月 24 日发布）
许可 Apache 2.0
仓库创建时间 2026 年 10 月 22 日
运行要求 Python 3.10+，PyTorch 2.6+，transformers 5.20+
代码地址 github.com/FrontiersMindAI/decisionformer
Star / Fork 22 / 2（截至 2026 年 10 月 24 日）

单次前向计算，输出各选项校准概率

官方 README 描述其工作方式为：输入一段状态（state）和若干带类型的问题（typed questions），模型在一次前向计算中为每个选项输出校准后的概率，全程不生成文本。官方示例的响应中 output_tokens 为 0，即该类推理不产生任何生成 token。

问题类型收敛为三种，每种问题必须声明类型：

问题类型 功能 输出
choice 在有限候选中多选一 完整概率分布
noul 是/否二元判断 "是"的概率
score 在 2 至 10 个有序等级中评级 等级概率分布

除概率外，模型还输出 confidence（置信度）。官方说明其定义不是最高概率，而是 1 减去概率分布的归一化熵：当两个选项概率接近（如 0.51 对 0.49）时，置信度接近 0。默认情况下，模型拒绝超过训练长度（默认 1,024 tokens）的请求并返回 HTTP 422 错误，而不是截断输入。

打通微调、加载与部署全流程

DecisionFormer 的定位是让决策模型的训练像微调语言模型一样：一条命令启动训练，训练产出标准 Hugging Face 格式的 checkpoint（包含 config.json、safetensors 权重、decision_config.json 与决策读出头），可直接用 from_pretrained 加载、serve 部署或推送到 Hugging Face Hub。

微调支持四种模式：全参数、LoRA、QLoRA 与仅训练决策头，多卡训练通过 torchrun 启动。官方给出的单卡 80GB 显存容量参考为：全参数微调约可覆盖 3B 模型，LoRA 覆盖 14B 至 30B，QLoRA 覆盖 30B 至 70B。官方实测，在 6 核 CPU 上全参数微调 SmolLM2-135M 峰值内存 3.7GB，每步约 15 秒，小规模决策模型可以在笔记本电脑上完成训练。

配套训练数据集 deciformer-15k 包含 15,002 条单答案决策样本，均匀取自 8 个公开数据集的 9 个任务（每任务约 1,666 条），覆盖英语与德语，因上游数据许可不同，该数据集采用混合上游许可标注（Hugging Face 数据集页口径）。

兼容 40 余个 Hugging Face 模型家族

官方 README 列出的支持家族如下，每一族均通过微调、导出、重载与响应规则的一致性测试：

类别 支持家族
密集解码器 Gemma 4/3/2/1、Qwen3、Qwen2、SmolLM3、Seed-OSS、EXAONE 4、GLM-4、Ministral、Cohere 2、Hunyuan、OLMo 2、Granite、Phi-3、Phi、Mistral、Llama、StableLM、Falcon、GPT-NeoX、GPT-2 等 23 族
混合专家解码器 GPT-OSS、Llama 4、DeepSeek-V3、Qwen3-MoE、Granite-MoE、OLMoE、Phi-MoE、Mixtral 共 8 族
混合线性注意力解码器 Qwen3.5（含视觉塔整体保存）、Qwen3-Next
编码器 ModernBERT、EuroBERT、DeBERTa-v3、XLM-RoBERTa、RoBERTa、ELECTRA、ALBERT、DistilBERT、BERT、T5、mT5

部署方面，内置 FastAPI 服务暴露 /v1/systemone 接口（官方称其为 Jev、vLLM 与 Decision Index 共用的 System One API），空闲时请求立即执行，繁忙时自动合批，单批上限默认 16。对采用 Decision 3.0 布局的 checkpoint（Qwen3.5 上的答案码读出模型），可切换 vLLM 后端运行（要求 2026 年 10 月 15 日及以后的 vLLM 构建）。框架还可直接加载 Decision 3.0 系列（vllm-sr/d3）与 AutoJev 格式的既有 checkpoint，官方称在 vllm-sr/d3-edge（0.6B 参数）上能以 BF16 精度复现参考运行时完全一致的概率。

官方实测数据与已知局限

以下数据均为官方 README 自评口径：

项目 数据
起步配方训练成本 Qwen3-0.6B + LoRA，deciformer-15k 单轮，RTX 2060 SUPER（8GB）FP16 约 30 分钟
起步配方效果 9 个任务平均 dev 准确率 0.824（最低 0.75，最高 0.90），校准 ECE 0.023
MNLI 微调 Qwen3-0.6B 从零样本 0.36 提升至 0.83（250 步，ECE 0.042）
MNLI 微调（QLoRA） Qwen3.5-0.8B + 双向注意力达 0.84（150 步）
vLLM 后端一致性 与 transformers 后端每个概率误差小于 0.001，3 问题请求中位延迟 30ms

官方同时披露两项局限：其一，Qwen3.5 基座上答案码读出方式的微调在其测试中尚未稳定收敛（加载与服务此类 checkpoint 正常）；其二，将因果预训练的解码器改为双向注意力会损失大部分既有能力，其基准中 Qwen3-0.6B 双向注意力 50 步 dev 准确率为 0.45，低于因果注意力下的 0.67。

背景与生态

DecisionFormer 的选项码读出、提示词布局、校准指标（ECE、Brier、NLL）与标量温度拟合等组件改编自 AutoJev 项目（MIT 许可，作者 Denis Yarats，已在 NOTICE 文件中声明），d3 提示词与 checkpoint 契约遵循 Decision 3.0 规范。开发方 FrontiersMind AI 的公开信息有限，其 GitHub 组织下另有 GQE（Grouped Query Experts）、GVA（Grouped Value Attention）与 faithserve 三个仓库，Hugging Face 组织为 FrontiersMind。

决策模型（输入状态与问题、仅输出校准概率、不生成文本）正在成为生成式模型之外的一个独立品类，据媒体报道，微软已推出针对预设选项返回校准概率的 Decision-1，开源社区亦有 Kev 等同类模型家族。DecisionFormer 提供的统一微调与服务框架，使此类模型的定制训练不再需要自建训练管线；其直接兼容 Decision 3.0 与 AutoJev 两大既有 checkpoint 格式的特性，也为已有决策模型的使用者提供了迁移路径。