vLLM Semantic Router 发布 27B 决策模型 d3-turbo：单图 255 问 2.12 秒、较 d3-flash 提速 15.5 倍

2026 年 10 月 28 日——vLLM 生态开源项目 vLLM Semantic Router（GitHub vllm-project 组织旗下）于 10 月 19 日在 HuggingFace 上架 Decision 3.0 系列的升级款 27B 多模态决策模型 d3-turbo：对同一张图片只读取一次，即可一次回答 255 个问题，官方实测耗时 2.12 秒；对比口径下，上一代 d3-flash 完成同任务需要 32.94 秒，提速 15.5 倍。模型以 Apache 2.0 许可证开源，可通过免费 API 试用或本地加载。

d3-turbo 总参数量 26.09B（含 0.46B 视觉编码器），面向选项、是非判断、评分、框选定位、目标跟踪五类结构化决策任务，全程不生成文本，只为每个候选答案输出概率与置信度。截至 10 月 28 日，该模型在 HuggingFace 上获约 120 个点赞、约 2200 次下载。

State Once：输入只读一遍，批量输出决策

据官方模型卡介绍，d3-turbo 的核心机制为 State Once：每次请求只对输入做一次读取，请求内最多 255 个问题全部基于这一次读取作答，随问题数量增加耗时仅小幅增长。同系列的 d3-flash（9B 级，总参数 8.39B）则需要对每个问题重新读取一遍输入，因此二者互补：单个问题时 d3-flash 更快（154 毫秒对 302 毫秒），从 4 个问题起 d3-turbo 反超，问题越多优势越大。

与前代 d3、d3-flash 仅支持选项、是非判断、评分三类决策输出相比，d3-turbo 新增框选定位（Box）与视频目标跟踪（Track）两类：前者对图片或视频某一时刻返回一个带校准置信度的边界框，后者对整段视频按每秒 1 或 2 次的频率输出目标框序列及目标可见概率。

性能：255 问 2.12 秒，评测五领域全领先

官方在单张 AMD Instinct MI325X 上以 transformers AutoModel 方式实测（耗时取中位数 p50），对同一张照片提问 1 至 255 个问题的结果如下：

数据来源：d3-turbo 官方模型卡。免费 API 单次最多接受 64 问，128 问与 255 问两档需自行部署模型复现。

基准成绩按官方口径分列：文本侧 Jev Decision Index 0.3.2 得分 70.2 为官方自估、非官方榜单成绩，较 d3 的官方榜单成绩 66.3 提升 4.0 分；以官方 0.3 套件在公开套件上对发布权重实测，d3-turbo 得 71.7 分，对 d3 的 65.5 分领先 6.2 分，在知识、语言、检索、工具、艺术五个领域全部领先，分差分别为 +3.7、+6.4、+9.1、+4.3、+9.6。视觉侧官方自估 72.9 分，对 d3 官方榜单 71.3 分。框选定位在官方自建测试集上 IoU 0.5 精度 0.90、置信度 AUROC 0.96；目标跟踪成功 AUC 0.79（每秒 1 次更新）与 0.80（每秒 2 次）、目标可见性 F1 0.97，均为官方自评口径。

每题最高 128K 上下文

d3-turbo 默认每个问题最多 32,768 tokens；开启 long_context=True 后，单个问题可处理 131,072 tokens（约 128K），官方称该配置可在单张 AMD Instinct MI325X 上承载。超出上限的问题将返回 max_length_exceeded 错误，模型不做任何截断。

获取与部署：免费 API 或本地加载

• 免费 API：在 decision.vllm-sr.ai 首页一键领取密钥、无需注册账号，System One 端点为 /v1/systemone；免费额度限制为单请求最多 64 个问题、16 张图片（单张不超过 16 MiB）、1 段 60 秒以内视频、输入不超过 131,072 字符。按官方说明，API 上模型名 vllm-sr/d3 即指向同一模型。
• 本地加载：可通过 transformers 的 AutoModel 接口加载（trust_remote_code=True），调用 model.system_one() 方法；也可用 vLLM SR Engine 一条命令启动服务（vllm-sr serve vllm-sr/d3-turbo --engine --platform rocm），单卡承载全部五类决策、单请求最多 255 问，官方实测 64 问读一张照片耗时 0.50 秒。官方另上架 NVFP4（10 月 21 日）与 INT4（10 月 22 日）量化版本，第三方社区已有 MLX 8-bit 转档。

System One 是「一次读取、多问作答」的接口规范，llama.cpp 已于 v0.6.0 合入同名端点 /v1/systemone（PR #29818）并提供官方 GGUF，决策模型的本地推理生态正在跟进。

家族背景方面，Decision 3.0 系列六款模型（d3、d3-mini、d3-nano、d3-lite、d3-flash、d3-edge）于 10 月 10 日集中上架 HuggingFace，d3-turbo 为其中 27B 档 d3 的升级款；10 月 24 日官方又上架了 d3-ultra。据官方模型卡与 HuggingFace 组织模型列表，vLLM Semantic Router 此前以语义路由场景的安全、隐私、意图等分类器模型著称，Decision 系列将「输出概率而非生成文本」的思路扩展为通用多模态决策模型。

数据与规格