2026 年 11 月 9 日——蚂蚁集团旗下 inclusionAI 在 Hugging Face 与 ModelScope 开源的 4B 决策模型 LemonDecider 于 10 月 28 日更新至 v3:模型基于 Qwen3.5-4B,新增原生联合问题读出(joint readout),可在一次前向中回答同一状态下的多个带类型问题,直接返回选项、是非与评分概率,全程不生成文本。官方模型卡公布的 Decision Index 公开套件 0.3 得分为 60.03,中位请求延迟 53.3 毫秒。

LemonDecider 不是对话模型。请求由一段状态(state)和若干问题组成,问题分为 choice(在最多 255 个候选中单选)、noul(是非判断,返回 P(true))与 score(按序评分)三类。模型在最后一层通过 255 路决策读出头给出各候选的概率分布,不经过自回归解码,也不需要从生成文本中解析答案。

同一状态多问一次算完

v3 的核心变化是联合问题读出:同一状态下的多个问题在一次前向中共同计算,减少重复读取状态的开销;当问题列表超出单次容量时,服务按原始顺序递归二分,每个分块都保留完整状态与全部选项,不做截断,单个问题仍无法容纳时整单拒绝并返回 HTTP 422。

该模型支持 choice、noul、score 三种决策原语,单题最多 255 个选项,每分块上限为 8,192 tokens(含模板);短请求保持联合推理,超长问题列表才触发递归拆分。官方强调,拆分策略属于推理契约的一部分,不是可在评测中省略的优化项。

评测与延迟

官方于 2026 年 10 月 25 日使用四个 PPU-ZW810E 工作节点完成公开套件全量评测,共 140,178 条可评分请求,其中 140,148 条成功、30 条不支持,评分器返回 complete: true。

项目 数据
Decision Index(public 0.3) 60.03
Raw index 69.34
Breadth skill 58.63
请求延迟(中位/均值/p95) 53.3 / 104.9 / 286.1 毫秒
可评分请求 140,178 条(140,148 条成功)
训练数据 1,199,692 条决策/QA 样本
上下文容量 每分块 8,192 tokens,单题最多 255 个选项
许可证 Apache-2.0(代码 MIT)

作为版本对照,v2(10 月 15 日)的公开口径为 Decision Index 50.31、中位延迟 50.4 毫秒;v3 在 10 月 25 日完成的新一轮全量评测提升至 60.03、53.3 毫秒。不同批次、硬件与套件版本会产生数值差异。

官方同时说明,该成绩为公开套件的自评结果,不是官方私有 Full 成绩或榜单认证;延迟为四个工作节点上的 HTTP 请求墙钟时间,不是单卡官方延迟口径。

训练与限制

模型由 Qwen3.5-4B 经 SFT 得到,训练集约 120 万条,choice、noul、score 三类问题占比为 84.4%、15.2%、0.4%;训练在 16 个加速器上完成 1 个 epoch、4,690 步,对同一次训练的四个检查点做权重平均与温度校准。v3 为纯文本服务,视觉塔在训练中冻结,仓库中的视觉张量不代表已支持图像输入。

模型卡列出的限制包括:只适用于结构化判定,不适合开放式文本生成;每分块 8,192 tokens 是服务容量,不是骨干网络的 262,144 位置上限;长状态不能被截短以适配单个问题;公开分数不能证明私有测试集或真实业务流量上的表现。

获取与部署

权重与推理代码已上传 Hugging Face 的 inclusionAI/LemonDecider 与 ModelScope 同名仓库,采用 Apache-2.0 许可证。模型需以 trust_remote_code=True 加载,仓库提供 HTTP 服务脚本与 /v1/systemone 端点,默认只监听本机;官方建议设置 LEMONDECIDER_API_KEY 后再对外提供服务,并先检查自定义代码与运行时依赖。