2026 年 11 月 19 日——Hugging Face 旗下 harness-hub 项目于 11 月 16 日发布基于 Qwen3.8-27B 的 Harness Adapters(框架适配器),用强化学习为编码代理 Pi 与 OpenCode 各训练一个小型 LoRA 适配器,权重与训练配方以 Apache 2.0 许可公开。据模型卡修正后的数据,Pi 适配器在 SWE-bench Pro 最难 51 题子集上把基座模型的成绩从 39.2% 提升至 64.7%,提高 25.5 个百分点。

Harness Adapters 是 Hugging Face 自 10 月 30 日发布首批适配器以来持续推进的开源项目:同一基座模型在不同智能体框架(harness)中表现不同,项目为每个「基座模型 × 框架」组合在未修改的框架内部训练一个 LoRA 适配器,用户保留基座模型,按所用代理加载对应适配器即可。本次发布是该项目首次覆盖 27B 级主流稠密基座。

发布内容与覆盖范围

本次上线 Pi 版与 OpenCode 版两个适配器,均基于 Qwen/Qwen3.8-27B,同时提供 safetensors 与 GGUF 格式。截至发稿,Pi 版模型卡获 434 个点赞,GGUF 版下载 648 次。据 harness-hub 组织页,项目已发布的适配器矩阵如下:

基座模型 覆盖框架
Qwen3.8-27B Pi、OpenCode(Hermes 标注为计划中)
LFM2.5-24B-A2B Pi、Claude Code、Hermes、OpenCode
LFM3-1.7B Pi、Hermes、OpenCode
TwIL-8B(实验) Pi、Hermes、OpenCode

首批适配器于 10 月 30 日基于 Liquid AI 的 LFM2.5-24B-A2B 发布;11 月 6 日团队发表博客 Harness adapters: Safe RL for efficient agentic development,公开了 RL 训练配方与 safeagents 工具调用审查机制。

基准成绩

模型卡给出 Pi 框架下的配对评测:每任务一次尝试、100 步预算、双方均关闭思考模式、仅文本输入(视觉塔未启用)、采样温度 0.8、top-p 1.0。

基准 任务数 Qwen3.8-27B Pi 适配器 提升
SWE-bench Pro(hard 51) 51 39.2% 64.7% +25.5 分(新解 15 题 / 失 2 题,p=0.0023)
Terminal-Bench 2.1 86 39.5% 55.8% +16.3 分(新解 16 题 / 失 2 题,p=0.0013)

关闭思考的适配器追平了基座模型最高推理强度(xhigh)思考模式的成绩:SWE-bench Pro 最难 51 题双方均为 64.7%,Terminal-Bench 2.1(83 题公共子集)为 56.6% 对 54.2%,而每任务生成 token 中位数从 34.4k 降至 7.9k,约为原来的四分之一。官方建议保持思考关闭:开启后准确率无明显收益,token 消耗反而增加约 4 倍。OpenCode 适配器则把 SWE-bench Pro 最难 51 题从 35.3% 提升至 51.0%,Terminal-Bench 2.1 从 46.4% 提升至 52.4%。

数据口径有两点需要注意。其一,上述结果与 Qwen3.8-27B 官方模型卡上的分数不可直接比较,后者使用其他框架、完整 SWE-bench Pro 与最大思考强度。其二,早期模型卡曾报告 29.4%→62.7%,因基座模型 9 条 rollout 受沙箱与模型服务器间公共隧道中断影响而失败,团队重跑全部受影响 rollout 后于 11 月 18 日更新为上文修正数据;截至发稿组织页仍展示修正前数字,以模型卡为准。

训练配方

Qwen3.8-27B 适配器使用 TRL 实验性 AsyncGRPO 训练器加 LoRA 训练,任务由 Harbor 经 OpenEnv 提供,rollout 在 HF 沙箱中运行,每次工具调用执行前经 safeagents 审查,拦截改测试、找答案等奖励作弊行为。模型卡给出的关键参数如下:

项目 配置
LoRA r=32,alpha=64,作用于 q/k/v/o/gate/up/down 投影
训练任务 750 个 scale800 任务与 300 个 TermGrade 任务混合,累计 1,919 个任务组
奖励 任务验证器正确性得分,另加权重 0.1 的工具效率奖励
Rollout 每任务 8 条,温度 0.8,思考关闭,至多 50 个代理步、1,800 秒
学习率 2e-5
检查点 第 160 步;运行在计划 1,000 步的第 191 步停止
硬件 每个框架 2× NVIDIA B200,一张运行 vLLM 推理,一张运行训练

训练脚本已公开在 TRL 仓库 examples/async_grpo_harbor 目录,含 HF Jobs 双卡启动器;配套开源的 Repo2RLEnv 可把社区共享的代理会话轨迹重建为带隐藏测试与参考解的可验证 RL 任务。

部署与使用

运行时基座权重只需加载一份:vLLM 通过 --enable-lora 同时挂载多个适配器并按名称路由,切换代理框架即切换适配器名。模型卡给出的评测同款部署命令如下:

vllm serve Qwen/Qwen3.8-27B \
    --enable-lora --max-lora-rank 32 \
    --lora-modules qwen3.8-pi=harness-hub/Qwen3.8-27B-pi-adapted \
    --language-model-only --enable-prefix-caching --mamba-cache-mode align \
    --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3 \
    --default-chat-template-kwargs '{"enable_thinking": false}' \
    --max-model-len 131072

GGUF 版可用 llama.cpp 或 Llama.app 叠加在 Qwen3.8-27B GGUF 基座上运行,官方推荐 Q8_0 量化(更低比特偏移更大,GGUF 版未重新评测);也可用 PEFT 把适配器合并为约 54GB BF16 的独立检查点,任何引擎无需 LoRA 支持即可部署。Pi 通过 npm 包 @earendil-works/pi-coding-agent 安装(Node.js 22.19+),指向本地服务时 API 类型须设为 openai-completions。

后续进展

模型卡引用的完整发布博客 harness-adapters-at-scale 截至发稿尚未上线,组织页标注 Qwen3.8-27B 的 Hermes 适配器仍在计划中。团队表示配方不限于已覆盖的框架与任务:开发者可保存日常代理会话,经 safeagents 脱敏后共享到 Hub,由 Repo2RLEnv 转成 RL 任务,再用同一配方为自己的代理训练适配器。模型权重、数据集、训练脚本与评测记录均已在 harness-hub 组织下开源。