2026 年 11 月 20 日——AMD 于 11 月 19 日发布官方博客,宣布与 Unsloth 合作把 XDNA 2 NPU 支持接入 Unsloth Desktop,官方称这是全球首个获得该应用支持的 NPU 架构。用户可通过 Unsloth Desktop 提供的 OpenAI 兼容接口,让 100 多个智能体应用与工作流使用本地 NPU 推理,无需依赖云端部署;AMD 在博客中称该集成让开发者多了一种部署智能体工作负载的执行选项。

同日发布的 Unsloth v0.1.920-beta 更新说明把 AMD NPU 支持列为该版本首要更新项,并给出配套的 AMD NPU 使用指南。Unsloth 方面称,NPU 相比 GPU 在每焦耳每 token 上的效率高出 2 到 4 倍。该功能现在支持在 NPU 上运行大语言模型、加载自行转换的 Q4NX 模型,以及在 Windows 11 与 Linux x64 上通过 unsloth run 提供本地服务。

生态接入范围

AMD 博客说明,接入通过 Unsloth Desktop API 完成:该 API 提供 OpenAI 兼容端点,兼容的第三方应用以本地模型推理替代云端调用。官方列举的应用包括 Hermes Agent、OpenClaw、Open WebUI、Cline、OMP 与 VS Code,覆盖代码辅助到联网智能体工作流。技术路径上,应用经由 Unsloth Desktop API 访问本地模型,Lemonade 与 FastFlowLM(FLM)负责服务与到 XDNA 2 NPU 的推理链路。

Unsloth 自身通过 unsloth start 命令为编码代理一次性写好端点、密钥、提供方、模型与上下文长度,官方文档列出的代理为 Claude Code、OpenAI Codex、Visual Studio Code、DeepSeek Harness、OpenCode、Hermes Agent、OpenClaw 与 Pi Agent,共 8 个。官方文档未逐一说明这 8 个代理是否都在 NPU 后端上验证过。

graph LR A["第三方应用与编码代理"] --> B["Unsloth Desktop API"] B --> C["Lemonade 服务层"] C --> D["FastFlowLM 运行时"] D --> E["AMD XDNA 2 NPU"] B --> F["OpenAI 兼容端点"] E --> G["本地模型推理"] G --> B style A fill:#e8f4f8,stroke:#1a6b8a style B fill:#d6eaf8,stroke:#2980b9 style C fill:#ffecd6,stroke:#b7950b style D fill:#fadbd8,stroke:#c0392b style E fill:#d5f5e3,stroke:#27ae60 style F fill:#ebdef0,stroke:#8e44ad style G fill:#fdebd0,stroke:#e67e22

支持硬件与运行条件

官方文档给出的支持范围是搭载 XDNA 2 或更新版本 NPU 的 Ryzen AI 平台,包括 Ryzen AI 300 系列(Strix Point、Krackan Point)、Ryzen AI Max(Strix Halo)与 Ryzen AI 400 系列(Gorgon Point)。操作系统为 Windows 11 或 Linux x64;Linux 侧要求内核 7.0 或更高并配备 amdxdna 驱动,较旧内核需安装 amdxdna-dkms,同时需要较新的 NPU 固件与不受限制的 memlock 设置。

在受支持的设备上,模型选择器会自动出现 NPU 分类。首次使用时点击启用 NPU,Unsloth 会下载 FastFlowLM 并检查驱动版本;若驱动或固件过旧、内核不支持 NPU、memlock 限制过低,界面会给出对应的修复指引。

NPU 仅运行 FastFlowLM 为 XDNA 2 构建的 Q4NX(4 位)模型。官方文档说明,GGUF 模型不能直接在 NPU 上加载,需先在导出页面转换为 Q4NX;该转换在 CPU 上执行,可以在其他 GPU 机器上完成训练与 GGUF 导出,再到 Ryzen AI 设备上转换。v0.1.920-beta 起,转换后的 Q4NX 模型会以「已转换」条目出现在 NPU 模型列表中并可直接加载,仅支持文本。

模型与实测速度

官方文档给出的代表模型实测数据如下,速度单位为每秒 token 数,TTFT 为首 token 时间。

模型 大小 能力 建议内存 tok/s TTFT
Qwen3.6-35B-A3B-NPU2 20.6 GB 视觉、推理、工具 64 GB 17.2 3.13 s
Qwen3.8-27B-NPU2(MTP) 18.1 GB 视觉、推理、工具 48 GB 2.0 3.80 s
Gemma4-12B-IT-NPU2 8.7 GB 视觉、音频、推理、工具 32 GB 6.8 1.70 s
Qwen3.5-9B-NPU2 7.6 GB 视觉、推理、工具 32 GB 9.5 1.11 s
Qwen3-VL-4B-Instruct-NPU2 3.9 GB 视觉、工具 16 GB 20.5 1.05 s
LFM3-1.7B-NPU2 1.5 GB 推理、工具 16 GB 40.7 0.12 s

内存是主要门槛。AMD 博客以 Qwen 3.6 35B A3B 为例说明:该模型在完整上下文下需要约 28 GB 可供 NPU 使用的内存,按 Windows 默认的 50% 共享分配计算,整机需要 64 GB 系统内存。Unsloth 方面在代码提交中记录,Windows 上 NPU 只能映射约一半系统内存,32 GB 笔记本上多个 18 至 22 GB 的模型会下载完成后在加载阶段失败;v0.1.920-beta 已在模型列表中标出「可能超出 NPU 内存」提示,该提示只警告、不阻止下载与加载。

命令行与接口

官方指南给出的启动方式如下,命令会在 NPU 上加载 Qwen3.6-35B-A3B-NPU2 并启动本地服务。

unsloth run --model Qwen3.6-35B-A3B-NPU2 --context-length 16384

已在运行时,可直接与该模型开始交互式聊天:

unsloth chat Qwen3.6-35B-A3B-NPU2

NPU 模型通过兼容 OpenAI 的 /v1/chat/completions 端点提供服务,嵌入方向兼容 Anthropic 的 /v1/messages 端点。v0.1.920-beta 起,unsloth run、unsloth chat 与 OpenAI 兼容 API 接受应用内显示的 NPU 模型名称或 FastFlowLM/ 仓库名,此前只接受 lemonade: 形式的 ID;同时新增 unsloth list-npu-models,列出 NPU 模型的大小、下载状态与是否适合本机 NPU 内存。

运行设置中可调电源模式(省电、均衡、性能、极速,FastFlowLM 默认性能)、预填充块长度(多数模型默认 4096)、图像预缩放(原始大小、480p、720p、1080p、1440p)。更改在下次加载模型时生效。

版本与实测环境

项目 信息
发布形式 Unsloth v0.1.920-beta,2026 年 11 月 19 日发布
AMD 官方博客 2026 年 11 月 19 日,标题为 AMD x Unsloth: Unlocking the World's First NPU for Unsloth Desktop
运行时 FastFlowLM 1.0.12、Lemonade 2026.44.1
官方实测平台 Ryzen AI MAX+ 395(Strix Halo),Ubuntu 24.04.5,内核 7.0.0,amdxdna 2.25,NPU 固件 1.1.2.65,124 GiB 内存
实测换算 Qwen3-0.6B 转换后加载耗时 8 秒,119.5 tok/s,首 token 631 毫秒
仓库规模 GitHub 仓库 unslothai/unsloth 截至发稿 79804 个星标、7449 个 fork

官方在 Strix Halo 测试机上测得,生成时 NPU 占用率最大 98.8%、中位 94.4%,与独立读取的 GPU Engine 计数器 99.3%、97.9% 基本一致;模型加载后空闲与卸载后占用均为 0.0%,常驻内存 2021 MiB。

尚待补齐的部分

官方文档与仓库记录披露了以下边界:Windows 上 NPU 可映射内存约为系统内存的一半,大模型需更高整机内存;NPU 后端不支持 response_format 结构化输出,深度研究功能在 v0.1.920-beta 中改为回退到纯提示词模式;自行转换的 Q4NX 模型目前仅支持文本,视觉塔不参与转换;Linux 侧无法读取 NPU 占用率,界面显示为空而非 0%;UNSLOTH_STUDIO_ENABLE_NPU=0 可隐藏 NPU 功能并阻止运行时启动。

关于本地微调,AMD 博客与 Unsloth 官方 NPU 指南的定位是 NPU 承担推理,训练任务由 Radeon GPU 承担。官方文档明确说明,Radeon GPU 可处理受支持的训练、图像生成与视频生成任务,Strix Halo 上的 GPU 可使用大量系统内存容纳更大模型。因此 NPU 支持本身覆盖推理侧,微调仍依赖 GPU 或 CPU 路径。