2026 年 11 月 5 日——Unsloth 于 11 月 4 日在 HuggingFace 更新 Qwen3.8-Flash-Next 量化仓库，发布基于 Dynamic V3.1（预览版）算法的 GGUF 量化版本。官方称新版本较其他厂商的前沿量化格式准确率高出 15%，在 Terminal Bench、DeepSWE 等智能体基准中得分最高（以上均为官方自评口径），同时提供 Engram 组件跨量化格式互换指南与 MTP 推理加速支持。
该仓库（unsloth/Qwen3.8-Flash-Next-GGUF）累计获 1400 个点赞、约 121.9 万次下载（截至 11 月 5 日检索）。此次更新提供从 UD-IQ1_S 到 Q8_0 共 12 档 GGUF 量化及 BF16 全精度版本，可通过 llama.cpp 或 Unsloth Desktop 运行，ModelScope 平台亦有同名镜像仓库。
Dynamic V3.1 算法与官方基准结论
Dynamic V3.1 是 Unsloth 新一代量化算法的预览版，此次为该算法第二次公开应用。据官方文档，V3.1 更新于 11 月 2 日首先落地 DeepSeek-V4.1-Flash-1017，其 UD-Q2_K_XL 档（334.8 GB）在六项基准中取得 87.5% 平均分，其中 AIME25 达 97.5%、GPQA Diamond 达 89.6%、LiveCodeBench v6 达 84.8%；11 月 4 日扩展至 Qwen3.8-Flash-Next。
官方为本次评测投入了较大规模的测试预算，据官方文档披露的测试方法：
| 项目 | 数据 |
|---|---|
| 测试基准 | Terminal Bench 2.1、DeepSWE v1.1、Automation Bench v1.0.6、Aider Polyglot、LiveCodeBench v6、GPQA Diamond、MMLU-Pro、AIME25 等 |
| 基准测试消耗 | 26.2B tokens，其中 DeepSWE 占 18.1B、Terminal Bench 占 5.2B |
| 重跑次数 | LiveCodeBench 跑 3 次，HMMT 等跑 8-16 次 |
| 上下文长度 | 智能体基准用 256K（非 YaRN），通用基准用 128K |
| 采样参数 | temperature 1.0、top_p 0.95、top_k 20、min_p 0，启用 preserve_thinking 与 xhigh 推理档 |
官方将主要结果以「相对 BF16 基线的准确率恢复百分比」（全基准简单平均、不加权）呈现，称「各基准均有提升，且同体积下优于其他厂商」。作为对照，上一代 Dynamic v3.0 算法发布时官方的口径为「同体积下 top-1 准确率高出 10% 以上」，本次 V3.1 的官方口径已更新为 15%。
官方 KLD 量化评测数据
官方同步公布了 KLD（KL 散度）量化评测，覆盖 10 档量化，结论为「用 79% 更少的磁盘空间即可实现约 80% 的 top-1 准确率恢复」（对应 UD-IQ1_S 档 72.5 GB，对比 BF16 全量 355 GB）：
| 量化档位 | 体积（GB） | top-1 恢复率（%） | 平均 KLD |
|---|---|---|---|
| UD-IQ1_S | 72.5 | 77.325 | 0.396070 |
| UD-IQ1_M | 74.5 | 79.691 | 0.314739 |
| UD-Q2_K_XL | 78.9 | 82.715 | 0.224607 |
| UD-IQ3_XXS | 82.0 | 85.414 | 0.165120 |
| UD-Q3_K_XL | 90.0 | 88.315 | 0.106504 |
| UD-IQ4_XS | 93.7 | 89.554 | 0.083630 |
| UD-Q4_K_XL | 111.3 | 92.255 | 0.046893 |
| UD-Q5_K_XL | 158.3 | 93.680 | 0.030415 |
| UD-Q6_K_XL | 169.2 | 94.089 | 0.027091 |
| Q8_0 | 188.2 | 94.122 | 0.026574 |
官方同时说明，Qwen3.8-Flash-Next 架构中的 PLE/N-gram 层因采用随机访问模式，量化下限为 4-bit，更重度量化会损伤模型表现；这也是该模型最小量化档体积偏大的原因之一。
Engram 组件跨量化格式互换指南
本次更新的另一项内容是 Engram（N-gram 嵌入查询表）组件支持「混搭」（Mix N Match）：量化主体与 Engram 表格可分别选择精度，官方提供 BF16、Q8_0、Q5_1、IQ4_NL 四档表格可选：
| Engram 表格 | 精度 | 体积 | 相对 BF16 的 RMSE |
|---|---|---|---|
| engram-BF16 | BF16 | 102.4 GB | 0 |
| engram-Q8_0 | Q8_0 | 54.4 GB | 0.0053 |
| engram-Q5_1 | Q5_1 | 38.4 GB | 0.0376 |
| engram-IQ4_NL | IQ4_NL | 28.8 GB | 0.0757 |
由于 llama.cpp 会校验每个分片头部的 split.no 与 split.count 值，跨档位替换表格需先用仓库提供的 set_split.py 脚本（纯 Python、无第三方依赖）改写这两项头部字段，官方称改写在毫秒级完成、文件其余内容不变。官方给出的示例为：UD-Q4_K_XL 量化搭配 Q8_0 表格，可省下默认 IQ4_NL 表格占用的 28.8 GB 分片；已有下载的用户也可对存量文件直接换表。
MTP 加速与本地运行门槛
据官方 README，Qwen3.8-Flash-Next 的 MTP（多 token 预测）现可在 Unsloth 中启用，推理速度提升 1.3-1.7 倍（官方口径），需额外预留 1-2 GB 内存，Unsloth Desktop 中默认自动启用、可手动关闭。官方给出的本地运行内存门槛（RAM 与显存之和，或统一内存）如下：
| 量化精度 | 所需内存 |
|---|---|
| 1-bit | 32 GB |
| 2-bit | 42 GB |
| 3-bit | 50 GB |
| 4-bit | 64 GB |
| 5-bit | 80 GB |
| 8-bit | 128 GB |
| BF16 | 355 GB |
模型本身为 Qwen 官方 8 月底开源的 Qwen4 架构预览版：总参数 125B，其中激活参数 6B，另含 51B N-gram 嵌入与 4B MTP 参数，共 48 层、512 个专家（每 token 激活 10 个路由专家加 1 个共享专家），原生上下文 262,144 tokens，可扩展至 100 万 tokens（以上为 Qwen 官方口径）。官方文档称该架构对内存带宽的依赖低于常规模型，在 Mac 与 DGX Spark 等大内存设备上表现尤其合适，并支持将 PLE/N-gram 层卸载到 SSD 以降低内存占用。
评论