Unsloth发布DeepSeek V4.1 Flash Dynamic V3.1量化：最低档233GB、64GB内存可运行

2026 年 11 月 1 日——Unsloth 于 10 月 30 日发布 DeepSeek-V4.1-Flash-1017 的 Dynamic V3.1（预览版）GGUF 量化，共 9 个档位，体积从 233.0GB（1-bit）到 508.4GB（8-bit）；官方称借助 SSD 按需加载，64GB 内存的设备即可运行（速度更慢），128GB 以上内存体验更佳。

DeepSeek-V4.1-Flash-1017 是 DeepSeek 于 10 月 17 日发布的 V4.1-Flash 升级版，总参数量 763.2B，由 552B 主干与 196.6B Engram 查找表组成，每层 384 个路由专家、每 token 激活 6 个，支持 1M token 上下文，权重以 MIT 许可开源。Unsloth 官方 X 账号在发布帖中写明「Run on 64GB+ RAM」，截至 11 月 1 日该帖获得 2114 个点赞；HuggingFace 仓库页面显示其下载量约 35.1 万次，ISTA-DASLab 的同类 GSQ-RCO 量化仓库下载量约 207.7 万次（两处均为截至 11 月 1 日数据）。

量化规模：9 档、233.0GB 到 508.4GB

Dynamic V3.1 的主体是 9 个 Unsloth Dynamic（UD）档位。由于基座权重本身采用 MXFP4、FP8 与 BF16 混合精度，Q4 与 Q8 档位保留了原生 MXFP4 专家与完整 Engram 表，官方文档说明其档位名称并不代表每个张量的实际精度。各档位均由「主模型分片 + 独立 Engram 表」构成（GB 按 10 的 9 次方字节计）：

Engram 表单独提供 MXFP8（202.8GB）、Q6_K（161.3GB）、Q5_K（135.2GB）、IQ4_NL（110.6GB）四种精度，可替换混搭：例如 1-bit 档默认搭配 IQ4_NL 表，也可换成 MXFP8 表以换取更低的量化误差。除主模型外，配套文件还包括 DSpark 投机解码草稿模型（Q8_0 约 7.4GB、BF16 约 7.9GB）与视觉投影 mmproj（约 0.9GB）。最低档 UD-IQ1_S 体积 233.0GB，即「最低比特版本超过 200GB」的口径：即便内存压到 64GB，磁盘上仍需为完整模型文件预留 233GB 以上空间。

64GB 内存如何跑通：权重留在 SSD 按需加载

Engram 是 DeepSeek V4.1 的条件记忆模块，以 n-gram 查找表形式工作：最多四个 token 的 n-gram 索引表中的少量行，每个 token 只读取一行，因此整表不必常驻内存。Unsloth 文档说明，这块 110.6GB 至 202.8GB 的表可经 mmap 保留在 SSD 上，按需载入操作系统缓存；其余权重同样可通过 llama.cpp 的 --load-mode mmap 与 --lazy-mode on 参数从磁盘懒加载。

官方给出的内存需求（RAM 加 VRAM，或统一内存；Engram 置于 SSD）如下：

同一页文档的表述是「128GB+ 内存配置，或 64GB 内存（更慢）」均可运行：在 64GB 内存设备上，权重整体依赖磁盘换页，速度明显受限，流畅运行仍建议 128GB 起步。运行时需 llama.cpp b11870（10 月 25 日发布，已原生支持 DeepSeek-V4.1）或 Unsloth 提供的 llama.cpp PR #30817，也可使用 Unsloth Desktop 桌面应用自动配置离线加载参数。官方推理参数建议为 temperature 1.0、top_p 1.0、关闭 top-k 与 min-p，默认思考强度 75（可设 1–100），并建议预留至少 256K 输出 token。

实测基准与输出质量

Unsloth 以 UD-Q8_K_XL（官方文档标注 lossless）为参考，对各档位测试了 AIME25、HMMT Feb26、GPQA Diamond、MMLU-Pro、IFEval、LiveCodeBench v6 六项基准（32K 上下文上限，AIME25 每题 16 次采样）：

按官方数据换算：UD-Q2_K_XL 保留参考模型六项平均分的 99.8%，2-bit 档几乎无损；1-bit 档 UD-IQ1_M 领先同体积的 GSQ-RCO IQ1_M 3.77 分。Unsloth 另称若计入 Aider Polyglot（UD-IQ1_M 42.13 对 GSQ-RCO IQ1_M 29.78），差距进一步拉大。

本轮发布同时引发一场量化质量之争。GSQ-RCO 是奥地利科技研究所 DASLab 于 10 月 23 日发布的逐张量非均匀量化，其模型卡声称三档在 AIME25 上均为 100 分、IQ2_XXS 档达成基线 100% 恢复（三项均值 93.54）。Unsloth 表示无法复现该结果：按每题 16 次采样（30 题乘 16 次为每档 480 次，温度 1.0、思考强度 50）复测后，GSQ-RCO 在 AIME25 上对基线的保留率为 94.64%，并非 100%；ISTA-DASLab 模型卡注明其全部数字在思考强度 50 下测得。双方评测的基准集合与采样次数不同，对比时需注意口径差异。

在输出分布层面，Unsloth 公布的 KL 散度与 top-1 一致率数据显示，其量化相对官方 F32 参考的 top-1 一致率介于 82.8% 至 98.5%（wiki1100 测试集）、85.1% 至 98.7%（long17k 测试集）之间；UD-Q4_K_XL（官方文档标注 near lossless）比 UD-Q8_K_XL 少 7.7GB，一致率差距仅 0.2 至 0.3 个百分点。Unsloth 同时提示量化会拉长思考长度：六项基准中答案在 32K 上限处被截断的比例，参考模型为 1.48%，UD-IQ1_S 为 4.15%，运行低比特档位时建议调高思考 token 预算。

速度与获取方式

Unsloth 在文档与模型卡中称，配合 Unsloth Desktop 与其 llama.cpp 优化，DeepSeek-V4.1 推理速度较其他 CPU/VRAM/ngram 方案最高快约 3 倍；配套的 DSpark 投机解码草稿模型可使解码速度再提升 1.3 至 1.5 倍。截至发稿，官方未公布具体硬件配置下的绝对生成速度（tokens/s）数据。量化文件可通过 HuggingFace 仓库 unsloth/DeepSeek-V4.1-Flash-1017-GGUF 下载，运行指南见 Unsloth 官方文档。