ISTA-DASLab 发布 GSQ-RCO 量化方案：Qwen3.8 双模型 3.5bit 实现任务无损压缩

2026 年 10 月 16 日——奥地利科学技术研究所（ISTA）Deep Algorithms and Systems Lab（DASLab）在 Hugging Face 发布 Qwen3.8-27B 与 Qwen3.8-Flash-Next 两款模型的 GSQ-RCO 系列 GGUF 量化（27B 仓库 2026 年 8 月 28 日创建，Flash-Next 仓库 9 月 7 日创建）：该方案将 Gumbel-Softmax 量化（GSQ，arXiv:2604.18556）与黎曼约束优化（RCO，arXiv:2605.00649）两项技术组合成一条量化产线，对模型逐张量分配量化精度。27B 的 IQ3_S（3.50 bpw，11.8 GB）在 AIME25 与 LiveCodeBench v6 两项基准上与 BF16 基线完全持平；512 专家 MoE 模型 Flash-Next 的 IQ3_S（3.50 bpw，全量下载 83.6 GB）三项推理基准全部持平或反超 BF16 基线，任务平均 93.26 对 93.12。

Qwen3.8-27B 侧：2.75 bpw 的 IQ2_S 版本 zero-shot 平均分反超 BF16 基线（恢复率 101.8%），2.50 bpw 的 IQ2_XS 版本在同体积对比中领先 Unsloth Dynamic 同档量化（AIME25 高 10.00 分）。GSQ 与 RCO 两套工具链代码均已开源，产物为标准 GGUF 文件，llama.cpp、Ollama、LM Studio 无需修改即可加载。

2026-10-16 · 大模型量化 · 混合精度 · GSQ · RCO · GGUF

一、概览

DASLab 是 ISTA 的 Deep Algorithms and Systems Lab，由 Dan Alistarh 领导，此前产出过 GPTQ、SparseGPT 等被广泛部署的模型压缩工作。本次发布的主体是一套量化方法组合及其在 Qwen3.8-27B 与 Qwen3.8-Flash-Next 两款基座模型上的成品：GSQ 论文于 2026 年 4 月 20 日提交 arXiv，RCO 论文于 2026 年 5 月 1 日提交，8 月 28 日两者以 GSQ-RCO 的组合形式落地为 GGUF 模型仓库。

数据来源：两篇 arXiv 论文摘要、官方 Hugging Face 模型卡、Hugging Face API。

官方模型卡对两项技术的分工有一段明确概括：

GSQ 提供给定量化类型下单张量的高精度低比特标量量化；RCO 在总体积预算下为各张量分配量化类型。两者结合，产出指定体积的非均匀 GGUF。（译自官方模型卡方法摘要）

二、技术背景：2-3 bit 档位的精度断层与一个分配难题

2.1 标量量化与向量量化之间的精度断层

据 GSQ 论文引言，量化已成为大模型部署的标准工具，在本地推理场景中模型普遍以每参数 2-3 bit（bpp）运行。当前最先进水平分为两条路线：

1. 标量量化：以 GPTQ、AWQ 为代表，部署广泛、内核生态成熟，但精度在每参数 3-4 bit 处进入平台期；
2. "二代"向量/格点量化：以 QTIP、GPTVQ、AQLM 为代表，持续推高 2-3 bit 区间的精度前沿，但实现复杂、难以规模化。

GSQ 论文提出的核心问题是：这一差距是否本质性的，一个精心优化的标量量化器能否收回大部分差距。论文的结论是肯定的。

2.2 混合精度的预算约束分配难题

RCO 论文处理的是另一类问题：把 N 个组（在量化场景中即 N 个权重张量）各自指派 K 个选项之一（一种量化档位），同时满足总成本预算（整文件平均位宽）。这类问题同样出现在非均匀剪枝与专家选择中。

据 RCO 论文分析，既有解法各有困境：目标损失由全部指派联合决定、无法按组分解，组合求解器只能优化代理目标；进化搜索能评估真实损失但缺乏梯度；罚函数法只能近似满足预算，且需要大量超参调优。GSQ-RCO 方案的差异化正在于此前的 GGUF 动态量化按统一规则分配档位，而 GSQ-RCO 依据真实任务损失的梯度搜索逐张量分配，并精确满足体积预算。

三、GSQ：Gumbel-Softmax 松弛下的高精度标量量化

GSQ（Gumbel-Softmax Quantization）是一种后训练标量量化方法。据论文摘要，其机制为：用 Gumbel-Softmax 松弛将离散的网格选择连续化，联合学习逐坐标的网格指派与逐组的缩放系数（scale），即每个权重归入哪一档、每组的量化范围取多大，两者同时由优化决定。

关键设计是把松弛的基数对齐到目标位宽下本就稀少的量化层数：三值量化对应 3 层、3 bit 对应 8 层，松弛空间与目标空间规模一致，优化因此变得可解。实验方面，论文报告在 Llama-3.1-8B/70B-Instruct 上，GSQ 在 2-3 bit 区间补齐了标量量化与 QTIP 前沿之间的大部分差距，同时保持对称标量网格与分组量化，与现有标量推理内核兼容。

论文还给出两项延伸：其一，对已发布的 GGUF K-Quant 权重做 GSQ 二次优化并投回同一格式，精度可获得提升；其二，GSQ 扩展到 Kimi-K2.5 这类万亿参数规模的混合专家模型——论文指出这正是向量量化方法难以应用的场景。论文作者为 Dadgarnia、Tabesh、Nikdan、Helcig、Kurtic、Kleinegger、Alistarh。

四、RCO：黎曼流形上的精确预算约束优化

RCO（Riemannian Constrained Optimization）解决前述分配问题的路径是几何化的。论文的观察是：在 softmax 松弛下，预算约束在 logit 空间中构成一个光滑黎曼流形，且该流形几何性质干净——法向量有闭式解；沿成本向量方向平移 logit，期望成本单调变化；向量传输的计算可化归为一次内积。

在算法构成上，RCO 把三个组件包在标准 Adam 步外侧：切向投影（把梯度约束在流形切空间内）、二分回缩（沿流形校正迭代点）、动量传输（跨切空间传递动量）；再结合 Gumbel 直通估计处理离散指派、预算约束动态规划保证离散解可行。论文归纳其性质为：以一阶方法直接优化真实任务损失；每次迭代在期望预算意义上精确满足约束；不引入任何约束相关超参数；多个预算同时约束时无需增加额外系数。

据论文报告，RCO 在合成问题与真实大模型压缩设置中持平或超过既有最优方法，墙钟时间通常更低。论文作者为 Helcig 与 Alistarh，2026 年 5 月 1 日提交 arXiv，2026 年 9 月 27 日更新至 v3。

五、组合产线：逐张量候选库、预算搜索与标准 GGUF 输出

官方模型卡给出的量化流程分三步：

第一步，把每个权重张量在全部候选 GGUF 量化类型上各用 GSQ 量化一遍，形成可搜索的候选库；第二步，RCO 在整文件平均位宽预算下，依据任务损失为每个张量选出一种量化类型；第三步，将选中的各张量变体拼装为单个标准 GGUF 文件。

在 Flash-Next 这类 MoE 模型上，搜索空间的形态受模型结构与 GGUF 格式双重约束（据官方模型卡）：该模型每层 512 个路由专家、共 48 层，每 token 激活 10 个，95% 的可搜索权重集中在专家矩阵，而 GGUF 无法表达按单个专家分配精度，RCO 因此按层指派档位；搜索共覆盖 352 个张量，即 304 个稠密张量与 48 个逐层融合的路由专家矩阵，两类张量使用不同的量化阶梯，专家矩阵在任一预算下都处于远低于稠密路径的位宽。特殊张量 ffn_down_exps 因 640 行无法被 256 整除，与全部块大小 256 的 K/I 量化格式不兼容，只能在 Q2_0（块 64）与 IQ4_NL（块 32）中选择：两档较小构建中全部 48 层落在 Q2_0，IQ3_XXS 中 18 个层被提升到 IQ4_NL。

配套交付物有两个值得注意的细节。一是可审计性：每个发布文件附带 rco-allocation.txt，记录该文件中每个张量的量化类型、类型直方图与目标位宽，无需打开模型即可复核分配结果；量化所用的 imatrix（重要性矩阵，1000 块 × 4096 token）也随权重一并发布。带 -mtp 后缀的构建有独立的分配转储，在基模型分配之外额外记录 MTP（Multi-Token Prediction）头的 15 个张量。二是多模态支持：视觉编码器与投影器以 BF16 打包为独立的 mmproj 文件（0.9 GB），一档共用。

文件命名遵循 <模型>-GSQ-RCO-<类型>.gguf，后缀为量化类别，实际位宽以整文件平均值计。-mtp 构建比对应基础版约大 0.35 GB，内置 MTP 头供 llama.cpp 投机解码使用，权重与基础版相同，官方说明质量无差异。

六、实测数据：两款模型的精度与体积

6.1 Qwen3.8-27B：文件规格

数据来源：官方模型卡。四档均有约大 0.35 GB 的 -mtp 构建可选。

6.2 Qwen3.8-27B：与 BF16 及 Unsloth Dynamic 的对比

数据来源：官方模型卡。评测口径：wikitext2、C4、FineWeb-Edu 困惑度（越低越好）；zero-shot 平均取 arc_easy、arc_challenge、hellaswag、winogrande、piqa 五项；恢复率为 zero-shot 平均相对 BF16 的百分比；推理类基准为 AIME25、GPQA-Diamond、LiveCodeBench v6。表中数据为发布方自评口径。

从表中可以读出四个要点：

1. 3.5 bit 任务无损：IQ3_S 在 AIME25（100.00）与 LiveCodeBench v6（85.71）上与 BF16 基线完全相同，GPQA-Diamond 落后 0.51 分；三项推理基准平均 91.70 对基线 91.87（99.8%），困惑度 7.07 对 7.05，体积为 BF16 的 1/4.6。
2. 2.75 bit 反超基线：IQ2_S 的 zero-shot 平均 75.70，恢复率 101.8%；AIME25 持平基线。
3. 同体积对比领先明显：同为 8.4 GB，IQ2_XS 对 UD-IQ2_S 在 AIME25 上高 10.00 分、GPQA-Diamond 高 8.59 分、LiveCodeBench v6 高 4.57 分。
4. 同档对比互有胜负：IQ3_S 对 UD-IQ3_S 在 AIME25 上高 3.33 分、LiveCodeBench v6 上高 1.71 分且小 0.2 GB，GPQA-Diamond 落后 0.51 分（UD 在该项恰好追平基线）。

6.3 Qwen3.8-Flash-Next：MoE 模型上的四档实测

Flash-Next 为稀疏混合专家模型：48 层、每层 512 个路由专家、每 token 激活 10 个。官方模型卡评测口径与 27B 版一致，基线为 BF16（全量 354 GB）；bpw 列为 transformer 权重上的平均值，即搜索实际控制的范围。

数据来源：官方模型卡，为发布方自评口径。每个量化版本发布为两个分片：第二分片为逐层 n-gram 嵌入表（per_layer_token_embd，51.2B 参数），以固定 4.5 bpw 的 IQ4_NL 存储、不参与搜索；该表属查找表而非矩阵乘权重，按 token 稀疏读取，官方建议以内存映射驻留磁盘（llama.cpp 参数 -lm mmap --lazy-mode on），显存只需容纳第一分片。

三个要点：

1. IQ3_S 为推荐档：AIME25 持平基线（100.00），GPQA-Diamond 反超 1.01 分（92.93 对 91.92），LiveCodeBench v6 落后 0.57 分，任务平均 93.26 对 93.12（100.2%），体积为 BF16 的 1/4.2。
2. 官方对「反超」的自我收紧：模型卡明示，三档 zero-shot 平均超基线（100.3%-101.4%）与 IQ3_S 任务平均超基线均处于约一个标准误范围内，应读作持平，恢复率略超 100% 反映的是基准方差。
3. 速度导向的 Q2_0 档：Q2_0 刻意避开依赖大查找表的量化格式，与 IQ2_XS 文件仅差 1.6 GB，prefill 吞吐 3.4 倍于对方（367.49 对 108.19 token/s）、平均延迟约为其一半（6.70 秒对 12.68 秒），代价是任务平均低 0.09 分（89.07 对 89.16）；官方口径为吞吐优先时选 Q2_0。

3.00 bpw 的 IQ3_XXS 达到基线任务平均的 99.4%（92.57 对 93.12），体积为 1/4.7；AIME25 持平，GPQA-Diamond 落后 0.51 分、LiveCodeBench v6 落后 1.14 分，比 IQ3_S 少 7.8 GB。

七、生态与部署

GSQ-RCO 已从单模型扩展为一个系列。Hugging Face API 显示（截至 2026 年 10 月 16 日）：官方已发布 Qwen3.8-Flash-Next-GSQ-RCO-GGUF（2026-09-07 创建，下载 518.3 万次）与代码特化版 Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF（2026-09-26 创建，下载 79.9 万次，官方说明每层保留 512 个路由专家中的 256 个，按原始参数折算有效 1.89 bpw，共 58.4 GB）；社区衍生包括 SC117 的 abliterated 版（下载 147.0 万次）、ukisai 的 Swift-1.5 系列再量化、alesha-pro 的 Strata 适配版等。27B 原版下载量 143.5 万次，收藏 2209。Flash-Next 模型卡另转述用户反馈称，第三方引擎 Strata 可在 8 GB 显存的单张 NVIDIA GPU 上运行该系列 GGUF。

部署侧无需任何定制，标准 GGUF 直接加载：

# llama.cpp：-ngl 99 表示全部层卸载至 GPU
llama-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf -p "Explain mixed-precision quantization." -ngl 99

# Ollama：按显存/内存预算选择档位
ollama run hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

# Flash-Next（MoE，双分片）：n-gram 查找表内存映射驻留磁盘，显存只需容纳权重分片
llama-cli -m Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00001-of-00002.gguf -lm mmap --lazy-mode on -ngl 99 -p "Explain mixed-precision quantization."

# 多模态：加载 BF16 视觉投影器
llama-mtmd-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf --mmproj mmproj-Qwen3.8-27B-BF16.gguf --image photo.jpg -p "Describe this image."

命令来源：官方模型卡使用示例。

八、行业观察

第一，标量量化路线在 2-3 bit 区间实现精度反攻。 GSQ 论文的立场是：2-3 bit 下的精度差距源于优化不充分，向量量化的实现复杂度并非精度的必要代价。对本地部署生态而言，这一结论的价值在于内核兼容性——精度收益无需更换推理内核即可获得。论文给出的两个延伸（已有 GGUF 权重的二次提纯、万亿级 MoE 扩展）分别指向存量模型再利用与超大规模模型两个此前向量量化占优的场景。

第二，逐张量混合精度正在成为 GGUF 量化的新竞争维度。 据官方模型卡对比，Unsloth Dynamic 依据经验规则分配层与专家的量化档位，GSQ-RCO 则以真实任务损失为目标、以精确体积预算为约束做梯度搜索。RCO 论文声称同一构造适用于非均匀剪枝与专家选择，若成立，该方法的影响面可能超出权重量化本身。Flash-Next 的实测同时划出了该路线的边界：GGUF 格式无法按单个专家分配精度，MoE 模型只能按层指派；查找表类张量受块大小约束，可选项有限。分配自由度受部署格式约束，是该路线当前的天花板所在。

第三，量化结果的可审计性被提升为交付标准。 allocation 转储与 imatrix 随权重发布，意味着第三方可以逐张量复核量化决策。模型卡正文以模板形式组织（官方注明新模型发布仅需替换字段），显示该实验室已将此流程固化为可复用的发布管线。

第四，待观察的问题。 模型卡全部基准数据为发布方自评口径，第三方独立复测尚待积累；RCO 论文 9 月 27 日刚更新 v3，方法仍在迭代；2 bit 以下区间向量量化方法是否仍保持优势，官方数据未覆盖；官方对比对象为 Unsloth Dynamic，与其他动态量化方案的横向对比暂缺。