2026 年 11 月 15 日——华为计算系统实验室(Huawei Computing Systems Lab,CSL)于 11 月 10 日在 GitHub 开源模型量化工具 MACaQ,采用 Apache 2.0 协议。官方 README 给出的核心指标为:122B(1220 亿)参数模型量化耗时 64 分钟、峰值显存占用 32.5GB;Qwen3.8-27B 采用 W4A4 精度后,在 vLLM 中预填充速度提升至 2.33 倍、解码速度提升至 2.58 倍。

MACaQ 全称 Model Agnostic Calibrated Quantization(模型无关校准量化),定位面向本地推理的低比特量化,支持文本、图像、视频与音频模型,覆盖 llama.cpp、vLLM、Diffusers、PyTorch 四类后端。对应论文《MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations》已发布于 arXiv(编号 2611.10649),11 月 7 日首次提交、11 月 11 日更新 v2,作者为 Lorenz K. Muller、Philippe Bich 等 6 人。截至发稿,仓库 GitHub 星标 297。

层内局部设计与流式量化

据论文介绍,MACaQ 是一种 MXFP4 W4A4 训练后量化方法,对每个线性层独立处理:激活在线执行逐通道缩放与块 Hadamard 变换,对应的逆变换吸收进权重,变换不跨层传播。这一设计使量化过程可以流式执行,任一时刻只需一层驻留显存,32.5GB 的显存占用即由此而来。需要说明的是,该数字是量化阶段的显存开销,并非量化后模型运行所需的推理显存。

为改善最近舍入(round-to-nearest)带来的精度损失,MACaQ 引入 Flip-Refinement 精化步骤,以 Hessian 感知的坐标下降将单个 FP4 编码贪心移动到相邻可表示值。论文在 Qwen3-32B、vLLM、batch 1、上下文 512 条件下测得,在线变换相对纯 MXFP4 仅增加 2.3% 的端到端开销。

数据与规格

官方 README 与论文给出的核心数据如下:

项目 数据
122B 参数模型量化耗时 64 分钟
量化峰值显存 32.5GB
对比方案 MR-GPTQ、DuQuant++
精度对比 困惑度低于上述两方案
量化时间对比 Llama-3-8B 上以 11 倍更少的时间达到两方案最佳困惑度
在线变换开销 2.3%(Qwen3-32B,vLLM)

Qwen3.8-27B 在 vLLM 中的质量与速度对比(BF16 为 1×,官方 README 数据):

精度 困惑度 预填充 解码
BF16 2.8463 1.00× 1.00×
MACaQ W4A4 2.8994 2.33× 2.58×

官方博客另给出 llama.cpp 运行时下 Qwen3.8-27B 的解码速度数据:相对 FP16 原模型提速 2.74 倍。各后端支持的模态与精度如下:

后端 模态 精度与格式
llama.cpp 文本生成 2/3/4-bit GGUF,支持 CPU 执行
vLLM 文本生成与服务 W4A4(默认)或仅权重量化
Diffusers 图像、视频、音频生成 W4A4,保存 safetensors 检查点
PyTorch 语音生成 W4A4,检查点可重复加载无需重新校准

MACaQ-R 与已有 GGUF 精化

除量化新模型外,MACaQ 还提供精化模块 MACaQ-R,可在保留 GGUF 原生格式与块缩放因子的前提下,对已量化模型的权重码本再优化,产物可直接用标准 llama.cpp 运行,无需额外依赖。官方给出的 Qwen3.6-35B-A3B 对比中,同为 22.36GB 的 Q4_K_XL 档位,MACaQ-R 相对 FP16 的 KL 散度为 0.013367,低于 Unsloth UD-Q4_K_XL 的 0.015731。精化后的 GGUF 已上架 Hugging Face(huawei-csl/Qwen3.6-35B-A3B-MACaQ-R-GGUF)。

开源获取与生态适配

MACaQ 仓库位于 github.com/huawei-csl/MACaQ,要求 Linux 与 Python 3.12,每个推理后端使用独立环境;官方博客(huawei-csl.com/blog/macaq)与 Hugging Face 模型合集(huawei-csl/macaq)同步上线,博客另展示了 3D 重建模型 MapAnything 的 W4A4 量化示例。昇腾适配方面,官方已将 W4A4 稠密与分组矩阵乘内核提交至 CANN 的 ops-nn(PR #12568,PTO-ISA 实现)与 ops-tilelang(PR #44,TileLang 实现)仓库,完整模型执行仍需集成昇腾推理运行时。

上述性能与精度数据均为官方 README 与论文自报口径,实际表现可能因硬件、校准数据与评测设置不同而变化。对本地推理用户而言,MACaQ 将 122B 级模型的量化显存门槛压至 32.5GB,配合 llama.cpp 的 2/3/4-bit GGUF 输出与 MACaQ-R 精化,为 GGUF 低比特推理提供了一条从量化到部署的完整开源路径,其实际效果仍有待更多第三方复现验证。