2026 年 11 月 8 日——llama.cpp 于 11 月 7 日 16:20(UTC)合并 PR #30966:MoE 缓存新增 --moe-cache-cpu-share 参数,缓存未命中的专家可按比例交给 CPU,直接从主机内存读取计算,不再上传显存;贡献者 am17an(Aman Gupta)的桌面实测中,6464 MiB 缓存下解码速度从每秒 24.2 token 升至 47.6 token,接近翻倍。该 PR 同时加入调参脚本 scripts/moe-cache-tune.py。
1. 机制:缓存未命中的专家改由 CPU 计算
llama.cpp 允许把 MoE 专家留在主机内存、只把其余权重放进显存,入口包括 -cmoe(--cpu-moe)、-ncmoe(--n-cpu-moe)与 -ot(--override-tensor)。10 月 15 日发布的 v0.7.0 引入 MoE 缓存 --moe-cache-mib(PR #29887),把解码阶段最常用的专家留在显存,官方称专家卸载场景下解码最高提速约 2.2 倍。
此前的路径是:缓存未命中的专家从主机内存上传到显存,再由 GPU 计算;显存越小、缓存越小,同一批专家被反复上传的次数越多。新参数在缓存填满后生效,按比例 F 把未命中专家交给 CPU,GPU 只计算命中部分与其余未命中部分,两条结果在下投影偏置前相加,并由调度器异步合并。省掉的是重复上传显存,主机内存读取仍然存在;参数默认值为 0,缓存填满前仍会上传全部未命中专家。
2. 实测:小缓存接近翻倍,大缓存收益收窄
PR 给出的桌面测试使用 Qwen3.8-Flash-Next 的 IQ4_NL 量化,专家占主机内存 64800 MiB,CUDA0 剩余 92658 MiB,缓存上限 24000 MiB;预热 4096 token 后每次生成 1024 token,结果如下:
| 缓存大小 | CPU 分担比例 | 解码速度 | 缓存命中率 |
|---|---|---|---|
| 6464 MiB | 0 | 24.2 t/s | 73.3% |
| 6464 MiB | 0.5 | 29.6 t/s | 63.4% |
| 6464 MiB | 0.95 | 47.6 t/s | 61.5% |
| 19392 MiB | 0 | 65.5 t/s | 93.5% |
| 19392 MiB | 0.5 | 66.4 t/s | 91.9% |
| 19392 MiB | 0.95 | 54.1 t/s | 71.6% |
小缓存下收益最明显:6464 MiB 缓存、0.95 的分担比例把速度从 24.2 t/s 提升到 47.6 t/s,提升约 97%;缓存增大到 19392 MiB 后,0.5 的分担比例只带来约 1.4% 的提升,0.95 反而降至 54.1 t/s。该机器上传带宽为 9.6 GiB/s,CPU 读取专家速度为 48.7 GiB/s,约为前者的 5 倍。缓存增至 24000 MiB 后,脚本推荐关闭 CPU 分担,预测 83.0 t/s;0.95 分担为 85.6 t/s,按“5% 以内选最低比例”的规则仍选 0。
3. 调参脚本与适用范围
PR 新增的 scripts/moe-cache-tune.py 可放在 llama-server 命令前运行:
python3 scripts/moe-cache-tune.py -- build/bin/llama-server -m model.gguf -cmoe -t 8 -c 32768
脚本启动 6 次服务,组合两种缓存大小与 0、0.5、0.95 三档分担比例,先拟合机器的上传与 CPU 读取速度,再预测其他配置并给出推荐参数。文档称全程约几分钟,主要耗时在加载模型;脚本另提供 --markdown 等选项。
据项目文档,CPU 分担是否有效取决于 CPU 读取主机专家与设备上传专家的速度对比:内存带宽高、使用 PCIe 4.0 链路时更容易获益;专家通过 -lm none、-lm mlock、-lm dio 锁定时,上传可按链路满速进行,CPU 分担往往没有优势。该功能仅适用于 MoE 模型,且需要先把专家放在主机内存并启用大于 0 的 MoE 缓存。方案为纯软件改动,不需要新购 GPU;截至发稿,最新稳定版 v0.9.0 发布于 11 月 4 日,尚未包含该参数,功能位于主干与每日构建中。
数据来源:llama.cpp PR #30966、仓库文档 docs/moe-cache.md、v0.7.0 与 v0.9.0 发布说明。
评论