2026 年 11 月 5 日——面向 Qwen3.8-Flash-Next 混合专家模型的本地推理引擎 Basalt 于 11 月 3 日发布 v0.2.1,这是该项目自 10 月 29 日首个正式版 v0.1.0 后的第三次版本发布;项目 fork 自 40393 星(截至 11 月 5 日)的推理引擎 Strata,自身 GitHub 星标已达 616,社区统一口径实测榜上单张 RTX 5090 解码速度最高 564.5 tokens/s。

项目概况与技术路线

Basalt 是独立开发者 Jesús Gulfo 主导的 C++ 开源项目,MIT 协议,仓库于 10 月 6 日创建。它 fork 自推理引擎 Strata,定位为 Qwen3.8-Flash-Next 的专用本地推理引擎,v0.2.0 的致谢名单列有 18 位社区贡献者。

硬件与运行环境方面,Basalt 仅支持 NVIDIA Blackwell 架构显卡(计算能力 12.0,即 sm_120)与 CUDA 13,覆盖 Linux x86-64 与 Windows x64;CPU 侧要求 AVX2 起步,AVX-512 存在时自动启用。核心设计是把显存放不下的专家权重驻留系统内存,并可再挂一块显卡作为对等专家层(最多三层专家缓存),让消费级单卡也能承载完整模型。服务端提供 OpenAI 与 Anthropic 兼容 API(chat、messages、responses、count_tokens),工具调用与 JSON schema 输出默认由语法约束在解码期强制生效,MTP 起草器每个窗口最多提议 8 个 token,官方文档称未开启宽松起草时输出与普通解码完全一致。项目另附网页 UI、统计页与 basalt-probe 测机工具(自动测量机器并给出建议参数)。

基座模型背景:据 Qwen 官方 Hugging Face 仓库 config.json,Qwen3.8-Flash-Next 为 512 专家、每 token 激活 10 个的 MoE 架构,48 层中 36 层线性注意力搭配 12 层全注意力,上下文长度 262144。默认量化包体积 122.64 GiB,消费级单卡必然依赖内存承载溢出专家,这正是 Basalt 专家分层设计的用武之地。

单文件模型包与量化方案

模型被打包为单个 .basalt 文件,内含权重、分词器、MTP 起草器、8-bit 超连接副本与视觉投影器。9 个即用包托管在 Hugging Face 仓库 jesdga/Qwen3.8-Flash-Next-Basalt,截至 11 月 5 日下载量 18、点赞 51。

模型包 体积(GiB) 说明
NVFP4-DQ6_K(默认) 122.64 NVIDIA 官方 NVFP4 专家加 Q6_K 稠密投影,速度优先
NVFP4-DQ8 123.28 同 NVFP4 专家加 Q8_0 稠密投影,KLD 更低、散文慢约 7%
UD-Q4_K_XL / UD-Q5_K_XL / UD-Q6_K_XL 107.39 / 151.12 / 161.25 基于 unsloth UD 系列量化
Q8_0 179.00 基于 unsloth Q8_0 量化
GSQ-RCO-IQ3_S / IQ3_XXS / Q2_0 81.62 / 74.38 / 65.56 基于 IST 奥地利科学研究所 DAS Lab 的 GSQ-RCO 量化

三个版本的迭代节奏

v0.1.0(10 月 29 日,首个正式版):对话落盘功能让 100K token 对话在重启后约 0.5 秒恢复,对比约 10 秒的全量重读;--idle-sleep 空闲时释放显存,下次请求约 4 秒唤醒,对比约 40.6 秒冷加载;Windows 原生 x64 移植并纳入 CI 测试;basalt-probe 测机工具同期上线。

v0.2.0(11 月 1 日):.basalt 文件格式升级 v2,旧版包可本地迁移,无需重新下载或重新量化,启动省约 0.5 秒。解码速度较 0.1.0 约提升 13%——官方口径为 RTX 5090@400W 加 RTX 5060 Ti@180W、NVFP4 包:散文解码从 297 提至约 330-337 tokens/s,结构化输出从 558 提至约 600 tokens/s,贪心输出保持完全一致。新增默认关闭的有损开关(--route-prior、--route-tail-skip、--relaxed-drafting),开启时启动打印警告。另加入思考循环保护:思考过程中连续重复同一 token 256 次即终止思考并转入作答。

v0.2.1(11 月 3 日):图像来源安全收紧,外部机器的请求仅限 data: URL 与白名单主机、目录,图像上限 32 MiB、64 兆像素。质量首次给出对照 BF16 参考的 KLD 口径:同一 Q8_0 权重下 Basalt 为 0.0200,llama.cpp 为 0.0325。NVFP4 提示路径的 4-bit 激活在 2K 提示下 KLD 约 0.002(8K 提示未收敛),换取 prefill 提速 17-19%。新增 NVFP4-DQ8 包,KLD 0.0561 对默认 DQ6_K 的 0.0624。

社区统一口径实测榜

官方社区榜要求以 basalt-bench --community 同一预设提交数据,截至 11 月 1 日共 37 行(日期跨度 10 月 22 日至 11 月 1 日),代表性配置如下。

提交人 配置 量化包 解码 tokens/s Prefill 16K tokens/s 日期
drakiss79 单卡 RTX 5090 32GB@500W IQ3_XXS 564.5 8784.2 10-24
BobbyL2k 2×RTX 5090@400W NVFP4 553.6 8233.0 11-01
beastrobin RTX PRO 6000 Blackwell 96GB@600W NVFP4 498.3 9522.6 11-01
jesdga95(作者) RTX 5090@400W + RTX 5060 Ti@180W NVFP4 437.5 7741.2 10-25
lindworm-hermes2026 单卡 RTX 5080 16GB(WSL2) IQ3_S 137.9 3179.8 10-22

榜单还收录 2×RTX 5060 Ti(16GB×2)等更低配置。单卡 RTX 5080 16GB 行的备注显示 46.8 GiB 专家驻留系统内存、显存仅承载约 18%;榜单要求系统内存足以容纳溢出专家,否则基准直接拒绝出数,数据不允许从 SSD 读取。564.5 tokens/s 的最高值来自更激进的 IQ3_XXS 量化包,NVFP4 默认包口径下单卡速度见作者行。

部署门槛与已知限制

部署需从源码构建:CMake 3.24 以上、GCC 13 以上、CUDA 13、Python 3.10 以上,Release 页明确标注 Build from source,当前无预编译二进制。仅支持 sm_120 意味着 Ampere、Hopper、Ada 等旧架构显卡无法使用;视觉投影器可放在非 sm_120 的副卡或 CPU 侧车上运行。模型包遵循 Qwen Community License 1.0,引擎的 MIT 协议不覆盖模型权重。Windows 平台的已知限制以官方 platforms 文档为准。