2026 年 11 月 14 日——Liquid AI 于 11 月 12 日开源流式音频编解码器 LiquidCodec,约 74M 参数,可将人类语音压缩为离散 token 并实时还原为音频;在苹果 M4 Max 的单个 CPU 线程上,编码与解码速度分别约为实时的 361 倍与 87 倍。

LiquidCodec 是 Liquid AI 于 10 月底发布的 LFM3-Audio-2B 与 LFM3-Omni-2B 两款端侧音频模型背后的音频分词器,权重已在 Hugging Face 以 LFM Open License v1.0 许可发布。据官方博客《LiquidCodec: High-Fidelity Audio Tokenization Optimized for Speed》,这是 Liquid AI 首个完全自研的音频编解码器,取代了此前音频模型使用的第三方 Mimi 编解码器。

GFSQ 量化支持并行预测

传统神经音频编解码器多采用残差向量量化(RVQ),每个码本依赖前一码本的残差,语音模型只能按顺序逐码本生成。LiquidCodec 改用分组有限标量量化(GFSQ),将特征分组后独立量化,码本之间不存在顺序依赖,语音模型可以并行预测同一帧的全部 12 个码本。官方博客表示,配合完全因果的对称编码器/解码器与直接预测频谱系数的设计,LiquidCodec 避免了学习式转置卷积渐进上采样等高开销操作,面向实时低延迟的流式场景优化。

规格与速度数据

据官方模型卡,LiquidCodec 的核心规格如下:

项目 数据
参数量 约 74M
架构 LFM3 对称全因果编码器/解码器 + GFSQ 量化
输入/输出 24 kHz 单声道语音
帧率 12.5 Hz(每帧 80 毫秒)
每帧 token 数 12(每个码本 1 个)
比特率 约 1.65 kbps
流式能力 支持流式编码与解码
训练数据 26.4 万小时,覆盖 107 种语言
许可证 LFM Open License v1.0

速度对比口径为 FP32 精度、苹果 M4 Max 单 CPU 线程推理,RTF 为处理时长除以音频时长,数值越低越快(据官方博客):

编解码器 码本数 编码 RTF 解码 RTF
LiquidCodec 12 0.0028 0.0115
X-Codec 2 1 0.7359 0.0379
NanoCodec 13 0.2145 0.2543
Mimi(截断至 12 码本) 12 0.0361 0.0329

LiquidCodec 的编码与解码速度在四个对比编解码器中均最快,编码 RTF 约为 Mimi 的 1/13、X-Codec 2 的 1/263。

重建保真度与语音生成效果

训练分两阶段:第一阶段用 26.4 万小时、107 种语言的数据做重建预训练,不使用对抗损失;第二阶段在 5.5 万小时高保真语音上用对抗损失微调,消除预训练残留的金属感伪影。官方评估显示,在 LibriSpeech test-clean、Seed-TTS 中英文、FLEURS 德法中日韩共 8 个重建测试集上,LiquidCodec 的 ViSQOL 感知音质得分均为最高、梅尔距离均为最低。

在固定 10.1 万小时训练数据、6 种语言与相同算力预算的零样本 TTS 对照实验中,基于 LiquidCodec token 训练的模型在全部 8 个测试集上取得最高的 UTMOSv2 自然度得分,并在其中 4 个测试集上取得最佳 WER/CER 可懂度;将骨干模型从 LFM3-1.7B 换成 Qwen3-1.7B 后结论一致。经仅解码器的量化感知训练(QAT)后,Q4_0 解码器体积缩小 3.5 倍,ViSQOL 与梅尔距离仍领先对比编解码器。

开源获取与部署方式

Hugging Face 仓库 LiquidAI/Liquid-Codec 提供 BF16 权重与模型实现代码,可通过 Transformers 的 LiquidCodecModel 原生加载,并附带流式解码缓存接口。Q4_0、Q4_K_M、Q8_0 三档解码器量化版本不单独发布,随 LFM3-Audio-2B-GGUF 与 LFM3-Omni-2B-GGUF 仓库提供,供 llama.cpp 做端侧推理。许可证允许年收入低于 1000 万美元的实体商业使用,超过该门槛的实体需另行获得商业授权,符合条件的非营利组织用于非商业或研究目的不受门槛限制。截至发稿,该仓库下载量约 9.8k,点赞 84。

自研编解码器补齐端侧语音链路

Liquid AI 的音频模型经历了三步编解码器演进:LFM2-Audio-1.5B 使用第三方 Mimi(约 96M 参数、1.1 kbps),LFM2.5-Audio-1.5B 仅替换解 token 器即实现 8 倍解码提速,LiquidCodec 则将分词器与解 token 器全部自研。官方博客表示,自研让语音表征可以与使用它的模型同步演进,使高质量语音交互成为端侧 AI 的标准能力。需要注意的是,LiquidCodec 目前仅针对语音训练与评估,官方尚未验证其在音乐、歌声与环境声音上的表现。