2026 年 10 月 14 日——Fish Audio 于 10 月 13 日发布新一代文本转语音(TTS)模型 Drama 3 并开放权重:模型总参数 35B、每 token 激活 3B,支持 83 种语言与逐词情感控制,自部署遵循 Community License v1.0(用户及关联实体年收入低于 50 万美元可免费商用),API 折后价每百万字符 10 美元(优惠至 11 月 12 日)。权重已上架 Hugging Face(fishaudio/drama-3),技术报告以 arXiv 2610.18010 同步发布。
导演式语音控制与逐词编辑
据官方公告与模型卡,Drama 3 面向多角色场景与长篇内容,延续 S2 系列的自然语言控制能力,并在可编辑性上新增多项能力:
- 多轮导演修订:对上一次生成结果直接下指令(如"更温柔一点、再悲伤一点"),模型带着上下文重新演绎,而非从头生成。
- 逐词标签控制:方括号内可放置指令、拟声与停顿,成对标签可将耳语、强调、放慢等效果限定到选定的单个词或短语;官方还提供 Auto Tag 功能,为脚本自动建议初始标签。
- 句内语气切换:同一段话可从平静转为惊慌,无需按情绪分段多次生成。
- 音频修补(audio inpainting):像改文本一样改语音,替换单个词(如 Wednesday 改为 Thursday)而保持周围音色与过渡自然,支持多轮连续编辑。
- 场景式多角色:单条文本内最多 16 个说话人标签(
<|speaker:0|>至<|speaker:15|>),一次生成完整对话场景。 - 强情绪表现:官方称笑声、哭腔、耳语等表现不再被参考音频抹平。
Fish Audio 联合创始人兼 CEO Rissa Cao 在发布公告中表示:"语音 AI 生成语音已经做得很好,下一步是导演一场表演。"官方另称,Drama 3 在 Artificial Analysis 的发音鲁棒性评测中位列第一。
模型规格与推理性能
模型采用 MoE(混合专家)文本骨干与混合注意力(全注意力加线性注意力),音频侧为新设计的 Codebook-MTP 解码器,对 10 组 codebooks 沿全序列因果解码;MoE 专家采用 FP8 量化,其余权重为 bf16。据模型卡,权重共 8 个 safetensors 分片,约 41.5 GB。
| 项目 | 数据 |
|---|---|
| 总参数量 | 35B(safetensors 计 35,899,643,008) |
| 每 token 激活参数 | 3B |
| 支持语言 | 83 种 |
| 单文本说话人上限 | 16 个 |
| 权重体积 | 8 个分片,约 41.5 GB |
| 训练方法 | 三阶段预训练、指令微调、大批量强化学习(唯一奖励为单一习得的人类偏好模型) |
| 单流解码速度 | 271 帧/秒(单张 H200),上一代 S2 为 177 帧/秒 |
| 首音频延迟(TTFA) | 并发 1 时 p50 为 88.9 毫秒 |
| 并发 64 吞吐 | 1,687.3 帧/秒,平均 RTF 0.801 |
据 arXiv 技术报告,尽管 Drama 3 参数量为上一代 S2 的七倍以上,单流解码速度仍从 S2 的 177 帧/秒提升至 271 帧/秒(H200 实测)。模型卡显示,官方推荐通过 SGLang-Omni 引擎部署,发布首日即提供适配与流式部署文档。
权重与相关仓库地址:
- HuggingFace 模型仓库(权重与许可文件):https://huggingface.co/fishaudio/drama-3
- fish-speech 代码仓库(推理代码与文档):https://github.com/fishaudio/fish-speech
- 技术报告(arXiv 2610.18010):https://arxiv.org/abs/2610.18010
- SGLang-Omni 部署文档(Drama 3 Cookbook):https://sgl-project.github.io/sglang-omni/cookbook/fishaudio_drama3.html
Community License v1.0:分级商用许可
模型权重与 fish-speech 代码库均按 Fish Audio Community License v1.0(2026 年 10 月 13 日更新)发布,版权主体为 39 AI, INC.。许可条款分三级:
| 使用场景 | 条款 |
|---|---|
| 研究与非商业用途 | 免费,可使用、修改与再分发 |
| 商业用途(年收入低于 50 万美元) | 免费;年收入按用户与关联实体合计计算 |
| 年收入达到或超过 50 万美元 | 需在 30 天内书面告知 Fish Audio,有 90 天过渡期,之后需另行签订商业许可 |
| 对外提供托管服务 | 无论年收入多少,均需另行书面许可 |
托管服务(Hosted Service)指让第三方以其提供的文本、音频或声音样本生成语音的对外服务,包括 API、模型托管及以 TTS、配音、语音克隆为主要功能的网站或应用。为自有产品生成语音(如应用内角色配音、旁白)不属于托管服务。
许可同时要求:再分发时保留版权声明,并在网站或文档显著位置标注"Built with Fish Audio";模型输出归用户所有;未经本人同意不得克隆可识别的真人声音;不得用该模型训练或蒸馏其他基础生成式模型或语音模型。上一代旗舰 S2-Pro(4B 参数)权重仍按原 Fish Audio Research License 发布,不随本次许可变更。
平台上线与限时定价
官方公告称,Drama 3 已在 Fish Audio 应用(网页端与 iOS、Android 移动端)及 API 同步上线,API 模型标识为 drama-3-preview,支持 WAV、PCM、MP3、Opus 输出格式。价格方面:
| 项目 | 数据 |
|---|---|
| API 标准价 | 每百万字符 50 美元 |
| 限时折扣价 | 每百万字符 10 美元(较标准价优惠 80%,据官方公告为上线首 30 天 API 用量优惠) |
| 优惠截止 | 2026 年 11 月 12 日 |
| 换供应商激励 | 合格企业从其他语音服务商切换可获 3 个月免费使用 |
Fish Audio 同时披露,公司现服务超过 1500 万用户,年经常性收入达 2100 万美元(公司口径)。需要注意的是,官方产品页与 API 文档目前仍将 Drama 3 标注为 preview 预览版,官方提示不同批次生成结果存在差异,模型仍将持续调整。
举手提问