2026 年 10 月 14 日——Fish Audio 于 10 月 13 日发布新一代文本转语音(TTS)模型 Drama 3 并开放权重:模型总参数 35B、每 token 激活 3B,支持 83 种语言与逐词情感控制,自部署遵循 Community License v1.0(用户及关联实体年收入低于 50 万美元可免费商用),API 折后价每百万字符 10 美元(优惠至 11 月 12 日)。权重已上架 Hugging Face(fishaudio/drama-3),技术报告以 arXiv 2610.18010 同步发布。

导演式语音控制与逐词编辑

据官方公告与模型卡,Drama 3 面向多角色场景与长篇内容,延续 S2 系列的自然语言控制能力,并在可编辑性上新增多项能力:

  • 多轮导演修订:对上一次生成结果直接下指令(如"更温柔一点、再悲伤一点"),模型带着上下文重新演绎,而非从头生成。
  • 逐词标签控制:方括号内可放置指令、拟声与停顿,成对标签可将耳语、强调、放慢等效果限定到选定的单个词或短语;官方还提供 Auto Tag 功能,为脚本自动建议初始标签。
  • 句内语气切换:同一段话可从平静转为惊慌,无需按情绪分段多次生成。
  • 音频修补(audio inpainting):像改文本一样改语音,替换单个词(如 Wednesday 改为 Thursday)而保持周围音色与过渡自然,支持多轮连续编辑。
  • 场景式多角色:单条文本内最多 16 个说话人标签(<|speaker:0|> 至 <|speaker:15|>),一次生成完整对话场景。
  • 强情绪表现:官方称笑声、哭腔、耳语等表现不再被参考音频抹平。

Fish Audio 联合创始人兼 CEO Rissa Cao 在发布公告中表示:"语音 AI 生成语音已经做得很好,下一步是导演一场表演。"官方另称,Drama 3 在 Artificial Analysis 的发音鲁棒性评测中位列第一。

模型规格与推理性能

模型采用 MoE(混合专家)文本骨干与混合注意力(全注意力加线性注意力),音频侧为新设计的 Codebook-MTP 解码器,对 10 组 codebooks 沿全序列因果解码;MoE 专家采用 FP8 量化,其余权重为 bf16。据模型卡,权重共 8 个 safetensors 分片,约 41.5 GB。

项目 数据
总参数量 35B(safetensors 计 35,899,643,008)
每 token 激活参数 3B
支持语言 83 种
单文本说话人上限 16 个
权重体积 8 个分片,约 41.5 GB
训练方法 三阶段预训练、指令微调、大批量强化学习(唯一奖励为单一习得的人类偏好模型)
单流解码速度 271 帧/秒(单张 H200),上一代 S2 为 177 帧/秒
首音频延迟(TTFA) 并发 1 时 p50 为 88.9 毫秒
并发 64 吞吐 1,687.3 帧/秒,平均 RTF 0.801

据 arXiv 技术报告,尽管 Drama 3 参数量为上一代 S2 的七倍以上,单流解码速度仍从 S2 的 177 帧/秒提升至 271 帧/秒(H200 实测)。模型卡显示,官方推荐通过 SGLang-Omni 引擎部署,发布首日即提供适配与流式部署文档。

权重与相关仓库地址:

  • HuggingFace 模型仓库(权重与许可文件):https://huggingface.co/fishaudio/drama-3
  • fish-speech 代码仓库(推理代码与文档):https://github.com/fishaudio/fish-speech
  • 技术报告(arXiv 2610.18010):https://arxiv.org/abs/2610.18010
  • SGLang-Omni 部署文档(Drama 3 Cookbook):https://sgl-project.github.io/sglang-omni/cookbook/fishaudio_drama3.html

Community License v1.0:分级商用许可

模型权重与 fish-speech 代码库均按 Fish Audio Community License v1.0(2026 年 10 月 13 日更新)发布,版权主体为 39 AI, INC.。许可条款分三级:

使用场景 条款
研究与非商业用途 免费,可使用、修改与再分发
商业用途(年收入低于 50 万美元) 免费;年收入按用户与关联实体合计计算
年收入达到或超过 50 万美元 需在 30 天内书面告知 Fish Audio,有 90 天过渡期,之后需另行签订商业许可
对外提供托管服务 无论年收入多少,均需另行书面许可

托管服务(Hosted Service)指让第三方以其提供的文本、音频或声音样本生成语音的对外服务,包括 API、模型托管及以 TTS、配音、语音克隆为主要功能的网站或应用。为自有产品生成语音(如应用内角色配音、旁白)不属于托管服务。

许可同时要求:再分发时保留版权声明,并在网站或文档显著位置标注"Built with Fish Audio";模型输出归用户所有;未经本人同意不得克隆可识别的真人声音;不得用该模型训练或蒸馏其他基础生成式模型或语音模型。上一代旗舰 S2-Pro(4B 参数)权重仍按原 Fish Audio Research License 发布,不随本次许可变更。

平台上线与限时定价

官方公告称,Drama 3 已在 Fish Audio 应用(网页端与 iOS、Android 移动端)及 API 同步上线,API 模型标识为 drama-3-preview,支持 WAV、PCM、MP3、Opus 输出格式。价格方面:

项目 数据
API 标准价 每百万字符 50 美元
限时折扣价 每百万字符 10 美元(较标准价优惠 80%,据官方公告为上线首 30 天 API 用量优惠)
优惠截止 2026 年 11 月 12 日
换供应商激励 合格企业从其他语音服务商切换可获 3 个月免费使用

Fish Audio 同时披露,公司现服务超过 1500 万用户,年经常性收入达 2100 万美元(公司口径)。需要注意的是,官方产品页与 API 文档目前仍将 Drama 3 标注为 preview 预览版,官方提示不同批次生成结果存在差异,模型仍将持续调整。