2026 年 10 月 26 日——腾讯混元今日发布并开源同声传译大模型 Hy-SimulMT(规格 30B-A3B,模型权重以 Apache 2.0 许可证开源),支持中英双向语音到语音实时翻译:模型以流式方式持续接收说话人音频,边听边译,同步输出译文文本与合成语音,并集成实时音色克隆能力,在目标语言中保留原说话人的音色与语气。官方模型卡数据显示,在长音频开源评测集 RealSI 上,该模型的流式翻译延迟指标 StreamLAAL 约 3 秒,为参评系统最低;翻译质量得分(GEMBA)超过参评开源模型和 5 家商用 API 中的 4 家。
模型已在腾讯 Hy 翻译 App(Android/iOS)首发上线,免费提供体验;开源侧同步放出模型权重、SimulInfer 推理服务与 SimulTrain 训练工具。
1. 开源资产:6 个模型仓库与推理训练工具
模型权重已在 Hugging Face 与 ModelScope 同步上架,共 6 个仓库(据官方模型卡 Model Links 表):
| 模型变体 | 输出方式 | 格式 |
|---|---|---|
| Hy-SimulMT-30B-A3B | 仅输出译文 | 原生权重 |
| Hy-SimulMT-30B-A3B-FP8 | 仅输出译文 | FP8 量化 |
| Hy-SimulMT-30B-A3B-GGUF | 仅输出译文 | GGUF |
| Hy-SimulMT-30B-A3B-Interleave | 原文与译文输出 | 原生权重 |
| Hy-SimulMT-30B-A3B-Interleave-FP8 | 原文与译文输出 | FP8 量化 |
| Hy-SimulMT-30B-A3B-Interleave-GGUF | 原文与译文输出 | GGUF |
GitHub 仓库 Tencent-Hunyuan/Hy-SimulMT 提供 SimulInfer 推理服务(网页界面、音频文件上传、WebSocket 实时音频输入、可选 TTS 音色克隆输出)与 SimulTrain 训练工具;语音输出与音色克隆需另行配置 TTS 服务。
2. 评测数据:延迟最低档,质量超多数商用 API
长音频评测(RealSI):官方在开源长音频同传评测集 RealSI 上,将 Hy-SimulMT 与多个开源同传模型及商用 API 横向对比。图中横轴 StreamLAAL 为流式翻译延迟指标(单位秒,越低越好),反映模型输出译文相对输入音频的滞后时长;纵轴为 GEMBA 翻译质量分(越高越好,官方介绍称由 GPT-6.1-Sol 打分)。Hy-SimulMT 的 StreamLAAL 约 3 秒,为参评系统最低,GEMBA 得分超过参评开源模型与 5 家商用 API 中的 4 家。官方同时注明:StreamLAAL 不等于首句语音输出的等待时间。另据官方介绍(IT之家转述),人类专业同传译员的平均反应时间为 4-5 秒。
短音频基准:官方在 FLEURS、CoVoST2、ACL6060、RealSI-Sentence 四个公开短音频基准上测试了 Hy-SimulMT 与多个同传系统(据官方模型卡,分数越高越好):
| 系统 | FLEURS | CoVoST2 | ACL6060 | RealSI-Sentence |
|---|---|---|---|---|
| Qwen3.8-LiveTranslate | 88.4 | 82.1 | 80.5 | 84.4 |
| Hy-SimulMT | 90.3 | 75.5 | 81.2 | 84.7 |
| Gemini3.5-LiveTranslate | 92.4 | 74.4 | 82.6 | 82.2 |
| Confucius4 R2T2→T3PO | 89.4 | 76.8 | 76.1 | 77.7 |
| Seed-LiveInterpret2.0 | 85.8 | 67.7 | 74.8 | 80.0 |
| SimulS2ST-Omni | 78.6 | 66.6 | 73.1 | 77.4 |
| GPT-Realtime-Translate | 77.7 | 50.8 | 76.4 | 76.7 |
| 讯飞 Simult-Interpretation | 73.4 | 57.0 | 57.5 | 70.9 |
| SeamlessStreaming | 72.8 | 60.9 | 49.8 | 56.9 |
官方说明:表中开源模型里,Hy-SimulMT 在 FLEURS、ACL6060、RealSI-Sentence 三项得分领先,其中 RealSI-Sentence 的 84.7 分为全部参评系统最高;CoVoST2 一项低于 Qwen3.8-LiveTranslate 与 Confucius4。
真实音频人机对比:研发团队收集了 18 段 2026 年 9 月以来互联网新出现的中英文音频,每段约 6 分钟,覆盖软件与 AI、医学、制造与能源、自然科学、农业与食品、商务管理、法律、教育、文化与文旅、体育与生活共 10 个领域,涉及演讲、访谈、会议等场景;并邀请 6 位职业同传译员对照翻译(3 位持 CATTI 一级口译证书、3 位持 CATTI 二级口译证书,每个证书级别取 3 人中的最高分参与对比)。官方结论为:在该小规模能力评估中,Hy-SimulMT 翻译质量与人类同传专家持平,且通常响应更快(延迟更低)。官方同时限定:该结论仅适用于本次测试使用的样本、译员与评测设置,不构成对语音质量、音色相似度等维度的综合评估。
3. 模型架构与本地部署
模型权重仓库的 config 文件显示,Hy-SimulMT 基于 hy_v3 架构(HYV3SpeechForCausalLM),采用 MoE(混合专家)结构:128 个路由专家、每 token 激活 8 个,另有 1 个共享专家,48 层 Transformer,上下文长度 262144(约 25.6 万 token);模型内置 24 层音频编码器,按 16kHz 采样率处理 128 mel 频带音频。规格后缀 30B-A3B 遵循 MoE 命名惯例,即总参数约 30B、激活参数约 3B。
本地部署方面,官方推荐 vLLM(0.31 及以上版本,需支持 HYV3ForCausalLM 架构)运行模型,SimulInfer 提供一键部署脚本,默认网页/API 端口 8080、模型端口 8800;llama.cpp 对该模型的支持尚未合入官方仓库,GGUF 权重已先行提供,官方建议等待支持该架构的 llama.cpp 新版本发布后再使用。
官方模型卡收录了广东外语外贸大学高级翻译学院副院长王巍巍、该校原校长仲伟合教授的评价:前者称模型目标语语音自然、采取先开口后自我修正的策略,接近人类译员的工作方式;后者认为模型在语音识别稳定性、响应速度与口语译文质量上表现出较高的工程成熟度(官方收录口径)。
举手提问