2026 年 11 月 10 日——AI降临派(Adventists AI)于 11 月 9 日在魔搭社区首发开源全双工语音模型 Sophon-Realtime v1。该系列 Tag、Flash、E2E 三个版本共用同一个 32B 大脑,差别只在回复如何变成声音;模型权重与推理代码采用 Apache-2.0 许可,允许商用。官方公布的评测显示,其 VoiceBench 得分 82.8、Big Bench Audio 准确率 81.8%,官方称两项均居开源全双工模型第一。
与回合制的语音助手不同,Sophon-Realtime 在用户说话时持续接收音频,用户一停顿即接话,被插话时立即停止并回应新问题。官方称模型可从声音中识别犹豫、情绪、重音、笑声与叹气,回复时也会在合适位置笑、叹气、换气或清嗓子。模型页显示,该系列参数量为 36.37B,仓库体积 79.00 GB,系列主页更新时间为 11 月 9 日。
三个版本共用一个大脑
模型页说明,v1 系列的三个版本由同一个 32B 模型负责听、判断接话时机和撰写回复,区别仅在于回复的出声方式。
| 版本 | 回复如何变成声音 | 单路首包 | 每张 80 GB 显卡建议并发 | 显卡 |
|---|---|---|---|---|
| Tag(推荐) | 大脑写出带声音标签的回复,由表现力强的语音模型演绎 | 约 0.6 秒 | 16 路 | 1 张 |
| Flash | 同样的带标签回复,交由更轻、更快的语音模型说出 | 0.31 秒 | 40 路 | 1 张 |
| E2E(研究预览) | 32B 模型内部的说话头直接生成声音向量,无需独立语音模型 | 约 1 秒 | 4 至 5 路 | 2 张 |
Tag 与 Flash 基于 vLLM-Omni 部署,一张 80 GB 显卡(H100、H800 或 A100 80G)加一条命令即可运行;E2E 使用自研引擎,定位为端到端表达的研究预览。
全双工交互机制
官方介绍,模型在每次停顿处只用单个 token 判断用户状态,区分说完了、还在说、在附和还是在思考,不需要再串联独立的语音识别、静音检测、话轮检测和语音合成模块。用户第一次停顿时,模型即开始起草回复,判断轮到自己时立刻开口;若用户继续说,草稿在被听到之前丢弃。
大脑撰写回复时会同步标出哪里该笑、叹气、换气、清嗓子以及哪个词该重读,Tag 与 Flash 由声音模型把这些标记演出来,不会念出标签。文字与声音并行流式生成,文字始终领先半步,因此每句回答都有可审计的文字记录。对话历史保存双方的真实音频,用户打断时只保留其已经听到的部分。模型还支持 Live 模式,接口兼容 OpenAI GPT-Live 格式,可把查询、办事类请求交给后端大模型处理。
评测数据
| 评测项 | Sophon-Realtime v1 | 其他开源全双工模型 | 闭源对比 | 口径 |
|---|---|---|---|---|
| VoiceBench | 82.8 | MiniCPM-o 4.5 76.1、Freeze-Omni 55.2、Moshi 29.5 | GPT-4o-mini-Audio 82.8、GPT-4o-Audio 86.8 | 官方评测器,gpt-4o-mini 判分 |
| Big Bench Audio | 81.8% | Raon SpeechChat 58%、Freeze-Omni 33%、PersonaPlex 19% | GPT-Live-1 90% | 自测,回答转写后由 gpt-4.1 判分 |
| Full-Duplex-Bench v3 Pass@1 | 48%,接话成功率 100% | Ultravox v0.7 41% | GPT-Realtime 60%、Gemini Live 3.1 54%、Grok 43% | 多次运行最好成绩 |
| 副语言理解合计 | 48.6 | — | Gemini 3.8 Flash 46.9、Qwen3-Omni 44.6 | LISTEN、StressTest、MSPB 合计 |
| NVV-SuperBench(中文、英文) | Tag 0.86、0.80;Flash 0.77、0.63;E2E 0.77、0.60 | — | — | F1 值,Gemini 3 Flash 判分 |
官方说明,VoiceBench 采用 AlpacaEval 199 题标准子集,其他模型分数来自 VoiceBench 榜单与 NemotronLabs VoiceChat 论文;Big Bench Audio 为 1,000 道语音推理题,其他模型数据来自 Artificial Analysis 榜单;Full-Duplex-Bench v3 为 100 题真人不流利语音加多步工具调用。上述成绩均为官方自测口径,截至发稿尚无第三方复现。
部署、微调与许可
Tag 版可通过 pip install sophon-realtime 安装,要求 Python 3.12、Linux 与 CUDA,首次运行自动下载约 42 GB 权重,在 8000 端口提供 ws://HOST:8000/v1/realtime 与 POST /v1/chat/completions 两个接口;也可使用 GitHub 仓库的一键脚本。Live 模式在引擎旁另起一个网关即可接入,官方称以后端 DeepSeek V4 Pro 协同时,Big Bench Audio 从 81.2 提升到约 83。
模型已适配 ms-swift,可在思考器的 LLM 主干上训练 LoRA,修改人设、口吻、领域知识和工具调用习惯,听觉编码器与发声部分保持不变;单卡微调峰值显存约 65 GB,两卡时每张约 34 GB。官方称其语音技术已在 300 多款 AI 硬件产品中落地。权重与代码同步发布于魔搭社区与 Hugging Face,魔搭创空间提供在线体验。
评论