2026 年 11 月 10 日——AI降临派(Adventists AI)于 11 月 9 日在魔搭社区首发开源全双工语音模型 Sophon-Realtime v1。该系列 Tag、Flash、E2E 三个版本共用同一个 32B 大脑,差别只在回复如何变成声音;模型权重与推理代码采用 Apache-2.0 许可,允许商用。官方公布的评测显示,其 VoiceBench 得分 82.8、Big Bench Audio 准确率 81.8%,官方称两项均居开源全双工模型第一。

与回合制的语音助手不同,Sophon-Realtime 在用户说话时持续接收音频,用户一停顿即接话,被插话时立即停止并回应新问题。官方称模型可从声音中识别犹豫、情绪、重音、笑声与叹气,回复时也会在合适位置笑、叹气、换气或清嗓子。模型页显示,该系列参数量为 36.37B,仓库体积 79.00 GB,系列主页更新时间为 11 月 9 日。

三个版本共用一个大脑

模型页说明,v1 系列的三个版本由同一个 32B 模型负责听、判断接话时机和撰写回复,区别仅在于回复的出声方式。

版本 回复如何变成声音 单路首包 每张 80 GB 显卡建议并发 显卡
Tag(推荐) 大脑写出带声音标签的回复,由表现力强的语音模型演绎 约 0.6 秒 16 路 1 张
Flash 同样的带标签回复,交由更轻、更快的语音模型说出 0.31 秒 40 路 1 张
E2E(研究预览) 32B 模型内部的说话头直接生成声音向量,无需独立语音模型 约 1 秒 4 至 5 路 2 张

Tag 与 Flash 基于 vLLM-Omni 部署,一张 80 GB 显卡(H100、H800 或 A100 80G)加一条命令即可运行;E2E 使用自研引擎,定位为端到端表达的研究预览。

全双工交互机制

官方介绍,模型在每次停顿处只用单个 token 判断用户状态,区分说完了、还在说、在附和还是在思考,不需要再串联独立的语音识别、静音检测、话轮检测和语音合成模块。用户第一次停顿时,模型即开始起草回复,判断轮到自己时立刻开口;若用户继续说,草稿在被听到之前丢弃。

大脑撰写回复时会同步标出哪里该笑、叹气、换气、清嗓子以及哪个词该重读,Tag 与 Flash 由声音模型把这些标记演出来,不会念出标签。文字与声音并行流式生成,文字始终领先半步,因此每句回答都有可审计的文字记录。对话历史保存双方的真实音频,用户打断时只保留其已经听到的部分。模型还支持 Live 模式,接口兼容 OpenAI GPT-Live 格式,可把查询、办事类请求交给后端大模型处理。

评测数据

评测项 Sophon-Realtime v1 其他开源全双工模型 闭源对比 口径
VoiceBench 82.8 MiniCPM-o 4.5 76.1、Freeze-Omni 55.2、Moshi 29.5 GPT-4o-mini-Audio 82.8、GPT-4o-Audio 86.8 官方评测器,gpt-4o-mini 判分
Big Bench Audio 81.8% Raon SpeechChat 58%、Freeze-Omni 33%、PersonaPlex 19% GPT-Live-1 90% 自测,回答转写后由 gpt-4.1 判分
Full-Duplex-Bench v3 Pass@1 48%,接话成功率 100% Ultravox v0.7 41% GPT-Realtime 60%、Gemini Live 3.1 54%、Grok 43% 多次运行最好成绩
副语言理解合计 48.6 — Gemini 3.8 Flash 46.9、Qwen3-Omni 44.6 LISTEN、StressTest、MSPB 合计
NVV-SuperBench(中文、英文) Tag 0.86、0.80;Flash 0.77、0.63;E2E 0.77、0.60 — — F1 值,Gemini 3 Flash 判分

官方说明,VoiceBench 采用 AlpacaEval 199 题标准子集,其他模型分数来自 VoiceBench 榜单与 NemotronLabs VoiceChat 论文;Big Bench Audio 为 1,000 道语音推理题,其他模型数据来自 Artificial Analysis 榜单;Full-Duplex-Bench v3 为 100 题真人不流利语音加多步工具调用。上述成绩均为官方自测口径,截至发稿尚无第三方复现。

部署、微调与许可

Tag 版可通过 pip install sophon-realtime 安装,要求 Python 3.12、Linux 与 CUDA,首次运行自动下载约 42 GB 权重,在 8000 端口提供 ws://HOST:8000/v1/realtime 与 POST /v1/chat/completions 两个接口;也可使用 GitHub 仓库的一键脚本。Live 模式在引擎旁另起一个网关即可接入,官方称以后端 DeepSeek V4 Pro 协同时,Big Bench Audio 从 81.2 提升到约 83。

模型已适配 ms-swift,可在思考器的 LLM 主干上训练 LoRA,修改人设、口吻、领域知识和工具调用习惯,听觉编码器与发声部分保持不变;单卡微调峰值显存约 65 GB,两卡时每张约 34 GB。官方称其语音技术已在 300 多款 AI 硬件产品中落地。权重与代码同步发布于魔搭社区与 Hugging Face,魔搭创空间提供在线体验。