2026 年 10 月 17 日——小米 Dasheng 团队于 10 月 15 日宣布开源空间音频理解大模型 MiDashengLM-Spatial，完整公开模型权重与推理代码，采用 Apache 2.0 许可。该模型以 MiDashengLM-7B 为基座，团队称其为业界首个在单一架构内同时支持通用音频理解与空间感知的端到端音频-语言模型；在 STAR-Bench 空间推理子集上准确率为 70.3%，接近人类水平 73.7%，远超 Gemini-3.6-Flash 的 47.0%。据官方说明，该模型将陆续应用于小米智能家居与汽车座舱场景，相关音频技术此前已在上述场景实现超过 30 项落地应用。

据项目主页与技术报告披露，MiDashengLM-Spatial 的核心目标是把音频理解从「声音是什么」扩展到「声音来自哪里、如何在空间中移动」。此前的通用音频-语言模型多为单声道设计，在特征提取阶段会跨声道取平均，从而丢弃双耳时间差（ITD）与双耳声级差（ILD）等空间线索；而既有的空间音频模型通常面向固定任务定制，难以继承单声道模型的大规模通用理解能力。

双分支架构与层级条件机制

模型在 MiDashengLM 基础上新增空间音频编码器 Spatial-Dasheng，形成语义支路与空间支路并行的双分支音频编码器：

模块 构成 作用
语义编码器 32 层 Dasheng Semantic Encoder，处理单声道音频 提取通用音频语义表征，保持基座原有能力
空间编码器 12 层 Dasheng Spatial Encoder（Spatial-Dasheng），处理多声道音频 逐帧检测与定位重叠声源，估计方位、距离与运动轨迹
条件模块 HSSC（层级语义到空间条件），共 4 个 将语义支路中间层表征逐级注入空间支路对应层
融合层 适配器对齐后相加 语义与空间嵌入融合为统一音频 token，送入 LLM

据技术报告，Spatial-Dasheng 基于在单声道音频上用掩码自编码（MAE）目标预训练的 Dasheng-Base 构建，引入轻量 CNN 融合模块把多声道特征聚合为单通道特征；预训练采用 SELD 范式的 multi-ACCDOA 输出格式，并用排列不变训练（PIT）缓解多轨输出与目标之间的错配。HSSC 采用非对称注入设计：语义支路每 8 层、空间支路每 3 层做一次条件传递，语义支路的前向计算路径保持结构不变，空间支路的新增表征不回注语义支路。

训练采用三阶段课程：第一阶段在合成 SELD 数据上预训练 Spatial-Dasheng，只预测事件活动、到达方向与声源距离；第二阶段用空间音频-文本配对数据完成空间属性与自然语言的对齐；第三阶段混合单声道与双耳语料微调，重点训练空间问答。

数据构造与训练规模

由于公开的大规模空间音频标注数据稀缺，团队自建了可扩展的合成数据管线，先按图像源法为数千个随机采样房间预计算房间脉冲响应（RIR），再对干燥音频做卷积渲染，得到静态声源或沿轨迹运动的声源。

数据项 数值
合成空间声学场景 100 万个音频片段
双耳音频总时长 约 13000 小时
空间问答对 600 万条
单片段时长 30 至 60 秒
最大重叠声源数 3 个
采样率与频谱 16 kHz，双通道 64 维对数梅尔谱

场景级描述由 Gemma-4-31B 依据真实空间元数据与原始音频描述合成；问答对则按源定位、运动轨迹感知、群组时空关系三类模板从空间元数据确定性生成，第四类「空间化内容理解」用带说话人身份标注的对话语料生成，全部问答的答案与干扰项均经事实校验。

基准测试表现

在空间理解与推理基准上，MiDashengLM-Spatial 大幅领先同类模型；同时报告了通道交换全对率（Chan.-Swap ACR），用于检验模型判断是否真正依赖双耳线索。

模型 参数量 音频格式 MMAU-Pro 全量 MMAU-Pro 空间 通道交换 ACR STAR-Bench 空间推理 STAR-Bench 通道交换 ACR
随机猜测 - - 23.4 21.2 13.5 33.3 11.1
人类水平 - - 77.9 88.2 - 73.7 -
Gemini-3.6-Flash - 单声道 70.4 48.3 12.8 47.0 10.5
MiMo-V2.5 - 单声道 65.1 43.1 14.2 43.8 16.9
Qwen3-Omni-30B-A3B-Instruct 30B 单声道 60.6 36.6 0.0 44.7 0.0
MOSS-Audio-8B-Instruct 8B 单声道 57.5 26.8 0.0 41.7 0.0
Audio-Flamingo-Next-Instruct 8B 单声道 56.9 37.2 0.7 24.2 0.0
BAT 7B 双耳 24.8 23.7 7.4 0.0 0.0
MiDashengLM-7B-1021 8B 单声道 55.9 18.2 0.0 44.3 0.0
MiDashengLM-Spatial-7B 8B 双耳 56.4 55.4 33.1 70.3 72.6

表中数据据技术报告 Table 2 整理。通道交换全对率指原始音频与左右声道交换后两个配置下均答对的样本占比，随机猜测与多数单声道模型接近或等于 0，说明其判断不依赖声道顺序。

空间感知编码器方面，Spatial-Dasheng 在 EasyCom 上的定位依赖 F 值（F45°/1）为 31.6，高于 PSELDNets 的 26.1 与 Spatial-AST 的 6.9；在 MRSSound 上为 26.4，高于 15.9 与 16.5；在 STARSS23（立体声版）为 54.1，与 PSELDNets 的 57.5 接近。技术报告称，该模型仅在双耳数据上训练，却能泛化到立体声版本的真实场景数据集。

通用音频能力方面，模型在单声道标准基准上与基座及同量级 8B 模型基本持平，部分项目有所提升：LibriSpeech test-clean 词错误率 1.8%（基座 3.6%）、test-other 为 4.2%（基座 5.9%）；GigaSpeech2 印尼语 20.9%、泰语 37.4%、越南语 16.2%，均低于基座的 22.3%、38.4%、17.7%；MusicCaps 音乐描述 FENSE 得分为 60.0，高于基座的 59.1%。MMAU-Pro（56.4）、MMAU-v05.15.25（74.8）、MuChoMusic（76.7）、AudioCaps（62.8）等项目与基座差异在 1 分以内。

开源方式与获取途径

项目 内容
技术报告 arXiv:2610.11156，2026 年 10 月 8 日提交
代码仓库 github.com/xiaomi-research/midashenglm-spatial
模型权重 huggingface.co/mispeech/midashenglm-spatial（代码自动拉取）
项目主页 jinbo-hu.github.io/midashenglm-spatial-demo，含双耳音频演示
许可 Apache 2.0，官方说明可用于研究与商业用途

官方示例给出推理入口：克隆仓库后创建 Python 3.13 环境并安装依赖，使用 transformers==4.57.6 以 trust_remote_code=True 加载模型与处理器，按「先音频后文本」的顺序构造对话消息，输入 (2, T) 格式的真实双耳音频后调用 model.generate 生成结果。模型卡提示，输入单声道音频虽可运行，但不包含方向信息。

局限与应用方向

技术报告如实披露了当前局限：模型在粗粒度空间属性和较简单场景上表现良好，但对细粒度空间细节以及多重叠声源的复杂场景推理仍偏弱。在无重叠场景子集上，事件匹配召回率超过 70%、运动状态准确率超过 88%、时序一致性超过 96%，但运动轨迹完全匹配准确率不足 20%；空间问答在单重叠与双重叠场景下整体准确率为 80.6% 与 66.9%，其中空间计数类问题表现最差。将 Spatial-Dasheng 接入 MiDashengLM 后，三轴完全匹配 F 值从 44.7% 提升至 50.8%。

消融实验显示，相比双向连接方案，单向 HSSC 在 18 项基准设置中有 13 项更优；仅用双耳数据训练时模型仍保留了基座大部分能力，在空间训练语料未包含中文语音转写数据的情况下，AISHELL-2 中文识别成绩与完整模型接近。

官方列出的应用方向包括智能座舱的分区语音识别与指令执行、智能家居的声学方位与移动感知、AR/VR 空间音频交互，以及助听与无障碍设备的环境感知。