MuSTMM: Learning Sound-Triggered Mobile Manipulation across Multiple Scenes

📄 arXiv: 2610.21429v1 📥 PDF

作者: Hao Ju, Feng Yan, Zhihao Zhong, Heng Yang, Shaofei Huang, Zhedong Zheng

分类: cs.RO

发布日期: 2026-10-15

💡 一句话要点

提出MuSTMM以解决多场景下声音触发的移动操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation)

关键词: 声音触发 移动操控 多场景 空间记忆 导航策略 机器人技术 数据集

📋 核心要点

  1. 现有的声音触发移动操控方法主要在有限的场景中评估，未能有效应对未知场景的挑战。
  2. 本研究提出MuSTMM数据集，结合空间音频和物理交互，增强导航策略模型以处理多场景任务。
  3. 实验结果表明，所提方法在成功率上比现有方法提升了2.60%，验证了空间记忆的有效性。

📝 摘要（中文）

声音触发的移动操控（STMM）要求机器人响应声音事件，通过导航到相关物体并进行适当的物理交互。现有的STMM评估主要在有限的建筑结构内变化物体布局，未能充分探索未知场景的挑战。我们引入了多场景声音触发的移动操控（MuSTMM）数据集，结合空间音频渲染和物理交互，涵盖31个具有多样建筑和物体布局的场景。MuSTMM包含1436万个预计算的双耳房间脉冲响应（RIR），并提供了场景不重叠的划分，以评估未知场景中的单事件和多事件设置。我们进一步增强了导航策略模型，加入了显式的空间记忆，将声学线索与观察到的几何信息相结合。

🔬 方法详解

问题定义：本论文旨在解决声音触发的移动操控（STMM）在未知场景中的应用问题。现有方法主要集中在有限的建筑结构中，无法有效处理多样化的未知场景布局。

核心思路：提出MuSTMM数据集，结合空间音频渲染与物理交互，利用显式空间记忆增强导航策略模型，以更好地响应声音事件并进行物理交互。

技术框架：整体架构包括数据集构建、导航策略模型设计和空间记忆模块。数据集提供多样场景和声音事件，导航策略模型通过融合声学线索和几何信息进行目标导航。

关键创新：最重要的创新在于引入了空间记忆模块，通过积累姿态对齐的深度观察，生成以自我为中心的鸟瞰图（BEV）占用图，从而提升导航精度。

关键设计：在模型设计中，使用了共享坐标框架来处理深度信息，并通过特征融合生成目标描述符，提供目标位置和场景结构的先验信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提导航策略在未知场景中的成功率提升了2.60%，相较于现有方法表现出显著的优势。此外，组件消融实验进一步验证了空间记忆模块在提升导航性能方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、服务机器人和救援机器人等，能够提升机器人在复杂环境中的自主导航和物理交互能力。未来，MuSTMM数据集和导航策略模型将为声音触发的移动操控研究提供新的测试平台，推动相关技术的发展。

📄 摘要（原文）

Sound-Triggered Mobile Manipulation (STMM) requires robots to respond to sound events by navigating to the associated objects and performing appropriate physical interactions. Existing STMM evaluations primarily vary object layouts within limited architectural structures, leaving challenges to unseen scenes insufficiently explored. We introduce Multi-scene Sound-Triggered Mobile Manipulation (MuSTMM), a dataset that combines spatial audio rendering and physical interaction across 31 scenes with diverse architectures and object layouts. MuSTMM contains 14.36 million precomputed binaural Room Impulse Responses (RIRs) and a scene-disjoint split for evaluating single-event and multi-event settings in unseen scenes. We further augment the Navigation Policy Model with explicit spatial memory that complements acoustic cues with observed geometry. Specifically, we accumulate pose-aligned depth observations in a shared coordinate frame and project this memory into an egocentric Bird's-Eye View (BEV) occupancy map. Fusing map features with sound context produces a goal descriptor that provides both target-location and scene-structure priors, guiding navigation to the target region required for subsequent physical interaction. This policy achieves a 2.60% success rate boost over existing methods, while component ablations further support the effectiveness of spatial memory. MuSTMM and the navigation policy provide a testbed for the new challenge of studying sound-triggered mobile manipulation in unseen scenes. The code and dataset will be released upon acceptance.