Sim2Real Transfer for Audio-Visual Navigation with Frequency-Adaptive Acoustic Field Prediction
作者: Changan Chen, Jordi Ramos, Anshul Tomar, Kristen Grauman
分类: cs.SD, cs.AI, cs.LG, cs.RO, eess.AS
发布日期: 2024-05-05 (更新: 2024-09-10)
备注: Camera ready version for IROS 2024. Project page: https://vision.cs.utexas.edu/projects/sim2real/
💡 一句话要点
提出频率自适应声场预测方法，实现音频-视觉导航的Sim2Real迁移
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 音频-视觉导航 Sim2Real迁移 声场预测 频率自适应 机器人导航
📋 核心要点
- 现有音频-视觉导航的Sim2Real方法缺乏对声学差异的有效度量，导致迁移效果不佳。
- 提出解耦声场预测和路径点导航，并引入频率自适应策略，以应对模拟和真实环境的声学差异。
- 实验表明，该方法在模拟和真实环境中均取得了显著的性能提升，验证了其有效性。
📝 摘要（中文）
本文针对音频-视觉导航任务，提出了一种新的Sim2Real迁移方法。现有方法在音频-视觉导航中通常采用经验性的数据增强，而忽略了声学差异的度量。考虑到声音频率范围远大于光，本文将Sim2Real过程解耦为声场预测（AFP）和路径点导航两部分。首先，在SoundSpaces模拟器上验证了该设计的有效性，并在Continuous AudioGoal导航基准上取得了提升。然后，收集真实世界数据，通过训练仅以特定频率子带作为输入的AFP模型，来测量模拟和真实世界之间的频谱差异。进一步提出了一种频率自适应策略，该策略基于测量的频谱差异和接收到的音频能量分布，智能地选择最佳频率带进行预测，从而提高真实数据的性能。最后，构建了一个真实的机器人平台，并表明迁移后的策略可以成功地导航到发声物体。这项工作展示了构建能够完全从模拟中学习并迁移到真实世界的智能体的潜力。
🔬 方法详解
问题定义：现有音频-视觉导航的Sim2Real方法主要依赖于经验性的数据增强，缺乏对模拟环境和真实环境之间声学差异的有效度量。这种差异会导致在模拟环境中训练的策略在真实环境中表现不佳，尤其是在声音频率范围远大于光的情况下，简单的数据增强难以弥补这种差异。
核心思路：本文的核心思路是将Sim2Real过程解耦为两个部分：声场预测（AFP）和路径点导航。通过声场预测来学习模拟环境和真实环境之间的声学差异，并利用频率自适应策略选择最佳频率带进行预测，从而提高策略在真实环境中的泛化能力。这种解耦和自适应策略能够更有效地应对模拟和真实环境之间的声学差异。
技术框架：整体框架包含两个主要模块：声场预测（AFP）模块和路径点导航模块。首先，在模拟环境中训练AFP模型，该模型能够预测给定位置的声场信息。然后，收集真实世界的数据，并使用不同频率子带的数据训练AFP模型，以测量模拟环境和真实环境之间的频谱差异。最后，利用频率自适应策略，根据频谱差异和音频能量分布选择最佳频率带，并将其用于路径点导航模块，从而实现Sim2Real迁移。
关键创新：本文最重要的技术创新点在于提出了频率自适应策略，该策略能够根据模拟环境和真实环境之间的频谱差异，智能地选择最佳频率带进行声场预测。与现有方法中简单地使用所有频率带的数据进行训练不同，该策略能够更有效地利用信息，提高策略在真实环境中的泛化能力。
关键设计：频率自适应策略的关键设计在于如何测量模拟环境和真实环境之间的频谱差异，以及如何根据频谱差异选择最佳频率带。本文通过训练仅以特定频率子带作为输入的AFP模型来测量频谱差异。然后，根据测量的频谱差异和接收到的音频能量分布，使用加权平均的方式选择最佳频率带。具体的损失函数和网络结构细节在论文中有详细描述，但此处未给出具体公式。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文提出的方法在SoundSpaces模拟器和真实机器人平台上均取得了显著的性能提升。在Continuous AudioGoal导航基准上，该方法优于现有的Sim2Real方法。在真实机器人平台上，迁移后的策略能够成功地导航到发声物体，验证了该方法的有效性和实用性。
🎯 应用场景
该研究成果可应用于各种需要音频-视觉导航的机器人应用场景，例如家庭服务机器人、安防巡逻机器人、搜救机器人等。通过在模拟环境中训练机器人，并利用本文提出的Sim2Real迁移方法，可以大大降低机器人的开发成本和部署难度，使其能够更好地适应真实世界的复杂环境。
📄 摘要（原文）
Sim2real transfer has received increasing attention lately due to the success of learning robotic tasks in simulation end-to-end. While there has been a lot of progress in transferring vision-based navigation policies, the existing sim2real strategy for audio-visual navigation performs data augmentation empirically without measuring the acoustic gap. The sound differs from light in that it spans across much wider frequencies and thus requires a different solution for sim2real. We propose the first treatment of sim2real for audio-visual navigation by disentangling it into acoustic field prediction (AFP) and waypoint navigation. We first validate our design choice in the SoundSpaces simulator and show improvement on the Continuous AudioGoal navigation benchmark. We then collect real-world data to measure the spectral difference between the simulation and the real world by training AFP models that only take a specific frequency subband as input. We further propose a frequency-adaptive strategy that intelligently selects the best frequency band for prediction based on both the measured spectral difference and the energy distribution of the received audio, which improves the performance on the real data. Lastly, we build a real robot platform and show that the transferred policy can successfully navigate to sounding objects. This work demonstrates the potential of building intelligent agents that can see, hear, and act entirely from simulation, and transferring them to the real world.