Human-mimetic binaural ear design and sound source direction estimation for task realization of musculoskeletal humanoids
作者: Yusuke Omura, Kento Kawaharazuka, Yuya Nagamatsu, Yuya Koga, Manabu Nishiura, Yasunori Toshimitsu, Yuki Asano, Kei Okada, Koji Kawasaki, Masayuki Inaba
分类: cs.RO, cs.SD, eess.AS
发布日期: 2024-09-10
备注: Accepted at ROBOMECH Journal
DOI: 10.1186/s40648-022-00231-x
💡 一句话要点
提出人造双耳听觉系统，用于肌肉骨骼人形机器人实现声音定位与环境感知
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 听觉感知 声源定位 人形机器人 双耳听觉 环境声音识别
📋 核心要点
- 现有机器人缺乏类人听觉感知能力，难以在复杂环境中有效利用声音信息完成任务。
- 论文提出一种类人听觉信息处理系统，模仿人类耳朵结构和中枢神经系统的听觉处理机制。
- 通过在肌肉骨骼人形机器人Musashi上的实验，验证了该系统在嘈杂环境中进行声源定位和任务执行的有效性。
📝 摘要（中文）
为了使肌肉骨骼人形机器人能够在复杂环境中执行任务并作为测试对象，本研究旨在实现类人的环境识别能力。人类通过整合各种感官信息来感知周围环境，其中听觉对于识别视野或触觉范围外的物体尤为重要。我们提出了一种类人的听觉信息处理系统，该系统由三个部分组成：模仿人类耳朵结构和特性的类人双耳单元、声源方向估计系统以及模仿中枢神经系统处理方式的环境声音检测系统。我们将该系统应用于肌肉骨骼人形机器人Musashi，使其能够在真实的嘈杂环境中执行需要视野外声音信息的任务，以验证所提出方法的有效性。
🔬 方法详解
问题定义：论文旨在解决肌肉骨骼人形机器人缺乏类人听觉感知能力的问题，使其无法像人类一样利用声音信息在复杂环境中进行环境识别和任务执行。现有方法在模拟人类听觉系统方面存在不足，导致机器人难以准确地进行声源定位和环境声音识别。
核心思路：论文的核心思路是构建一个类人的听觉信息处理系统，该系统模仿人类耳朵的物理结构和中枢神经系统的听觉处理机制。通过这种方式，机器人可以更准确地感知和理解周围的声音环境，从而更好地完成任务。
技术框架：该系统主要包含三个模块：1) 类人双耳单元：模仿人类耳朵的结构和特性，用于接收声音信号；2) 声源方向估计系统：根据双耳接收到的声音信号差异，估计声源的方向；3) 环境声音检测系统：模仿中枢神经系统的处理方式，用于识别环境中的各种声音。整个流程是，双耳单元接收声音，然后将信号传递给声源方向估计系统和环境声音检测系统，最终实现对环境的理解。
关键创新：该论文的关键创新在于设计了一个完整的类人听觉信息处理系统，从硬件（双耳单元）到软件（声源定位和环境声音检测）都进行了类人化的设计。与传统的机器人听觉系统相比，该系统更注重模仿人类的听觉感知机制，从而提高了声源定位和环境声音识别的准确性。
关键设计：类人双耳单元的设计模仿了人类耳朵的物理结构，包括耳廓的形状和耳道的长度等。声源方向估计系统可能采用了基于双耳时间差（ITD）和双耳强度差（ILD）的算法，并可能结合了头部相关传递函数（HRTF）进行校正。环境声音检测系统可能采用了机器学习方法，例如深度神经网络，对各种环境声音进行分类和识别。具体的参数设置、损失函数和网络结构等技术细节在论文中可能有所描述，但此处未知。
🖼️ 关键图片
📊 实验亮点
论文通过在肌肉骨骼人形机器人Musashi上进行实验，验证了所提出的类人听觉信息处理系统的有效性。实验结果表明，该系统能够在真实的嘈杂环境中准确地进行声源定位，并成功地应用于需要视野外声音信息的任务。具体的性能数据和对比基线未知，但实验结果证实了该系统在实际应用中的潜力。
🎯 应用场景
该研究成果可应用于各种需要类人听觉感知的机器人应用场景，例如：服务型机器人、搜救机器人、安防机器人等。通过提高机器人对声音环境的感知能力，可以使其更好地与人类进行交互，并在复杂环境中执行任务。此外，该系统还可以作为听觉辅助设备，帮助听力受损的人群更好地感知周围环境。
📄 摘要（原文）
Human-like environment recognition by musculoskeletal humanoids is important for task realization in real complex environments and for use as dummies for test subjects. Humans integrate various sensory information to perceive their surroundings, and hearing is particularly useful for recognizing objects out of view or out of touch. In this research, we aim to realize human-like auditory environmental recognition and task realization for musculoskeletal humanoids by equipping them with a human-like auditory processing system. Humans realize sound-based environmental recognition by estimating directions of the sound sources and detecting environmental sounds based on changes in the time and frequency domain of incoming sounds and the integration of auditory information in the central nervous system. We propose a human mimetic auditory information processing system, which consists of three components: the human mimetic binaural ear unit, which mimics human ear structure and characteristics, the sound source direction estimation system, and the environmental sound detection system, which mimics processing in the central nervous system. We apply it to Musashi, a human mimetic musculoskeletal humanoid, and have it perform tasks that require sound information outside of view in real noisy environments to confirm the usefulness of the proposed methods.