The Ballad of the Bots: Sonification Using Cognitive Metaphor to Support Immersed Teleoperation of Robot Teams
作者: Joe Simmons, Paul Bremner, Thomas J Mitchell, Alison Bown, Verity McIntosh
分类: cs.RO, cs.HC
发布日期: 2024-07-12
备注: Accepted for publication in Frontiers in Virtual Reality->Technologies for VR under the research topic 'Interactive Audio Systems and Artefacts within Extended Reality: Innovation, Creativity and Accessibility'
DOI: 10.3389/frvir.2024.1404865
💡 一句话要点
探索认知隐喻声效在核退役场景下机器人遥操作中的应用
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人遥操作 声效设计 认知隐喻 计算主义 虚拟现实 核退役 人机交互
📋 核心要点
- 现有机器人遥操作在危险环境中面临信息传递效率和操作员认知负荷的挑战，尤其是在多机器人协同作业时。
- 论文探索了利用声效传递机器人状态信息的方法，并对比了基于认知隐喻和计算主义两种不同的声效设计思路。
- 实验结果表明，计算主义方法在可预测性和精神负荷方面更优，而认知隐喻方法在直观性和空间化方面更具优势。
📝 摘要（中文）
本文研究了在虚拟现实中进行机器人遥操作，尤其是在危险环境下的应用。具体场景为核退役，使用半自主机器人团队在虚拟核设施内对腔室进行特征描述。研究重点在于声效作为一种传递重要操作员数据的方式的效用和影响。论文比较了两种声效设计方法：一种是受认知隐喻理论启发，创建与社会习得的上下文和生态理解相符的声音；另一种是采用文献中常见的计算主义方法，使用常见的听觉映射。结果表明，在可预测性和精神负荷方面，计算主义方法优于认知隐喻方法。然而，定性数据分析表明，认知隐喻方法产生的声音更直观，并且在数据源空间化和多声源数据可读性方面表现更好。
🔬 方法详解
问题定义：论文旨在解决在核退役等危险环境中，如何有效地利用声效向操作员传递多机器人团队的状态信息，从而提高遥操作效率和降低认知负荷的问题。现有方法在声效设计上缺乏统一标准，难以保证直观性和可理解性，尤其是在多机器人协同作业时，容易造成信息过载。
核心思路：论文的核心思路是探索两种不同的声效设计方法：一种是基于认知隐喻，利用人们对现实世界声音的固有认知来设计声效，例如将高温映射为高音调；另一种是基于计算主义，采用常见的听觉映射规则，例如将数值大小映射为音量大小。通过对比这两种方法，旨在找到更适合机器人遥操作场景的声效设计策略。
技术框架：该研究采用虚拟现实环境模拟核退役场景，其中包含一个由多个半自主机器人组成的团队。操作员通过VR界面对机器人进行遥操作，并接收机器人传回的数据。论文设计了两套声效系统，分别基于认知隐喻和计算主义方法。操作员在VR环境中完成特定任务，研究人员收集操作员的绩效数据、主观评价和眼动数据，用于评估两种声效系统的优劣。
关键创新：论文的关键创新在于对比了认知隐喻和计算主义两种声效设计方法在机器人遥操作中的应用效果。认知隐喻方法试图利用人们对现实世界声音的固有认知来提高声效的直观性和可理解性，而计算主义方法则侧重于利用常见的听觉映射规则来传递数据。通过实验对比，论文揭示了这两种方法的优缺点，为未来的声效设计提供了指导。
关键设计：在认知隐喻方法中，论文根据核退役场景的特点，将不同的机器人状态信息映射为不同的声音。例如，将辐射强度映射为类似盖革计数器的声音，将温度映射为音调高低。在计算主义方法中，论文采用常见的听觉映射规则，例如将数值大小映射为音量大小，将变化速率映射为音调变化速度。论文还考虑了声音的空间化，利用双耳效应将不同的声音放置在不同的空间位置，从而提高操作员对机器人位置的感知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在可预测性和精神负荷方面，计算主义方法优于认知隐喻方法。然而，定性数据分析表明，认知隐喻方法产生的声音更直观，并且在数据源空间化和多声源数据可读性方面表现更好。这表明在声效设计中需要综合考虑多种因素，以达到最佳效果。
🎯 应用场景
该研究成果可应用于核退役、深海勘探、太空探索等危险环境下的机器人遥操作。通过合理设计声效，可以有效提高操作员对机器人状态的感知能力，降低认知负荷，从而提高遥操作效率和安全性。未来，可以将该研究成果推广到其他领域，例如医疗机器人、救援机器人等。
📄 摘要（原文）
As an embodied and spatial medium, virtual reality is proving an attractive proposition for robot teleoperation in hazardous environments. This paper examines a nuclear decommissioning scenario in which a simulated team of semi-autonomous robots are used to characterise a chamber within a virtual nuclear facility. This study examines the potential utility and impact of sonification as a means of communicating salient operator data in such an environment. However, the question of what sound should be used and how it can be applied in different applications is far from resolved. This paper explores and compares two sonification design approaches. The first is inspired by the theory of cognitive metaphor to create sonifications that align with socially acquired contextual and ecological understanding of the application domain. The second adopts a computationalist approach using auditory mappings that are commonplace in the literature. The results suggest that the computationalist approach outperforms the cognitive metaphor approach in terms of predictability and mental workload. However, qualitative data analysis demonstrates that the cognitive metaphor approach resulted in sounds that were more intuitive, and were better implemented for spatialisation of data sources and data legibility when there was more than one sound source.