SocRATES: Towards Automated Scenario-based Testing of Social Navigation Algorithms
作者: Shashank Rao Marpally, Pranav Goyal, Harold Soh
分类: cs.RO, cs.AI
发布日期: 2024-12-27
备注: 7 pages, 5 figures
💡 一句话要点
SocRATES：面向社交导航算法的自动化场景测试方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社交导航 场景测试 自动化 大型语言模型 人机交互
📋 核心要点
- 现有社交导航方法侧重于距离和效率，忽略了机器人社交能力等定性因素，影响了实际应用。
- SocRATES提出一个自动化流程，利用大型语言模型生成逼真、可控的社交导航测试场景。
- 实验表明，该流程能有效生成场景，显著提升场景翻译质量，并得到专家认可。
📝 摘要（中文）
现有的社交导航方法和基准测试主要关注邻近关系和任务效率。虽然这些因素很重要，但诸如机器人社交能力的感知等定性方面对于成功采用和融入人类环境同样至关重要。我们提出通过基于场景的测试对社交导航进行更全面的评估，其中特定的人机交互场景可以揭示关键的机器人行为。然而，创建这样的场景通常是劳动密集型且复杂的。在这项工作中，我们通过引入一个自动化生成上下文和位置相关的社交导航场景的流程来应对这一挑战，该流程可以立即用于仿真。我们的流程将简单的场景元数据转换为详细的文本场景，推断行人和机器人的轨迹，并模拟行人的行为，从而实现更可控的评估。我们利用大型语言模型（LLM）的社会推理和代码生成能力来简化场景生成和翻译。我们的实验表明，我们的流程可以生成逼真的场景，并且与简单的LLM提示相比，显著提高了场景翻译的质量。此外，我们还展示了来自社交导航专家可用性研究的初步反馈，以及一个演示三种导航算法的基于场景的评估的案例研究。
🔬 方法详解
问题定义：现有社交导航算法的评估主要依赖于proxemics和任务效率等指标，忽略了人类对机器人社交能力的感知等定性因素。手动创建用于评估这些定性因素的场景既耗时又复杂，阻碍了社交导航算法的全面评估。
核心思路：利用大型语言模型（LLMs）的社会推理和代码生成能力，自动化生成逼真且上下文相关的社交导航场景。通过将简单的场景元数据转换为详细的文本描述，并推断行人和机器人的轨迹，实现对社交导航算法更全面和可控的评估。
技术框架：SocRATES包含以下主要模块：1) 场景元数据输入；2) LLM驱动的场景文本生成；3) 行人和机器人轨迹推断；4) 行人行为模拟；5) 仿真环境。该流程将场景元数据作为输入，利用LLM生成详细的文本场景描述，然后基于这些描述推断行人和机器人的轨迹，并模拟行人的行为，最终在仿真环境中进行测试。
关键创新：关键创新在于利用LLM的社会推理能力自动化生成社交导航场景。与传统的手动创建场景方法相比，该方法大大降低了创建场景的成本和复杂性，并能够生成更丰富和多样化的场景。此外，该方法还能够根据不同的上下文和位置生成定制化的场景，从而实现对社交导航算法更精细化的评估。
关键设计：场景文本生成依赖于精心设计的LLM提示工程，以确保生成的文本场景既逼真又符合场景元数据的要求。轨迹推断模块使用社会力模型或其他运动预测模型来预测行人和机器人的轨迹。行人行为模拟模块则根据场景描述和轨迹信息，模拟行人的各种行为，例如避让、跟随、交谈等。具体的参数设置和模型选择取决于具体的应用场景和需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SocRATES能够生成逼真的社交导航场景，并且与简单的LLM提示相比，显著提高了场景翻译的质量。可用性研究表明，社交导航专家对该流程生成的场景给予了积极评价。案例研究表明，SocRATES能够有效地评估不同社交导航算法的性能，并揭示其在不同场景下的优缺点。具体性能数据未知。
🎯 应用场景
该研究成果可应用于社交机器人的开发和测试，例如服务型机器人、导览机器人等。通过自动化生成各种社交场景，可以更全面地评估机器人的社交导航能力，提高机器人在真实世界中的适应性和用户体验。此外，该方法还可以用于训练和优化社交导航算法，使其更好地理解和适应人类社会行为。
📄 摘要（原文）
Current social navigation methods and benchmarks primarily focus on proxemics and task efficiency. While these factors are important, qualitative aspects such as perceptions of a robot's social competence are equally crucial for successful adoption and integration into human environments. We propose a more comprehensive evaluation of social navigation through scenario-based testing, where specific human-robot interaction scenarios can reveal key robot behaviors. However, creating such scenarios is often labor-intensive and complex. In this work, we address this challenge by introducing a pipeline that automates the generation of context-, and location-appropriate social navigation scenarios, ready for simulation. Our pipeline transforms simple scenario metadata into detailed textual scenarios, infers pedestrian and robot trajectories, and simulates pedestrian behaviors, which enables more controlled evaluation. We leverage the social reasoning and code-generation capabilities of Large Language Models (LLMs) to streamline scenario generation and translation. Our experiments show that our pipeline produces realistic scenarios and significantly improves scenario translation over naive LLM prompting. Additionally, we present initial feedback from a usability study with social navigation experts and a case-study demonstrating a scenario-based evaluation of three navigation algorithms.