NatSGLD: A Dataset with Speech, Gesture, Logic, and Demonstration for Robot Learning in Natural Human-Robot Interaction

📄 arXiv: 2502.16718v1 📥 PDF

作者: Snehesh Shrestha, Yantian Zha, Saketh Banagiri, Ge Gao, Yiannis Aloimonos, Cornelia Fermüller

分类: cs.RO, cs.AI

发布日期: 2025-02-23

备注: arXiv admin note: substantial text overlap with arXiv:2403.02274

期刊: 2025 20th ACM/IEEE International Conference on Human-Robot Interaction (HRI)

💡 一句话要点

NatSGLD：用于自然人机交互中机器人学习的语音、手势、逻辑和演示数据集

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 机器人学习 多模态数据 语音识别 手势识别 线性时序逻辑 演示学习

📋 核心要点

  1. 现有HRI数据集侧重于简单的物体指向和推动等任务，难以应用于复杂领域，缺乏对机器人正确理解任务并做出适当反应的训练。
  2. NatSGLD数据集通过WoZ方法收集人类的多模态指令，并提供演示轨迹和LTL公式作为ground-truth，用于训练机器人理解和执行复杂任务。
  3. 该数据集为多模态指令跟随、计划识别和人类可指导的强化学习等领域的研究提供了基础资源，促进人机交互和机器人学习的进步。

📝 摘要（中文）

本文提出了NatSGLD数据集，旨在弥补现有HRI数据集中对复杂任务支持不足的缺陷。该数据集通过Wizard of Oz (WoZ)方法收集，参与者与他们认为是自主的机器人进行交互。NatSGLD记录了人类的多模态指令（语音和手势），每个指令都配有演示轨迹和线性时序逻辑（LTL）公式，提供了指令任务的ground-truth解释。该数据集为HRI和机器学习交叉领域的研究提供了一个基础资源，支持多模态指令跟随、计划识别以及基于演示的人类可指导强化学习等方向的探索。数据集和代码已在MIT许可下发布，以支持未来的HRI研究。

🔬 方法详解

问题定义：现有的人机交互（HRI）数据集主要关注简单的任务，例如物体指向和推动，这限制了它们在更复杂的场景中的应用。此外，这些数据集通常侧重于收集人类的指令数据，而较少关注训练机器人如何正确地解释这些指令并做出适当的反应。因此，如何构建一个能够支持复杂任务，并且能够帮助机器人理解人类意图的数据集，成为了一个重要的挑战。

核心思路：NatSGLD数据集的核心思路是通过Wizard of Oz (WoZ)方法，模拟一个真实的机器人交互场景，让参与者相信他们正在与一个自主机器人进行交互。通过这种方式，可以收集到更自然、更丰富的多模态指令数据（包括语音和手势）。同时，为每个指令提供演示轨迹和线性时序逻辑（LTL）公式，作为任务的ground-truth解释，从而帮助机器人更好地理解人类的意图。

技术框架：NatSGLD数据集的构建流程主要包括以下几个阶段：1) 设计WoZ实验环境，让参与者相信他们正在与一个自主机器人交互；2) 收集参与者的多模态指令数据（语音和手势）；3) 为每个指令手动标注对应的演示轨迹和LTL公式；4) 将收集到的数据进行整理和清洗，构建成NatSGLD数据集。该数据集包含多模态指令、演示轨迹和LTL公式三个主要组成部分。

关键创新：NatSGLD数据集的关键创新在于它同时提供了多模态指令（语音和手势）、演示轨迹和LTL公式作为任务的ground-truth。这种多层次的标注方式可以帮助机器人更全面地理解人类的意图，从而更好地完成任务。此外，该数据集还采用了WoZ方法，收集到更自然、更真实的人机交互数据。

关键设计：在数据收集过程中，研究人员设计了一系列复杂的任务，例如让机器人按照特定的顺序访问不同的地点，或者让机器人在特定的时间段内执行特定的动作。这些任务的设计旨在测试机器人对人类指令的理解能力和执行能力。LTL公式的设计则旨在提供对任务的精确描述，从而帮助机器人更好地理解任务的目标和约束。

🖼️ 关键图片

fig_0

📊 实验亮点

NatSGLD数据集包含丰富的多模态数据，包括语音、手势、演示轨迹和LTL公式。通过使用该数据集，研究人员可以训练机器人更好地理解人类的意图，从而提高人机交互的效率和可靠性。由于目前没有直接可比的基线数据集，因此性能提升幅度未知，但该数据集的发布为相关研究提供了重要的资源。

🎯 应用场景

NatSGLD数据集在人机交互、机器人学习等领域具有广泛的应用前景。它可以用于训练机器人理解和执行复杂任务，例如家庭服务、工业自动化等。此外，该数据集还可以用于研究多模态指令跟随、计划识别和人类可指导的强化学习等问题，促进人机协作的智能化和自动化。

📄 摘要（原文）

Recent advances in multimodal Human-Robot Interaction (HRI) datasets emphasize the integration of speech and gestures, allowing robots to absorb explicit knowledge and tacit understanding. However, existing datasets primarily focus on elementary tasks like object pointing and pushing, limiting their applicability to complex domains. They prioritize simpler human command data but place less emphasis on training robots to correctly interpret tasks and respond appropriately. To address these gaps, we present the NatSGLD dataset, which was collected using a Wizard of Oz (WoZ) method, where participants interacted with a robot they believed to be autonomous. NatSGLD records humans' multimodal commands (speech and gestures), each paired with a demonstration trajectory and a Linear Temporal Logic (LTL) formula that provides a ground-truth interpretation of the commanded tasks. This dataset serves as a foundational resource for research at the intersection of HRI and machine learning. By providing multimodal inputs and detailed annotations, NatSGLD enables exploration in areas such as multimodal instruction following, plan recognition, and human-advisable reinforcement learning from demonstrations. We release the dataset and code under the MIT License at https://www.snehesh.com/natsgld/ to support future HRI research.