ROSAnnotator: A Web Application for ROSBag Data Analysis in Human-Robot Interaction

📄 arXiv: 2501.07051v1 📥 PDF

作者: Yan Zhang, Haoqi Li, Ramtin Tabatabaei, Wafa Johal

分类: cs.RO, cs.HC

发布日期: 2025-01-13

备注: Accepted to HRI 2025

🔗 代码/项目: GITHUB

💡 一句话要点

ROSAnnotator：用于人机交互中ROSBag数据分析的Web应用，支持多模态LLM辅助标注

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 机器人操作系统 ROSBag 数据标注 多模态学习 大型语言模型 Web应用 定性分析

📋 核心要点

  1. 现有HRI研究中，ROSBag数据分析缺乏集成定性编码和分析的专用工具，阻碍了研究效率。
  2. ROSAnnotator通过Web应用集成多模态LLM，支持ROSBag数据的视频、音频和转录的手动及自动标注。
  3. ROSAnnotator提供开放接口，支持自定义ROS消息和工具，并能快速生成标注的统计摘要，提升HRI数据分析效率。

📝 摘要（中文）

人机交互(HRI)是一个利用定量和定性方法的交叉学科。ROSBags是机器人操作系统(ROS)中的一种文件格式，它提供了一种在真实机器人经验研究中高效收集时间同步多模态数据的方法。然而，目前缺乏专门设计的工具，可以将定性编码和分析功能与ROSBags集成。为了解决这一差距，我们开发了ROSAnnotator，这是一个基于Web的应用程序，它结合了多模态大型语言模型(LLM)，以支持ROSBag数据的手动和自动标注。ROSAnnotator目前支持视频、音频和转录标注，并为自定义ROS消息和工具提供开放接口。通过使用ROSAnnotator，研究人员可以简化定性分析过程，创建更具凝聚力的分析流程，并快速访问标注的统计摘要，从而提高HRI数据分析的整体效率。

🔬 方法详解

问题定义：现有的人机交互研究中，使用ROSBag存储机器人数据，但缺乏有效的工具将定性分析（例如行为编码）与ROSBag数据集成。研究人员需要手动处理数据，效率低下，且容易出错。现有的工具通常不支持多模态数据（视频、音频、文本等）的同步分析，限制了研究的深度和广度。

核心思路：ROSAnnotator的核心思路是构建一个基于Web的应用程序，该程序能够直接读取和处理ROSBag数据，并提供用户友好的界面进行手动和自动标注。通过集成多模态大型语言模型（LLM），该应用可以辅助标注过程，提高标注效率和一致性。该设计旨在简化HRI研究的数据分析流程，并促进更深入的定性分析。

技术框架：ROSAnnotator的整体架构包括以下几个主要模块：1) ROSBag数据读取模块：负责读取和解析ROSBag文件。2) 多模态数据展示模块：将视频、音频和文本数据同步展示在Web界面上。3) 手动标注模块：提供用户友好的界面进行手动标注，支持自定义标签和注释。4) 自动标注模块：集成多模态LLM，根据用户设定的规则自动标注数据。5) 统计分析模块：生成标注数据的统计摘要，例如标签频率和共现关系。6) 开放接口模块：提供API接口，支持自定义ROS消息和工具的集成。

关键创新：ROSAnnotator的关键创新在于将多模态LLM集成到ROSBag数据分析流程中，实现了自动标注功能。这大大提高了标注效率，并减少了手动标注的偏差。此外，该应用提供开放接口，允许用户集成自定义的ROS消息和工具，使其具有高度的灵活性和可扩展性。

关键设计：ROSAnnotator的关键设计包括：1) 使用Web技术构建用户界面，方便用户远程访问和协作。2) 采用模块化设计，方便扩展和维护。3) 集成预训练的多模态LLM，例如用于视频理解和语音识别的模型。4) 提供灵活的标注配置，允许用户自定义标签、注释和自动标注规则。5) 采用高效的数据存储和检索机制，保证大规模ROSBag数据的处理速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ROSAnnotator通过集成多模态LLM，显著提升了ROSBag数据的标注效率。虽然论文中没有提供具体的性能数据，但集成的LLM能够自动识别和标注视频、音频和文本数据中的关键信息，从而减少了人工标注的工作量。此外，ROSAnnotator提供的统计分析功能可以快速生成标注数据的统计摘要，帮助研究人员快速了解数据的分布和特征。

🎯 应用场景

ROSAnnotator可广泛应用于人机交互、机器人行为分析、自动化测试等领域。研究人员可以利用该工具高效地分析机器人与人类的交互数据，从而改进机器人控制策略和用户体验。在工业自动化领域，该工具可用于分析机器人操作过程中的异常行为，提高生产效率和安全性。此外，该工具还可用于教育领域，帮助学生学习和理解机器人技术。

📄 摘要（原文）

Human-robot interaction (HRI) is an interdisciplinary field that utilises both quantitative and qualitative methods. While ROSBags, a file format within the Robot Operating System (ROS), offer an efficient means of collecting temporally synched multimodal data in empirical studies with real robots, there is a lack of tools specifically designed to integrate qualitative coding and analysis functions with ROSBags. To address this gap, we developed ROSAnnotator, a web-based application that incorporates a multimodal Large Language Model (LLM) to support both manual and automated annotation of ROSBag data. ROSAnnotator currently facilitates video, audio, and transcription annotations and provides an open interface for custom ROS messages and tools. By using ROSAnnotator, researchers can streamline the qualitative analysis process, create a more cohesive analysis pipeline, and quickly access statistical summaries of annotations, thereby enhancing the overall efficiency of HRI data analysis. https://github.com/CHRI-Lab/ROSAnnotator