J-ORA: A Framework and Multimodal Dataset for Japanese Object Identification, Reference, Action Prediction in Robot Perception

📄 arXiv: 2510.21761v1 📥 PDF

作者: Jesse Atuhurra, Hidetaka Kamigaito, Taro Watanabe, Koichiro Yoshino

分类: cs.RO, cs.AI, cs.CV

发布日期: 2025-10-13

备注: Accepted to IROS2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

J-ORA：用于机器人感知的日语物体识别、指代和动作预测的多模态数据集与框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人感知 多模态数据集 物体识别 指代消解 动作预测 视觉语言模型 人机交互

📋 核心要点

  1. 现有机器人感知方法缺乏对物体属性的细粒度理解，限制了其在复杂人机交互场景中的应用。
  2. J-ORA数据集通过提供详细的物体属性标注，包括类别、颜色、形状等，增强模型对场景的理解。
  3. 实验表明，利用J-ORA数据集训练的视觉语言模型在物体识别和动作预测任务上取得了显著的性能提升。

📝 摘要（中文）

本文介绍J-ORA，这是一个新颖的多模态数据集，旨在弥合机器人感知领域的差距。J-ORA通过提供日语人机对话场景中详细的物体属性标注，支持物体识别、指代消解和下一步动作预测这三个关键的感知任务。该数据集利用全面的属性模板（例如，类别、颜色、形状、大小、材料和空间关系）。通过对专有和开源视觉语言模型（VLM）进行广泛评估，结果表明，与不包含物体属性的情况相比，结合详细的物体属性可以显著提高多模态感知性能。尽管有所改进，我们发现专有VLM和开源VLM之间仍然存在差距。此外，我们对物体可供性的分析表明，不同的VLM在理解物体功能和上下文关系方面存在差异。这些发现强调了在动态环境中推进机器人感知时，丰富且上下文敏感的属性标注的重要性。

🔬 方法详解

问题定义：现有机器人感知系统在理解人类指令和执行相应动作时，面临着物体识别和指代消解的挑战。特别是在人机对话场景中，机器人需要准确理解人类对物体的描述（例如，颜色、形状、位置），并预测下一步应该执行的动作。现有方法通常缺乏对物体属性的细粒度建模，导致理解偏差和动作错误。

核心思路：J-ORA的核心思路是通过构建一个包含详细物体属性标注的多模态数据集，来提升视觉语言模型对场景的理解能力。该数据集不仅包含图像和文本信息，还提供了丰富的物体属性标注，例如类别、颜色、形状、大小、材料和空间关系。通过训练模型学习这些属性与物体之间的关联，可以提高模型在物体识别、指代消解和动作预测任务上的性能。

技术框架：J-ORA框架包含数据集构建和模型评估两个主要部分。数据集构建部分涉及收集日语人机对话场景的图像和文本数据，并对图像中的物体进行详细的属性标注。模型评估部分则利用J-ORA数据集对现有的视觉语言模型进行训练和测试，评估其在物体识别、指代消解和动作预测任务上的性能。框架支持使用专有和开源的视觉语言模型进行评估。

关键创新：J-ORA的关键创新在于其提供了详细的物体属性标注，这使得模型能够学习到物体属性与物体之间的细粒度关联。与以往的数据集相比，J-ORA不仅提供了物体类别信息，还提供了颜色、形状、大小、材料和空间关系等属性信息，从而更全面地描述了物体。这种细粒度的标注方式可以显著提高模型对场景的理解能力。

关键设计：J-ORA数据集的标注模板包含类别、颜色、形状、大小、材料和空间关系等属性。空间关系属性描述了物体之间的相对位置关系，例如“在...之上”、“在...旁边”等。在模型训练过程中，可以使用交叉熵损失函数来优化模型对物体属性的预测。此外，还可以使用对比学习方法来学习物体属性与图像特征之间的关联。

📊 实验亮点

实验结果表明，在J-ORA数据集上训练的视觉语言模型在物体识别、指代消解和动作预测任务上取得了显著的性能提升。与不包含物体属性的模型相比，结合详细物体属性的模型在各项任务上的准确率均有明显提高。此外，实验还发现，专有视觉语言模型在J-ORA数据集上的表现优于开源模型，表明专有模型在理解复杂场景和细粒度属性方面具有优势。

🎯 应用场景

J-ORA数据集和框架可应用于各种人机交互场景，例如家庭服务机器人、工业机器人和医疗机器人。通过提高机器人对物体属性的理解能力，可以使其更好地理解人类指令，并执行相应的动作。此外，J-ORA还可以用于开发更智能的虚拟助手和智能家居系统，提升用户体验。

📄 摘要（原文）

We introduce J-ORA, a novel multimodal dataset that bridges the gap in robot perception by providing detailed object attribute annotations within Japanese human-robot dialogue scenarios. J-ORA is designed to support three critical perception tasks, object identification, reference resolution, and next-action prediction, by leveraging a comprehensive template of attributes (e.g., category, color, shape, size, material, and spatial relations). Extensive evaluations with both proprietary and open-source Vision Language Models (VLMs) reveal that incorporating detailed object attributes substantially improves multimodal perception performance compared to without object attributes. Despite the improvement, we find that there still exists a gap between proprietary and open-source VLMs. In addition, our analysis of object affordances demonstrates varying abilities in understanding object functionality and contextual relationships across different VLMs. These findings underscore the importance of rich, context-sensitive attribute annotations in advancing robot perception in dynamic environments. See project page at https://jatuhurrra.github.io/J-ORA/.