STARS: From Spatiotemporal Dynamics to Social Representations in Human-Robot Interaction

📄 arXiv: 2609.40245v1 📥 PDF

作者: Nathan Tsoi, Michael J. Munje, Tejas Oberoi, Rishab Maheshwari, Pengen Zheng, Tanush Chauhan, Peter Stone, Joydeep Biswas

分类: cs.RO, cs.LG

发布日期: 2026-09-30

备注: Conference on Robot Learning (CoRL) 2026. First two authors contributed equally. Project site: https://larg.github.io/stars/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SocialNav-SUB基准以解决社交机器人导航场景理解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交机器人 视觉-语言模型 场景理解 视觉问答 动态环境 人机交互 基准评估

📋 核心要点

  1. 现有的视觉-语言模型在社交导航场景中的理解能力尚未得到系统评估，存在明显的不足。
  2. 本文提出了SocialNav-SUB基准，旨在通过视觉问答任务评估VLMs在社交机器人导航中的场景理解能力。
  3. 实验结果显示，尽管最优VLM与人类答案的符合度较高，但仍低于基于规则的方法，表明社交场景理解存在显著差距。

📝 摘要（中文）

在动态的人类中心环境中，机器人导航需要基于稳健的场景理解做出符合社会规范的决策。尽管近期的视觉-语言模型（VLMs）在物体识别、常识推理和上下文理解等方面表现出色，但它们在复杂社交导航场景中的理解能力仍不明确。本文提出了社交导航场景理解基准（SocialNav-SUB），这是一个视觉问答（VQA）数据集和基准，旨在评估VLMs在真实社交机器人导航场景中的场景理解能力。通过与最先进的VLMs的实验，发现尽管表现最好的VLM与人类答案的符合概率令人鼓舞，但仍低于简单的基于规则的方法和人类共识基线，表明当前VLMs在社交场景理解方面存在关键差距。

🔬 方法详解

问题定义：本文旨在解决社交机器人在复杂社交导航场景中对空间-时间关系及人类意图的理解不足的问题。现有方法未能系统评估VLMs在这些场景中的表现，导致机器人导航的安全性和社会合规性受到影响。

核心思路：提出SocialNav-SUB基准，通过视觉问答任务评估VLMs的场景理解能力，特别关注空间、时间和社交推理的能力，以满足社交机器人导航的需求。

技术框架：该框架包括数据集构建、VQA任务设计和评估指标，旨在提供一个统一的评估平台，比较VLMs与人类和基于规则的方法的表现。

关键创新：最重要的创新在于构建了一个专门针对社交导航场景的评估基准，填补了现有研究的空白，使得VLMs的能力可以在真实世界的社交机器人导航中得到验证。

关键设计：在数据集构建中，设计了多样化的场景和问题类型，确保涵盖空间、时间和社交推理的各个方面，同时设置了合理的评估标准，以便与人类和基于规则的方法进行有效对比。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，尽管表现最好的VLM与人类答案的符合概率达到一定水平，但仍低于简单的基于规则的方法和人类共识基线，显示出当前VLMs在社交场景理解方面存在显著差距。这一发现为未来的研究提供了重要的方向。

🎯 应用场景

该研究的潜在应用领域包括社交机器人、智能家居、服务机器人等，能够提升机器人在动态环境中的导航能力和人机交互的自然性。未来，随着VLMs的进一步优化，该基准将推动社交机器人在复杂环境中的应用，提升其安全性和社会适应性。

📄 摘要（原文）

Robot navigation in dynamic, human-centered environments requires socially-compliant decisions grounded in robust scene understanding. Recent Vision-Language Models (VLMs) exhibit promising capabilities such as object recognition, common-sense reasoning, and contextual understanding, capabilities that align with the nuanced requirements of social robot navigation. However, it remains unclear whether VLMs can accurately understand complex social navigation scenes (e.g., inferring the spatial-temporal relations among agents and human intentions), which is essential for safe and socially compliant robot navigation. While some recent works have explored the use of VLMs in social robot navigation, no existing work systematically evaluates their ability to meet these necessary conditions. In this paper, we introduce the Social Navigation Scene Understanding Benchmark (SocialNav-SUB), a Visual Question Answering (VQA) dataset and benchmark designed to evaluate VLMs for scene understanding in real-world social robot navigation scenarios. SocialNav-SUB provides a unified framework for evaluating VLMs against human and rule-based baselines across VQA tasks requiring spatial, spatiotemporal, and social reasoning in social robot navigation. Through experiments with state-of-the-art VLMs, we find that while the best-performing VLM achieves an encouraging probability of agreeing with human answers, it still underperforms simpler rule-based approach and human consensus baselines, indicating critical gaps in social scene understanding of current VLMs. Our benchmark sets the stage for further research on foundation models for social robot navigation, offering a framework to explore how VLMs can be tailored to meet real-world social robot navigation needs. An overview of this paper along with the code and data can be found at https://larg.github.io/socialnav-sub.