Social 3D Scene Graphs: Modeling Human Actions and Relations for Interactive Service Robots

📄 arXiv: 2509.24966v1 📥 PDF

作者: Ermanno Bartoli, Dennis Rotondi, Buwei He, Patric Jensfelt, Kai O. Arras, Iolanda Leite

分类: cs.CV

发布日期: 2025-09-29

💡 一句话要点

提出Social 3D Scene Graphs，用于交互式服务机器人理解人类行为与关系

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景图 社会机器人 人机交互 场景理解 关系推理 活动识别 合成数据集

📋 核心要点

  1. 现有3D场景图忽略场景中的人类及其与环境的交互关系，限制了机器人对社会场景的理解。
  2. 论文提出Social 3D Scene Graphs，通过开放词汇框架捕获人类属性、活动以及局部和远程关系。
  3. 实验表明，该表示方法提高了人类活动预测和人-环境关系推理能力，为社会智能机器人奠定基础。

📝 摘要（中文）

为了使机器人能够以符合社会规范和感知环境的方式行动，理解人类如何与周围环境以及彼此互动至关重要。虽然3D场景图已成为一种强大的场景理解语义表示，但现有方法在很大程度上忽略了场景中的人类，部分原因是缺乏带标注的人类-环境关系数据。此外，现有方法通常仅从单个图像帧中捕获开放词汇关系，这限制了它们对超出观察内容的远程交互进行建模的能力。我们引入了Social 3D Scene Graphs，这是一种增强的3D场景图表示，它使用开放词汇框架捕获人类、他们的属性、活动以及在环境中的局部和远程关系。此外，我们引入了一个新的基准，该基准由具有全面人类-场景关系注释的合成环境和用于评估3D社会场景理解的各种类型的查询组成。实验表明，我们的表示提高了人类活动预测和关于人类-环境关系的推理能力，为实现具有社会智能的机器人铺平了道路。

🔬 方法详解

问题定义：现有3D场景图主要关注静态场景几何和物体，缺乏对场景中人类及其行为的建模，忽略了人与环境、人与人之间的复杂关系。这导致机器人难以理解社会互动场景，无法做出符合社会规范的决策。现有方法通常依赖单帧图像进行关系推断，难以捕捉长期交互和远程关系。

核心思路：论文的核心思路是通过扩展传统的3D场景图，使其能够显式地表示场景中的人类个体、他们的属性（如姿态、身份）、正在进行的活动以及他们与环境和其他人之间的关系。这种扩展使得机器人能够更好地理解场景的社会动态，从而做出更明智的决策。

技术框架：Social 3D Scene Graphs在传统3D场景图的基础上增加了人类节点，并为这些节点添加了属性和关系。整体框架包含以下几个关键模块：1) 人体检测与姿态估计模块，用于识别场景中的人类个体并估计其姿态；2) 活动识别模块，用于识别人类正在进行的活动；3) 关系推断模块，用于推断人与环境、人与人之间的关系；4) 场景图构建与更新模块，用于将上述信息整合到3D场景图中，并随着时间的推移进行更新。

关键创新：最重要的创新点在于将人类及其社会关系显式地建模到3D场景图中。与现有方法相比，Social 3D Scene Graphs能够更好地捕捉场景的社会动态，并支持更复杂的推理任务。此外，论文还提出了一个基于合成数据的benchmark，用于评估社会场景理解算法的性能。

关键设计：关系推断模块是关键设计之一，可能采用图神经网络（GNN）来学习节点之间的关系表示。损失函数的设计需要考虑不同类型关系的权重，以及活动识别的准确性。具体参数设置未知，可能需要根据实际数据集进行调整。

📊 实验亮点

论文提出了一个新的合成数据集，包含丰富的人类-场景关系标注，为社会场景理解研究提供了基准。实验结果表明，使用Social 3D Scene Graphs可以显著提高人类活动预测和人-环境关系推理的准确性，具体提升幅度未知，需要在论文中查找。

🎯 应用场景

该研究成果可应用于服务机器人、自动驾驶、智能监控等领域。例如，服务机器人可以利用Social 3D Scene Graphs理解家庭环境中的人类活动，从而提供更个性化的服务。自动驾驶系统可以利用该技术预测行人的行为意图，从而提高安全性。智能监控系统可以利用该技术检测异常行为，从而提高安全性。

📄 摘要（原文）

Understanding how people interact with their surroundings and each other is essential for enabling robots to act in socially compliant and context-aware ways. While 3D Scene Graphs have emerged as a powerful semantic representation for scene understanding, existing approaches largely ignore humans in the scene, also due to the lack of annotated human-environment relationships. Moreover, existing methods typically capture only open-vocabulary relations from single image frames, which limits their ability to model long-range interactions beyond the observed content. We introduce Social 3D Scene Graphs, an augmented 3D Scene Graph representation that captures humans, their attributes, activities and relationships in the environment, both local and remote, using an open-vocabulary framework. Furthermore, we introduce a new benchmark consisting of synthetic environments with comprehensive human-scene relationship annotations and diverse types of queries for evaluating social scene understanding in 3D. The experiments demonstrate that our representation improves human activity prediction and reasoning about human-environment relations, paving the way toward socially intelligent robots.