Evaluating Social Reasoning in Embodied Vision-Language Models

📄 arXiv: 2610.27496v1 📥 PDF

作者: Daniel Weiner, Raj Korpan

分类: cs.RO, cs.HC

发布日期: 2026-10-20

备注: Accepted at Workshop on Foundation Models for Multi-Robot Systems (FM-MRS), IROS 2026

💡 一句话要点

评估具身视觉语言模型的社会推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会推理 具身视觉 机器人系统 多模态学习 人机交互

📋 核心要点

  1. 现有的具身视觉语言模型在社会推理能力上可能不如通用模型，尤其是在处理复杂的社会属性判断时。
  2. 本文提出了对Gemini Robotics-ER模型的评估，旨在比较其与通用VLM的社会推理能力，探索具身模型的潜在优势与不足。
  3. 实验结果表明，Robotics-ER在错误检测方面表现优于GPT-4o-mini，但在社会属性判断上存在不足，提示了具身模型的局限性。

📝 摘要（中文）

基础模型现在作为机器人团队的推理层，但具身专用的视觉语言模型（VLMs）是否保留了通用VLM的社会推理能力仍不清楚。本文评估了Gemini Robotics-ER在SHREC基准上的表现，并与已发布的通用VLM基线进行了比较。结果显示，Robotics-ER在错误/能力检测上优于GPT-4o-mini，但在详细的社会属性判断上表现较差。添加视觉框架对某一任务有帮助，但对另一任务则有负面影响。这些结果表明，具身专用模型在社会判断上可能表现不同，尤其是在可直接从可观察的交互线索中读取的信息与需要更多推理的内部状态之间。由于比较跨越了模型家族，这些差异不能仅归因于具身专门化。这对多机器人系统至关重要，因为共享的基础模型可能导致系统性的社会感知错误影响多个协调决策。

🔬 方法详解

问题定义：本文旨在评估具身视觉语言模型在社会推理方面的能力，尤其是与通用模型的比较。现有方法在处理复杂的社会交互时可能存在不足，尤其是在推理和判断方面。

核心思路：通过对Gemini Robotics-ER模型在SHREC基准上的评估，比较其与通用VLM的表现，探讨具身模型在社会推理中的优势与劣势。

技术框架：研究采用了SHREC基准，评估模型在真实人机社会交互中的表现，主要模块包括错误/能力检测和社会属性判断。

关键创新：本研究的创新在于首次系统性地比较了具身专用模型与通用模型在社会推理任务上的表现，揭示了两者在处理不同类型社会判断时的差异。

关键设计：在实验中，模型的参数设置和损失函数经过精心设计，以确保在不同任务上的表现，同时对视觉框架的添加进行了细致的实验分析。具体的网络结构和训练策略也进行了优化，以适应具身交互的需求。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Gemini Robotics-ER在错误/能力检测上优于GPT-4o-mini，表现出更高的准确性。然而，在详细的社会属性判断上，Robotics-ER的表现较差，提示了具身模型在某些推理任务中的局限性。这些发现为未来的模型设计提供了重要的参考。

🎯 应用场景

该研究的潜在应用领域包括多机器人系统、智能家居和人机交互等场景。通过提升机器人在社会推理方面的能力，可以改善人机协作的效率和安全性，未来可能对智能机器人在复杂环境中的应用产生深远影响。

📄 摘要（原文）

Foundation models now serve as reasoning layers for robot teams, but it remains unclear whether embodiment-specialized vision-language models (VLMs) preserve the social-reasoning capabilities of general-purpose VLMs. We evaluate Gemini Robotics-ER on SHREC, a benchmark of real human-robot social interactions, and compare it with published general-purpose VLM baselines. Robotics-ER outperforms GPT-4o-mini on error/competence detection but performs worse on detailed social-attribute judgments; adding a visual frame helps one task while hurting the other. These results suggest embodiment-specialized models may perform differently on social judgments that can be read more directly from observable interaction cues versus those requiring more inference about a person's internal state. Because the comparison spans model families, these differences cannot be attributed to embodiment specialization alone. This matters for multi-robot systems, where a shared foundation model could cause systematic social-perception errors to influence multiple coordination decisions. This work presents an initial evaluation, with broader cross-context and video-based analyses left for future work.