RobotEQ-Video: A Video-Centric Benchmark for Social Proactive Intelligence with World-State Taxonomy
作者: Xinyi Che, Zheng Lian, Kuofei Fang, Xuehao Wang, Xinghai Gao, Junqing Wu, Chuyu Wu, Liyi Liu, Yanhan Huang, Keyi Xie, Haomin Ouyang, Jinyang Wu, Fan Zhang, Runhao Zeng, Xun Yang, Bin He
分类: cs.CV, cs.HC
发布日期: 2026-09-18
💡 一句话要点
提出RobotEQ-Video以解决社交主动智能研究中的视频分析不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 社交主动智能 视频分析 世界状态分类法 行为适当性 动态视频理解 多样场景覆盖 人机交互
📋 核心要点
- 现有社交主动智能研究主要依赖静态图像，缺乏动态视频分析，导致信息获取不足。
- 本文提出RobotEQ-Video，构建分层世界状态分类法，确保视频数据的全面覆盖，提升分析能力。
- 基准评估显示，当前系统在行为适当性评估上仍不可靠，未能达到人类的表现水平。
📝 摘要（中文）
社交主动智能（SPI）将主动协助的范围扩展到考虑社交适宜性，但现有研究存在两个主要局限。首先，现有工作主要集中于静态图像，而动态视频提供了推断人类状态和需求的重要线索，信息更为丰富。其次，现有研究往往依赖自由形式的数据收集管道，无法保证对多样场景的全面覆盖。为了解决这些问题，本文提出RobotEQ-Video，将重点从图像分析转向视频分析，并构建了一个分层的世界状态分类法，以确保视频覆盖的全面性。该基准包含2000多个视频、10万多个人工标注和16000多个行为适当性标签，评估结果显示当前系统仍不可靠，未能达到人类表现。
🔬 方法详解
问题定义：本文旨在解决社交主动智能研究中对动态视频分析的不足，现有方法主要依赖静态图像，无法充分捕捉人类的状态和需求。
核心思路：通过引入RobotEQ-Video，论文将分析重点从静态图像转向动态视频，利用视频中丰富的上下文信息来提升社交主动智能的表现。
技术框架：整体架构包括视频数据的收集、分层世界状态分类法的构建，以及行为适当性标签的生成。该框架分为四个层级，涵盖6个领域、20个维度、142个一级属性和816个二级属性。
关键创新：最重要的创新在于构建了一个系统化的世界状态分类法，确保了对多样场景的全面覆盖，显著提升了数据的丰富性和分析的准确性。
关键设计：在参数设置上，采用了多层次的分类结构，损失函数设计考虑了行为适当性的评估，网络结构则结合了视频特征提取和行为分析模块，以实现更高效的学习和推理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RobotEQ-Video基准评估中，当前系统的表现仍不可靠，未能达到人类的表现水平，显示出在行为适当性评估上的显著不足。这一发现强调了动态视频分析在社交主动智能中的重要性。
🎯 应用场景
该研究的潜在应用领域包括人机交互、智能机器人、社交机器人等，能够在多种场景中提供更为适宜的主动协助。未来，该方法可能推动社交主动智能的发展，使机器人能够更好地理解和响应人类的需求，提升用户体验。
📄 摘要（原文）
Social Proactive Intelligence (SPI) extends proactive assistance beyond task completeness to consider social appropriateness in diverse embodied scenarios. However, prior SPI research faces two key limitations. First, existing work focuses on static images, whereas dynamic videos provide crucial cues for inferring human states and needs, offering richer information than isolated images. Second, prior work often relies on free-form data collection pipelines, which fail to guarantee comprehensive coverage of diverse scenarios. To address these gaps, we introduce RobotEQ-Video, shifting the focus from image-centric to video-centric analysis. To ensure comprehensive video coverage, we construct a hierarchical world-state taxonomy organized into a four-level coarse-to-fine structure, comprising 6 domains, 20 dimensions, 142 level-1 attributes, and 816 level-2 attributes. The resulting benchmark comprises 2K+ videos with 100K+ human annotations and 16K+ labels for assessing behavior properness. Benchmark evaluation reveals that current systems remain unreliable and fall short of human performance. We further explore how world models can help tackle this task. This work advances SPI research from static images to dynamic videos and ensures more comprehensive scenario coverage during benchmarking.