Does Local Video Understanding Transfer Across Encounters? The EgoGears Benchmark
作者: Yuedong Tan, Lei Qi, Yu Liu, Di Wen, Ruiping Liu, Xiaoye Wang, Yufan Chen, Junwei Zheng, Chengzhi Wu, Chen Zhang, Zhihang Chen, Haiwen Sun, Zongwei Wu, Radu Timofte, Danda Pani Paudel, Kunyu Peng
分类: cs.CV, cs.AI, cs.RO
发布日期: 2026-09-29
🔗 代码/项目: GITHUB
💡 一句话要点
提出EgoGears基准以解决视频理解迁移问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 视频理解 迁移学习 具身系统 EgoGears 多视频问题 局部感知 观察-证据绑定
📋 核心要点
- 现有方法在跨视频理解中难以有效区分局部感知失败与观察身份保持等问题，导致准确率评估不够清晰。
- 本文提出EgoGears基准，通过设计单视频和多视频问题，旨在系统性地评估视频理解的迁移能力。
- 实验结果显示，模型在多视频问题上的表现显著低于单视频问题，揭示了观察-证据绑定和状态跟踪的关键瓶颈。
📝 摘要（中文）
具身系统必须在不同的视角、运动和光照条件下，利用在一次遭遇中获得的知识。然而，现有的跨视频准确率评估无法清晰区分局部感知失败与观察身份保持、对应关系建立和证据组合的失败。为此，本文提出了EgoGears，一个旨在诊断这一迁移过程的单视频和多视频基准。该基准包含567个单视频和1487个多视频问题，基于126个由人类收集的自我中心录音，涵盖39条户外路线。实验结果显示，模型在多视频问题上的表现普遍低于单视频问题，平均下降22.5个百分点，主要瓶颈在于观察与证据的绑定及有序路线状态跟踪。
🔬 方法详解
问题定义：本文旨在解决具身系统在不同环境中如何有效迁移局部视频理解的问题。现有方法未能明确区分局部感知失败与观察身份保持等问题，导致评估结果模糊。
核心思路：通过引入EgoGears基准，设计单视频和多视频问题，系统性地评估模型在不同环境下的理解能力，特别关注观察与证据的绑定。
技术框架：EgoGears基准包含567个单视频问题和1487个多视频问题，基于126个自我中心录音，涵盖39条户外路线。实验通过不同的运动速度和光照条件进行比较，确保在共享物理环境下的有效性。
关键创新：EgoGears基准的设计使得研究者能够明确识别和分析局部视频理解的迁移能力，特别是观察-证据绑定和有序状态跟踪的挑战，这是现有方法所缺乏的。
关键设计：在实验中，使用了29个单视频和31个多视频的MLLM配置，涵盖六个模型家族。结果显示，在20个可比配置中，模型在多视频问题上的表现普遍较差，平均下降22.5个百分点，表明了设计的有效性和必要性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在20个可比配置中，所有模型在多视频问题上的表现均低于单视频问题，平均下降22.5个百分点。这一结果揭示了观察-证据绑定和有序状态跟踪的关键瓶颈，为后续研究提供了重要的方向。
🎯 应用场景
EgoGears基准的提出为具身系统在复杂环境中的视频理解提供了新的评估工具，具有广泛的应用潜力。未来可用于机器人导航、增强现实和智能监控等领域，推动相关技术的发展与应用。
📄 摘要（原文）
Embodied systems must make knowledge acquired during one encounter usable in another despite changes in viewpoint, motion, and illumination. Yet aggregate cross-video accuracy conflates failures of local perception with failures to preserve observation identity, establish correspondence, and compose evidence, obscuring whether local video understanding actually transfers. We introduce EgoGears, a complementary single- and multi-video benchmark designed to diagnose this transition. It contains 567 single-video and 1,487 multi-video questions derived from 126 human-collected egocentric recordings covering 39 outdoor routes. Repeated traversals across movement speeds and lighting conditions ground comparisons in shared physical environments; 531 questions require alignment across independent recordings. Single-video questions measure the local visual, spatial, and motion evidence available to a model, while multi-video questions test whether evidence remains bound to the correct observation and can be composed into consistent route relationships. We report 29 single-video and 31 multi-video MLLM configurations across six model families in the main leaderboard. Among the 20 configurations evaluated comparably on both splits, every model performs worse on multi-video questions, with a mean decrease of 22.5 percentage points, and the gap persists when answer format and scoring are held fixed. The gap is not explained simply by additional videos or recording boundaries. The central bottlenecks are observation--evidence binding and ordered route-state tracking. The code and benchmark are publicly available at https://github.com/lei-qi-233/EgoGears.