EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

📄 arXiv: 2609.39378v1 📥 PDF

作者: Shulin Tian, Junsu Kim, Shuai Liu, Hao Li, Yujiao Shen, Sihan Li, Zhe Yang, Yeongon Kim, Feiyu Li, Jialin Wu, Yichi Zhang, Wenhui Wang, Runmao Yao, Yuhao Dong, Zhaoxi Chen, Fangzhou Hong, Antonino Furnari, Jingkang Yang, Hongyuan Zhu, Ziwei Liu

分类: cs.CV

发布日期: 2026-09-30

备注: 32 pages, 7 figures. Project page: https://ropedia.github.io/egotools

💡 一句话要点

提出EgoTools以解决工具使用理解的挑战

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具使用理解 自我中心视频 多模态学习 数据集构建 推理能力提升

📋 核心要点

  1. 现有多模态视频模型在工具使用理解方面表现不足，缺乏真实世界自我中心数据和基准。
  2. EgoTools通过提供大规模的工具中心自我中心录音和诊断基准，填补了这一研究空白。
  3. 实验表明，EgoTools-Data作为训练资源显著提升了模型的性能，Qwen3-VL-8B-Instruct的准确率从50.0%提升至60.9%。

📝 摘要（中文）

现实世界的具身任务需要代理在物理约束下行动，同时跟踪不断变化的对象和任务状态。工具使用是这些任务的核心，理解工具使用需要推理关于可用性、手-工具-对象几何、过程进展和因果效应等方面。尽管现有多模态视频模型在视频任务上表现良好，但在工具中心的具身推理方面仍然有限。为此，本文提出EgoTools，这是第一个全面的工具使用理解数据集和基准，包含100小时的工具中心自我中心录音及其同步音频、密集字幕、推理重的叙述和补充的3D信息。实验结果表明，当前模型在视觉证据中定位工具使用仍然存在困难，EgoTools为训练和评估提供了统一资源。

🔬 方法详解

问题定义：本文旨在解决工具使用理解的挑战，现有方法在视觉证据中定位工具使用的能力不足，缺乏真实世界的自我中心数据和有效的评估基准。

核心思路：EgoTools通过构建一个包含丰富工具使用场景的数据集和基准，提供了一个全面的工具使用理解框架，旨在促进模型在工具使用推理方面的能力提升。

技术框架：EgoTools由两个主要组件组成：EgoTools-Data和EgoTools-Bench。前者是一个包含100小时工具中心录音的大规模数据集，后者是一个包含1000个QA对的诊断基准，覆盖工具使用的多个维度。

关键创新：EgoTools的创新在于其综合性和针对性，首次提供了一个专注于工具使用理解的自我中心数据集和基准，与现有方法相比，能够更好地支持工具使用的多维度推理。

关键设计：数据集中的参数设置包括同步音频、密集字幕和3D信息，损失函数和网络结构则针对工具使用的推理任务进行了优化，以提升模型在视觉证据中的定位能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前模型在工具使用理解方面仍存在挑战，Gemini-3.1-Pro的整体准确率为66.9%，但在感知与定位任务上仅为51.7%。通过EgoTools-Data的训练，Qwen3-VL-8B-Instruct的准确率从50.0%提升至60.9%，验证了数据集的有效性。

🎯 应用场景

EgoTools的研究成果在多个领域具有潜在应用价值，包括机器人操作、虚拟现实、教育培训等。通过提升工具使用理解能力，能够更好地支持智能代理在复杂环境中的决策和操作，推动人机协作的进步。

📄 摘要（原文）

Real-world embodied tasks, from everyday activities to professional procedures, require agents to act under physical constraints while tracking evolving object and task states. Tool use sits at the heart of such tasks, as many everyday and professional activities are tool-mediated. Understanding them requires reasoning about affordances, hand-tool-object geometry, procedural progress, and causal effects on target objects. Yet despite strong performance on perception-oriented video tasks such as captioning and general video QA, current multimodal video models remain limited in this form of tool-centric embodied reasoning. Progress in this direction has been limited by the lack of real-world egocentric data and diagnostic benchmarks. To address this gap, we introduce EgoTools, the first comprehensive suite for egocentric tool-use understanding. It consists of two complementary components: EgoTools-Data, a large-scale corpus of 100 hours of tool-centric egocentric recordings with synchronized audio, dense captions, reasoning-heavy narrations, and supplementary 3D information; and EgoTools-Bench, a diagnostic benchmark of 1,000 QA pairs across four tracks that cover tool-use understanding from perception and geometry to procedure and causal reasoning. Experimental results show that current models still struggle to ground tool use in visual evidence: Gemini-3.1-Pro achieves 66.9% overall accuracy but only 51.7% on Perception & Grounding. Beyond evaluation, we validate EgoTools-Data as a training resource. On the full 1,000-question benchmark, full supervised fine-tuning improves Qwen3-VL-8B-Instruct from 50.0% to 60.9%, under strict source-video separation. Together, these results establish EgoTools as a unified resource for both training and diagnostic evaluation of real-world egocentric tool-use understanding.