Do MLLMs Understand Pointing? Benchmarking and Enhancing Referential Reasoning in Egocentric Vision
作者: Chentao Li, Zirui Gao, Mingze Gao, Yinglian Ren, Jianjiang Feng, Jie Zhou
分类: cs.CV, cs.HC
发布日期: 2026-04-23
备注: 20 pages, 14 figures. Committed to ACL 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出EgoPoint-Bench基准，提升MLLM在第一人称视觉中基于指向的引用理解能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 第一人称视觉 多模态大语言模型 指向手势理解 引用推理 基准数据集
📋 核心要点
- 现有MLLM在理解第一人称视觉中的指向手势时，容易产生“引用幻觉”，依赖视觉邻近性而非精确的空间语义。
- 论文提出EgoPoint-Bench基准，包含模拟和真实数据，用于评估和提升MLLM在第一人称视角下的指向推理能力。
- 实验表明，在EgoPoint-Bench上微调的模型，在第一人称指向理解方面取得了显著的性能提升和良好的泛化能力。
📝 摘要（中文）
本文针对多模态大语言模型(MLLM)在第一人称视觉中理解指向手势的不足，指出当前系统容易受到视觉邻近性和物体显著性的干扰，产生“引用幻觉”。为此，作者提出了EgoPoint-Bench，一个全面的问答基准，用于评估和提升MLLM在第一人称视角下的多模态指向推理能力。该基准包含超过11k个高质量的模拟和真实世界样本，涵盖五个评估维度和三个级别的引用复杂度。实验表明，当前最先进的商业和开源模型在第一人称指向理解方面表现不佳，但在合成数据上微调的模型取得了显著的性能提升和强大的sim-to-real泛化能力。这项工作强调了空间感知监督的重要性，并为精确的第一人称AI助手提供了一条可扩展的路径。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLM）在理解第一人称视觉中的指向手势时存在的“引用幻觉”问题。现有方法往往依赖于视觉邻近性或物体显著性等表面特征，而无法真正理解指向的空间语义，导致在需要精确空间推理的场景下表现不佳。
核心思路：论文的核心思路是构建一个高质量的、包含丰富空间信息的基准数据集EgoPoint-Bench，并利用该数据集对MLLM进行微调，从而提升模型对指向手势的理解能力。通过在合成数据上进行训练，并验证其在真实数据上的泛化能力，证明了空间感知监督的有效性。
技术框架：整体框架包括数据生成、模型训练和评估三个主要阶段。数据生成阶段，作者构建了包含模拟和真实数据的EgoPoint-Bench基准，涵盖不同的评估维度和引用复杂度。模型训练阶段，作者选择现有的MLLM模型，并在EgoPoint-Bench的合成数据上进行微调。评估阶段，作者在EgoPoint-Bench的真实数据上评估微调后的模型性能，并与基线模型进行比较。
关键创新：论文的关键创新在于提出了EgoPoint-Bench基准，该基准专门用于评估和提升MLLM在第一人称视角下的指向推理能力。与现有数据集相比，EgoPoint-Bench更加关注空间信息的精确性和引用关系的复杂性，能够更有效地评估模型的空间推理能力。
关键设计：EgoPoint-Bench基准包含五个评估维度：目标类型、遮挡程度、视角变化、指向距离和干扰物数量。数据集分为三个级别的引用复杂度：简单引用、多重引用和否定引用。在模型微调方面，作者使用了标准的交叉熵损失函数，并针对不同的模型结构进行了适当的调整。具体参数设置在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在EgoPoint-Bench基准上，经过微调的MLLM模型取得了显著的性能提升。例如，在真实数据上，微调后的模型在指向理解任务上的准确率比基线模型提高了10%以上。此外，实验还证明了模型在合成数据上训练后，能够很好地泛化到真实数据，表明了该方法的有效性和实用性。
🎯 应用场景
该研究成果可应用于智能眼镜、机器人助手等需要理解人类意图的场景。例如，智能眼镜可以根据用户的指向手势和语音指令，准确识别用户想要操作的对象，从而实现更自然、更智能的人机交互。此外，该研究还可以促进第一人称视觉领域的发展，为开发更强大的AI助手奠定基础。
📄 摘要（原文）
Egocentric AI agents, such as smart glasses, rely on pointing gestures to resolve referential ambiguities in natural language commands. However, despite advancements in Multimodal Large Language Models (MLLMs), current systems often fail to precisely ground the spatial semantics of pointing. Instead, they rely on spurious correlations with visual proximity or object saliency, a phenomenon we term "Referential Hallucination." To address this gap, we introduce EgoPoint-Bench, a comprehensive question-answering benchmark designed to evaluate and enhance multimodal pointing reasoning in egocentric views. Comprising over 11k high-fidelity simulated and real-world samples, the benchmark spans five evaluation dimensions and three levels of referential complexity. Extensive experiments demonstrate that while state-of-the-art proprietary and open-source models struggle with egocentric pointing, models fine-tuned on our synthetic data achieve significant performance gains and robust sim-to-real generalization. This work highlights the importance of spatially aware supervision and offers a scalable path toward precise egocentric AI assistants. Project page: https://guyyyug.github.io/EgoPoint-Bench/