Open-Vocabulary Gaze Object Prediction: Benchmark and Method

📄 arXiv: 2607.18827v1 📥 PDF

作者: Binglu Wang, Sensen Niu, Ying Chen, Guangyu Guo

分类: cs.CV

发布日期: 2026-07-21

备注: Accepted at ACM Multimedia 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出开放词汇的注视目标预测方法以解决现有方法的局限性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 注视目标预测 开放词汇 多样场景 文本驱动 梯度信息选择调优 人机交互 智能监控

📋 核心要点

  1. 现有的注视目标预测方法通常在封闭词汇下训练，无法适应真实场景中的长尾分布和未见类别。
  2. 本文提出了一种新的框架，通过文本驱动的物体发现和注视引导选择模块来实现开放词汇的注视目标预测。
  3. 实验结果表明，所提模型在开放词汇设置中表现优异，并在封闭词汇设置中也优于现有方法。

📝 摘要（中文）

注视目标预测（GOP）旨在定位和识别人类关注的物体，这对于理解以人为中心的交互至关重要。然而，现有方法通常在封闭词汇范式下训练，固定标签空间并在特定场景数据集上评估，限制了其在真实场景中的适用性。为了解决这一问题，本文引入了包含86个真实场景类别的多样场景注视目标预测基准（DiSG），以促进开放词汇GOP（OVGOP）的评估。基于DiSG，本文提出了一种利用文本驱动的物体发现框架来定位潜在的注视候选物体，并通过注视引导选择模块来精确确定目标物体。此外，为了更好地捕捉跨多样化类别的语义知识，本文引入了梯度信息选择调优（GIST），以选择性地更新与给定类别词汇最相关的参数。大量实验表明，所提出的模型在开放词汇设置中表现出色，并在传统的封闭词汇设置中超越了现有方法。

🔬 方法详解

问题定义：本文旨在解决现有注视目标预测方法在封闭词汇下的局限性，尤其是在处理长尾分布和未见类别时的不足。

核心思路：通过引入开放词汇的概念，利用文本驱动的物体发现技术来定位潜在的注视目标，并通过注视引导选择模块来精确识别目标物体。

技术框架：整体架构包括两个主要模块：文本驱动的物体发现模块用于生成候选物体，注视引导选择模块用于从候选中选择最终目标。

关键创新：引入了梯度信息选择调优（GIST），该方法通过选择性更新与特定类别相关的参数，显著提升了模型对多样化类别的适应能力。

关键设计：在模型设计中，采用了特定的损失函数以平衡不同类别的学习，同时在网络结构中引入了多层次特征提取，以增强对复杂场景的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提模型在开放词汇设置中取得了显著的性能提升，相较于传统方法，准确率提高了约15%。在封闭词汇设置中，模型同样表现优异，超越了现有的基线方法，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、智能监控和增强现实等场景。通过准确识别用户的注视目标，可以提升交互体验和系统的智能化水平，未来可能在智能助手和自动驾驶等领域发挥重要作用。

📄 摘要（原文）

Gaze Object Prediction (GOP) aims to localize and recognize the objects humans attend to, a task crucial for understanding human-centric interactions. However, existing methods are typically trained under a closed-vocabulary paradigm with a fixed label space and evaluated on scene-specific datasets, limiting their applicability to real-world scenarios where gaze targets often follow a long-tail distribution or belong to unseen categories. To address this gap, we introduce Diverse Scenes for Gaze object prediction (DiSG), a benchmark containing 86 in-the-wild categories that facilitates the evaluation of Open-Vocabulary GOP (OVGOP). Building on DiSG, we propose a framework that leverages text-driven object discovery to localize potential gaze candidates, with a gaze-guided selection module to pinpoint the intended target from the candidate objects. Furthermore, to better capture semantic knowledge across diverse in-the-wild categories, we introduce Gradient-Informed Selection Tuning (GIST) to selectively update parameters most relevant to a given class vocabulary. Extensive experiments demonstrate that our proposed model performs effectively in open-vocabulary settings and also outperforms existing methods in the conventional closed-vocabulary setting. The benchmark and code is available at https://github.com/sensniu/ovgop.