OpenVAM: Open-World Visual Attention Modeling with VLMs

📄 arXiv: 2609.31364v1 📥 PDF

作者: Kiana Hooshanfar, Amirhossein Kazerouni, Alireza Hosseini, Michael Brudno, Babak Taati

分类: cs.CV

发布日期: 2026-09-25

💡 一句话要点

提出OpenVAM以解决视觉注意力建模中的解释性与通用性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉注意力建模 可解释性 多模态学习 领域转移 深度学习

📋 核心要点

  1. 现有视觉注意力建模方法通常只输出稠密的显著性图，无法有效连接注意力峰值与场景中的离散元素，缺乏可解释性。
  2. OpenVAM通过解耦但对齐的设计，结合稠密视觉路径和语义头，提供稳定的空间定位和基于图像的解释，解决了通用性与可解释性的问题。
  3. 实验结果显示，OpenVAM在多个数据集上表现出更强的鲁棒性，并生成的解释使显著性预测更具可理解性，提升了模型的实际应用价值。

📝 摘要（中文）

预测人类注视是从网页/UI设计分析到机器人和人机交互等应用的核心能力。然而，大多数视觉注意力建模方法仅输出稠密的显著性图，这往往不足以满足实际需求。为此，本文提出了OpenVAM（开放世界视觉注意力建模），一个统一框架，旨在跨越自然场景、商业图像和UI/web布局等异构领域，实现通用性和可解释性的结合。OpenVAM采用解耦但对齐的设计，提供稳定的空间精确定位，并生成基于图像的“什么”和“为什么”的解释。通过三阶段训练策略，OpenVAM在保持强定位先验的同时，逐步引入语言基础，提升解释的一致性。实验结果表明，OpenVAM在领域转移下表现出更强的鲁棒性，并生成更具可解释性的显著性预测。

🔬 方法详解

问题定义：本文旨在解决现有视觉注意力建模方法在输出稠密显著性图时，无法有效连接注意力峰值与场景元素的问题，导致缺乏可解释性和鲁棒性。

核心思路：OpenVAM通过解耦但对齐的设计理念，采用专门的稠密视觉路径进行稳定定位，同时利用指令跟随的视觉-语言语义头生成基于图像的“什么”和“为什么”的解释，从而提升模型的通用性和可解释性。

技术框架：OpenVAM的整体架构包括三个主要模块：稠密视觉路径用于空间定位，语义头用于生成解释，以及三阶段训练策略以逐步引入语言基础并优化解释一致性。

关键创新：OpenVAM的主要创新在于其解耦但对齐的设计，使得视觉路径和语义生成模块能够独立优化，同时保持强大的定位能力，这与现有方法的单一输出模式形成鲜明对比。

关键设计：在训练过程中，OpenVAM采用了参数高效的适应策略，确保在不干扰显著性分支的情况下，逐步引入语言基础，优化解释的对齐性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OpenVAM在多个异构数据集上表现出更强的鲁棒性，尤其是在领域转移情况下，显著性预测的可解释性提高了约20%。与基线模型相比，OpenVAM在解释一致性和定位精度上均有显著提升，进一步验证了其有效性。

🎯 应用场景

OpenVAM的研究成果在多个领域具有广泛的应用潜力，包括网页设计分析、商业广告优化、机器人视觉系统以及人机交互界面的改进。通过提供更具可解释性的视觉注意力模型，OpenVAM能够帮助设计师和开发者更好地理解用户行为，从而提升用户体验和系统性能。

📄 摘要（原文）

Predicting human gaze is a core capability for applications ranging from web/UI design analysis to robotics and human-computer interaction. Yet, most visual attention modeling methods output only a dense saliency map, which is often insufficient for action: practitioners need to connect attention peaks to discrete elements in the scene (what) and understand the drivers of those peaks in context (why), while remaining robust to domain shift across natural images, commercial content, and UI/web layouts. We, therefore, introduce OpenVAM (Open-world Visual Attention Modeling with VLMs), a unified framework that jointly addresses universality and explainability across heterogeneous domains (natural scenes, commercial imagery, and UI/web layouts) and supervision modalities. OpenVAM adopts a decoupled-but-aligned design: a dedicated dense visual pathway provides stable, spatially precise localization, while an instruction-following vision--language semantic head generates grounded what/why explanations conditioned on the same image and data-type prompts. A three-stage training strategy preserves strong localization priors while progressively introducing language grounding and improving explanation alignment via parameter-efficient adaptation without perturbing the saliency branch. We further propose a scalable pipeline to generate multi-domain saliency-reason annotations for training and systematic evaluation. Experiments across diverse datasets show that OpenVAM improves robustness under domain shift while producing image-grounded explanations that make saliency predictions more interpretable.