GazeLens for Efficient Egocentric Video Question Answering with Simple Gaze-Driven Adaptive Token Reduction
作者: Trong-Thang Pham, Anh Nguyen, Hien Van Nguyen, Ngan Le
分类: cs.CV
发布日期: 2026-10-20
备注: 17 pages, 6 figures
💡 一句话要点
提出GazeLens以解决有限计算下的自我中心视频问答问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 自我中心视频 问答系统 注视驱动 令牌减少 计算效率 多模态学习 智能眼镜
📋 核心要点
- 现有方法在处理自我中心视频问答时面临计算资源有限的问题，导致重要信息的丢失。
- GazeLens通过结合帧选择与注视驱动的令牌减少，优化了信息的保留与计算效率。
- 在StreamGaze数据集上，GazeLens的宏观和微观准确率均优于其他基线方法，且计算量更低。
📝 摘要（中文）
智能眼镜能够帮助用户理解其活动和周围环境，但小型视觉语言模型在有限计算下必须保留有用证据。这一过程面临挑战，因为冗余帧会消耗视觉预算，而激进的空间压缩可能会丢失相关细节。尽管注视点能够识别佩戴者的关注焦点，但问题可能需要周围场景的证据。为了解决这些限制，本文提出了GazeLens，结合了帧选择与基于注视和问题的自适应令牌减少。GazeLens在StreamGaze数据集上实现了比评估的全网格和令牌减少基线更高的宏观和微观准确率，同时在输入前向计算量上低于共享骨干的令牌减少基线。
🔬 方法详解
问题定义：本文旨在解决在自我中心视频问答中，由于计算资源有限而导致重要信息丢失的问题。现有方法往往在帧冗余和空间压缩之间难以平衡，影响了问答的准确性。
核心思路：GazeLens的核心思路是通过注视点和问题导向的令牌减少，结合帧选择来优化信息的提取和保留。通过这种方式，系统能够在保持重要信息的同时，减少计算负担。
技术框架：GazeLens的整体架构包括三个主要模块：首先，通过HOG转移和图像清晰度选择关键帧；其次，对每个选定帧进行高斯池化，形成注视聚焦和补充摘要；最后，利用轻量级门控机制将这些摘要与全局场景令牌融合，确保每帧仅保留两个令牌。
关键创新：GazeLens的主要创新在于其结合了注视驱动的令牌减少与问题导向的摘要生成，显著提高了信息提取的效率和准确性。这一方法与传统的全网格处理方式相比，能够更有效地利用计算资源。
关键设计：在设计中，GazeLens采用了HOG转移和图像清晰度作为帧选择标准，使用高斯池化生成摘要，并通过轻量级门控机制实现令牌融合。这些设计确保了系统在保持信息完整性的同时，降低了计算复杂度。
🖼️ 关键图片
📊 实验亮点
在StreamGaze数据集上，GazeLens的宏观准确率和微观准确率均高于评估的全网格和令牌减少基线，且在输入前向计算量上低于共享骨干的令牌减少基线，展示了其在效率和准确性上的显著提升。
🎯 应用场景
GazeLens的研究成果在多个领域具有潜在应用价值，包括智能眼镜、增强现实和人机交互等。通过提高自我中心视频问答的效率和准确性，GazeLens能够为用户提供更为智能的辅助体验，推动相关技术的进一步发展与应用。
📄 摘要（原文）
Smart glasses can help users understand their activities and surroundings, but small vision-language models must preserve useful evidence within limited computation. This is difficult because redundant frames consume the visual budget, while aggressive spatial compression can discard relevant details. Although gaze identifies the wearer's focus, the question may require evidence from the surrounding scene. To address these constraints, we propose GazeLens, which combines frame selection with gaze- and question-guided token reduction. First, HOG transitions and image sharpness select frames before visual encoding. For each selected frame, Gaussian pooling then forms gaze-focused and complementary summaries. Because their relevance depends on the question, a lightweight gate blends them into a primary token. Together with a global scene token, this retains both focused and contextual summaries within two tokens per frame. On StreamGaze, GazeLens achieves higher macro and micro accuracy than the evaluated full-grid and token-reduction baselines, with lower input-forward FLOPs than the shared-backbone token-reduction baselines.