Gaze Prompts: Temporally Dense Human Attention for Vision-Language-Action Fine-Tuning
作者: Yihan Zhou, Rui Yan, Mingcong Li, Zheyuan Huang, Xu Yang, Xueyang Guo, Yilin Mo
分类: cs.RO
发布日期: 2026-09-28
💡 一句话要点
提出眼动追踪引导以提升视觉-语言-动作微调效果
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 眼动追踪 微调 机器人遥操作 多任务学习
📋 核心要点
- 现有的视觉-语言-动作微调方法通常只提供任务级指令，缺乏对瞬时视觉信息的明确指导，导致性能不足。
- 本文提出眼动追踪监督的眼动提示，通过记录眼动数据为每一帧提供视觉指导，从而提升微调效果。
- 实验结果表明，使用眼动提示后，平均成功率从26.3%提升至56.0%，显示出显著的性能提升。
📝 摘要（中文）
视觉-语言-动作（VLA）微调通常仅提供任务级语言指令，未能明确瞬时视觉相关性。本文提出了眼动追踪监督的眼动提示方法，通过在虚拟现实遥操作中记录的眼动数据，为VLA微调提供逐帧的视觉指导。在训练过程中，记录的眼动位置被渲染为机器人头部摄像头图像上的十字准线。在部署阶段，轻量级预测器根据近期图像和指令估计眼动位置，提供相同类型的视觉提示，而无需眼动追踪器或改变策略架构。通过使用$π_0$实例化，眼动提示在六个真实双手操作任务中将平均成功率从26.3%提升至56.0%，并且在对所有六个任务训练单一策略时也观察到了提升。我们发布了 extsc{GazeMani}数据集，包含1200条同步眼动的遥操作轨迹。
🔬 方法详解
问题定义：本文旨在解决现有视觉-语言-动作微调方法中缺乏瞬时视觉相关性指导的问题。传统方法仅依赖任务级语言指令，导致在复杂操作中的表现不佳。
核心思路：提出眼动追踪监督的眼动提示，通过记录用户在虚拟现实遥操作中的眼动数据，为每一帧图像提供精确的视觉指导，从而增强模型的学习效果。
技术框架：整体架构包括两个主要阶段：训练阶段和部署阶段。在训练阶段，记录的眼动位置被渲染为十字准线叠加在机器人摄像头图像上；在部署阶段，轻量级预测器根据输入图像和指令实时估计眼动位置。
关键创新：最重要的创新在于引入眼动提示作为视觉指导，显著提升了模型在复杂任务中的表现。这一方法与传统的任务级指令相比，提供了更为细致的视觉信息。
关键设计：在模型设计中，采用了轻量级的预测器来估计眼动位置，确保在不依赖眼动追踪器的情况下，仍能提供有效的视觉提示。损失函数和网络结构的具体细节未在摘要中详述，需参考完整论文。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用眼动提示后，模型在六个双手操作任务中的平均成功率从26.3%提升至56.0%。这一显著提升表明，眼动提示在视觉-语言-动作微调中的有效性，尤其是在多任务训练中也表现出良好的性能。
🎯 应用场景
该研究的潜在应用领域包括机器人遥操作、智能助手和人机交互等场景。通过提供更精确的视觉指导，能够显著提升机器人在复杂环境中的操作能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Vision-Language-Action (VLA) fine-tuning pairs images with actions at every step, yet typically provides only a task-level language instruction, leaving moment-to-moment visual relevance implicit. We introduce \emph{eye-tracker-supervised gaze prompting}, which uses gaze recorded during VR teleoperation to provide frame-level visual guidance for VLA fine-tuning. During training, recorded gaze locations are rendered as crosshairs on the robot's head-camera images. At deployment, a lightweight predictor estimates gaze locations from recent images and the instruction, supplying the same type of visual prompt without an eye tracker or changes to the policy architecture. Instantiated with $π_0$, gaze prompting increases mean success from $26.3\%$ to $56.0\%$ across six real-world bimanual manipulation tasks, with gains also observed when a single policy is trained on all six tasks. We release \textsc{GazeMani}, a dataset of $1{,}200$ teleoperated trajectories with synchronized gaze.