EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras
作者: Kush Hari, Justin Kerr, Nidhya Shivakumar, Samarth Mahapatra, Carmelo Sferrazza, Jiahui Lei, Jitendra Malik, C. Karen Liu, Ken Goldberg, Angjoo Kanazawa
分类: cs.RO, cs.AI
发布日期: 2026-10-02
备注: Project Page: https://eyerobot2.github.io/
💡 一句话要点
提出EyeRobot 2.0以解决单摄像头精细操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 主动视觉 机器人操作 双手操控 强化学习 立体摄像头 人机协作 任务执行 注视机制
📋 核心要点
- 现有方法在没有腕部摄像头的情况下，精细操作的成功率显著下降，尤其是在物体遮挡时。
- 论文提出EyeRobot 2.0框架，通过主动注视和分层训练策略，利用单个立体摄像头实现精细双手操作。
- 实验结果显示，EyeRobot 2.0在真实场景中成功率提升40%，在模拟环境中提升20%，并在物体遮挡情况下表现优异。
📝 摘要（中文）
受人类视觉启发，本文提出了一种框架，通过主动注视实现仅使用单个立体摄像头的精细双手操作。EyeRobot 2.0通过旋转两个视点，物理上关注场景中的3D固定点。生成的图像通过分配更多视觉标记给图像中心进行焦点处理，集中计算于任务相关特征。该主动视觉固定（AVF）需要在任务执行过程中精确协调注视，通过分层训练低级注视伺服策略和目标选择器来实现。实验结果表明，EyeRobot 2.0在真实和模拟任务中均优于被动立体摄像头策略，成功率显著提升。
🔬 方法详解
问题定义：本文旨在解决在没有腕部摄像头的情况下，机器人进行精细操作的挑战。现有方法在此情况下的成功率显著降低，尤其是在物体遮挡时。
核心思路：论文的核心思路是通过主动注视机制，利用单个立体摄像头实现精细的双手操作。通过旋转视点集中关注任务相关的3D固定点，提升操作的精确性。
技术框架：整体架构包括两个主要模块：低级注视伺服策略和目标选择器。低级策略根据目标物体进行训练，而目标选择器则根据任务进展发出注视目标。两者均通过强化学习在真实数据上进行训练。
关键创新：最重要的技术创新在于引入了主动视觉固定（AVF）机制，允许机器人在执行任务时动态调整视点，显著提高了操作的成功率。这一设计与传统的被动视觉方法形成鲜明对比。
关键设计：在训练过程中，低级注视伺服策略使用密集几何奖励进行优化，而目标选择器与基于行为克隆的抓取策略共同训练，以发现类似人类的注视序列。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EyeRobot 2.0在真实环境中的成功率从52%提升至69%，在物体遮挡情况下的成功率更是从22%提升至48%。与被动立体摄像头策略相比，EyeRobot 2.0在真实和模拟任务中分别提升了40%和20%的成功率，展现出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和医疗机器人等。通过提升机器人在复杂环境中的操作能力，EyeRobot 2.0可在实际应用中显著提高效率和安全性，未来可能推动人机协作的进一步发展。
📄 摘要（原文）
Inspired by human vision, we introduce a framework using active gaze to enable fine-grained bimanual manipulation with only a single stereo camera. EyeRobot 2.0 physically attends to a 3D fixation point in the scene by swiveling two eye viewpoints to center their gaze on it. The resulting images are processed foveally by allocating more visual tokens to the image centers, focusing computation on task-relevant features. Such Active Visual Fixation (AVF) requires carefully coordinated gaze during task execution, which we accomplish hierarchically by first training a low-level gaze servoing policy conditioned on a goal object, then training a target selector which emits fixation goals based on task progress. Both modules are trained with RL on real-world data: the first is trained with a dense geometric reward and the second co-trains with the BC gripper policy which allows it to discover fixation sequences that can resemble a human's fixation sequence while performing the task. EyeRobot 2.0 further takes advantage of fixation by canonicalizing gripper information into a fixation-relative SE(3) frame, which compacts the size of the action distribution to learn. We collect teleoperation data for 7 real-world and 6 simulated tasks, and conduct over 1000 physical and 1800 simulated robot trials comparing EyeRobot 2.0 against passive stereo and ego + wrist camera policies trained on the same data. Removing wrist cameras is costly for standard policies: with only passive stereo, real-world success drops from 52% to 27%. EyeRobot 2.0 closes this gap with only stereo, outperforming passive stereo by 40% in real and 20% in sim. It matches ego + wrist policies when their wrist views are clear (69% vs. 64%), and more than doubles their success when grasped objects occlude the wrist cameras (48% vs. 22%)