FoveaVLA: Foveation Actions Replace the Wrist Camera in VLAs

📄 arXiv: 2610.20064v1 📥 PDF

作者: Bingao Chen, Lihan Zha, C. Karen Liu, Guy Tevet

分类: cs.RO, cs.AI

发布日期: 2026-10-14

备注: Project website: https://tml.stanford.edu/FoveaVLA/

💡 一句话要点

提出FoveaVLA以解决传统腕部相机视野限制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 注视动作 机器人操控 深度学习 多模态输入

📋 核心要点

  1. 现有的腕部相机虽然提供细致的近景视图，但限制了对周围环境的全面观察，导致操控精度不足。
  2. FoveaVLA通过学习的注视动作替代腕部相机，预测交互区域以获取高分辨率的图像细节，从而提升操作性能。
  3. 在四个真实世界任务中，FoveaVLA-Single和FoveaVLA-Dual分别实现了70.8%和77.1%的成功率，显著优于传统方法。

📝 摘要（中文）

我们提出了FoveaVLA，一个视觉-语言-动作（VLA）模型，通过学习的注视动作替代腕部相机。腕部相机提供了细致的近景视图，但限制了对末端执行器周围环境的观察。外部相机能够看到整个场景，但由于低分辨率，导致操控所需的细节丢失。FoveaVLA通过预测每个动作块的交互区域来恢复这些细节，并在下一个策略查询时观察这些区域。该模型在两个配置下构建，分别为单摄像头和双摄像头，使用全RGB和深度输入，并在DROID上进行后训练。实验结果显示，FoveaVLA-Single在一个外部RGB-D视图下取得70.8%的成功率，而FoveaVLA-Dual则达到77.1%，相比之下，配备腕部相机的$π_{0.5}$仅为52.1%。

🔬 方法详解

问题定义：本论文旨在解决传统腕部相机在视觉-语言-动作（VLA）任务中视野限制的问题。现有方法依赖于腕部相机提供的细节，但无法全面观察环境，导致操控效果不佳。

核心思路：FoveaVLA的核心思路是通过学习的注视动作来替代腕部相机，预测每个动作块的交互区域，以便在下一个策略查询时获取高分辨率的图像细节。这种设计旨在同时利用全景视图和高分辨率局部视图，提升操作精度。

技术框架：FoveaVLA的整体架构包括两个主要配置：单摄像头和双摄像头。模型接收来自外部立体摄像头的全RGB和深度输入，并通过后训练在DROID上进行优化。

关键创新：FoveaVLA的主要创新在于通过学习的注视动作替代传统的腕部相机，能够动态预测交互区域，显著提高了对细节的捕捉能力。这一方法与现有依赖固定视角的策略形成了本质区别。

关键设计：在模型设计中，采用了特定的损失函数以优化注视动作的学习，同时在网络结构上结合了全景视图和局部视图的输入，以确保信息的充分利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FoveaVLA-Single在一个外部RGB-D视图下实现了70.8%的成功率，而FoveaVLA-Dual则达到了77.1%。相比之下，传统的腕部相机配置$π_{0.5}$仅有52.1%的成功率，显示出FoveaVLA在处理干扰物、布料操控和远距离物体时的显著提升。

🎯 应用场景

FoveaVLA的研究成果在机器人操控、自动化生产和人机交互等领域具有广泛的应用潜力。通过提升机器人在复杂环境中的操作能力，该技术能够有效提高生产效率和安全性，未来可能在智能家居、医疗辅助和服务机器人等场景中发挥重要作用。

📄 摘要（原文）

We present FoveaVLA, a Vision-Language-Action (VLA) model that replaces the wrist camera with learned foveation actions. Wrist cameras provide close-up detail but restrict the view to the end-effector's surroundings. External cameras see the whole scene, but the policy receives them at low resolution, so the fine detail needed for manipulation is lost. FoveaVLA recovers this detail by predicting, alongside each action chunk, the interaction region to observe at the next policy query. The policy then receives crops of these regions, taken from the original-resolution images, together with the full views. We build FoveaVLA on $π_{0.5}$ in two configurations, Single and Dual, using one or two external stereo cameras with full and foveal RGB and depth inputs, and post-train both on DROID with RoboInter interaction annotations. Across four real-world task suites, FoveaVLA-Single achieves 70.8% success with one external RGB-D view, and FoveaVLA-Dual achieves 77.1%, versus 52.1% for the wrist-equipped $π_{0.5}$. Both match the baseline on plain pick-and-place and improve success with distractors, cloth manipulation, and far-away objects.