Fisheye-VLA: Decoupling Coverage and Acuity for Manipulation with a Single Fisheye Camera
作者: Ziang Ren, Zike Yan, Raymond Zhang, Xuguo He, Zhongyu Li
分类: cs.RO
发布日期: 2026-09-22
💡 一句话要点
提出Fisheye-VLA以解决单一鱼眼相机的操作视觉问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 鱼眼相机 视觉接口 操作任务 机器人视觉 动态跟踪 局部裁剪 自动化
📋 核心要点
- 现有方法通常依赖多个相机来实现广泛的场景感知和细节反馈，导致系统复杂性增加。
- Fisheye-VLA通过单一鱼眼相机实现全局视图与局部细节的结合，优化了视觉信息的分配。
- 实验结果表明，Fisheye-VLA在扩展桌面区域的操作成功率高达84%和82%，显著提升了操作效率。
📝 摘要（中文）
操作任务需要广泛的场景感知和详细的局部反馈，而传统的相机系统通常通过前置和腕部相机分开提供这些功能。本文提出Fisheye-VLA，这是一种视觉接口，利用单个被动鱼眼相机将这两种能力结合在一起。全球视图保留了工作空间，而局部视角则将细节直接聚焦于交互上。通过受控的重渲染研究，比较了不同裁剪方向的效果，发现以末端执行器为中心的视图能够捕获大部分潜在收益，促使在双手周围进行紧凑的视觉分配。与预训练的VLA集成后，该系统在扩展的桌面区域中实现了84%和82%的成功率，支持货架和输送带操作。
🔬 方法详解
问题定义：本文旨在解决传统相机系统在操作任务中对广泛场景感知与局部细节反馈的分离问题，导致系统复杂且效率低下。
核心思路：Fisheye-VLA通过单一鱼眼相机实现全局视图与局部细节的结合，采用以末端执行器为中心的视图裁剪策略，以优化视觉信息的使用。
技术框架：该方法包括全局视图的生成、局部视角的裁剪、末端执行器的投影与运动跟踪，以及共享光线编码的实现，确保视觉信息在动态环境中的一致性。
关键创新：最重要的创新在于通过单一鱼眼相机实现了广泛的场景覆盖与局部细节的有效结合，避免了传统方法中对多个相机的依赖。
关键设计：在设计中，采用了经过校准的末端执行器投影，结合运动引导来跟踪裁剪区域，同时使用共享光线编码来保持空间意义，确保在动态操作中的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Fisheye-VLA在两个扩展桌面区域的操作成功率分别达到了84%和82%，相比于传统方法显著提升了操作效率，尤其是在目标放置超出前置相机覆盖范围的情况下，展示了其在复杂环境中的优势。
🎯 应用场景
Fisheye-VLA的研究成果在机器人操作、自动化装配和智能制造等领域具有广泛的应用潜力。通过简化视觉系统，该技术能够提升操作效率，降低成本，并为未来的智能机器人系统提供更灵活的视觉解决方案。
📄 摘要（原文）
Manipulation requires both broad scene awareness and detailed local feedback, yet conventional camera rigs provide them through separate front and wrist cameras. We present Fisheye-VLA, a visual interface that brings these capabilities together using a single passive fisheye. A global view preserves the workspace, while local perspective crops direct detail toward the interaction. The key design question is where this local visual budget should go. We answer it through a controlled re-rendering study, comparing alternative crop directions on the same recorded observations. The study finds that end-effector-centered views capture most of the estimated benefit of a much larger candidate pool, motivating a compact allocation around both hands. Our interface uses calibrated end-effector projection and motion lead to track the crops, while a shared ray encoding preserves their spatial meaning as they move. Integrated with a pretrained VLA, it achieves 84% and 82% success in the two expanded tabletop regions, where some target placements extend beyond the front-camera coverage, and supports shelf and conveyor manipulation. Ablations show that local crops and their viewing directions become more important in the larger workspace regions. The results demonstrate that a single fisheye can support these manipulation tasks without physical wrist cameras.