CoRe-VLA: Preserving Cross-View Coordination in VLAs under Camera Shifts

📄 arXiv: 2609.37150v1 📥 PDF

作者: Tianhang Pan, Xuanhao Wang, Yiwen Pang, Bo Zhou, Jun Yang, Min-Ling Zhang, Shimin Di

分类: cs.RO

发布日期: 2026-09-29

备注: 15 pages, 9 figures

💡 一句话要点

提出CoRe-VLA以解决相机位移下的跨视角协调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言表示 机器人控制 跨视角协调 动态环境 任务成功率 智能机器人 多模态学习

📋 核心要点

  1. 现有的VLA方法在相机位移下表现不佳，导致任务成功率显著下降，限制了其可靠部署。
  2. 提出的CoRe-VLA框架通过重建场景点云和渲染训练视角的观察，恢复跨视角协调，避免了额外的数据收集和微调。
  3. 在5个真实机器人任务的实验中，CoRe-VLA显著提高了任务成功率，例如在1.6米相机位移下，PI0.5的成功率从13.3%提升至83.3%。

📝 摘要（中文）

VLAs结合了预训练的视觉-语言表示与动作生成，使得语言引导的控制在多样化任务中成为主流。然而，已有研究表明，VLAs在相机位移下的任务成功率显著下降，暴露出其关键脆弱性。为了解决这一问题，现有方法需要收集不同视角的配对观察数据以进行微调，增加了数据收集和训练成本。本文首次识别出在外部相机位移下的跨视角协调失效问题，并提出了CoRe-VLA框架，该框架无需额外的数据收集或微调，能够与现有VLAs结合。通过重建场景点云并从训练视角渲染观察，CoRe-VLA有效恢复了跨视角协调。实验结果表明，CoRe-VLA在多个真实机器人任务中显著提高了任务成功率。

🔬 方法详解

问题定义：本文旨在解决VLAs在相机位移下的跨视角协调失效问题。现有方法依赖于额外的数据收集和微调，增加了成本和复杂性。

核心思路：CoRe-VLA框架通过重建场景点云并从VLA的训练视角渲染观察，恢复了跨视角协调，避免了对额外数据的需求。

技术框架：CoRe-VLA主要包括两个模块：Render-to-Camera (R2C) 恢复模块和Execution-Trajectory-Conditioned Alignment (ETCA) 模块。R2C模块减少了渲染引起的视觉退化，而ETCA模块则降低了机器人在异步执行过程中的空闲时间和运动冲突。

关键创新：CoRe-VLA的核心创新在于其无需额外的数据收集和微调，直接与现有的VLA结合，显著提高了在相机位移下的任务成功率。

关键设计：R2C模块采用了特定的损失函数以优化渲染质量，ETCA模块则通过条件对齐策略来优化执行轨迹，确保机器人在执行任务时的高效性。整体设计注重于提升系统的鲁棒性与适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CoRe-VLA在5个真实机器人任务上表现出色，特别是在1.6米相机位移下，PI0.5的成功率从13.3%提升至83.3%，显示出显著的性能提升，验证了其有效性。

🎯 应用场景

CoRe-VLA的研究成果具有广泛的应用潜力，尤其在机器人操作、智能家居和自动化工业等领域。通过提高在动态环境中的任务成功率，该框架能够促进更智能的机器人系统的开发，推动人机协作的进步。

📄 摘要（原文）

VLAs combine pretrained vision-language representations with action generation to enable language-guided control across diverse tasks, becoming a mainstream paradigm in embodied intelligence. However, multiple studies have reported VLA's substantial declines in task success under camera shifts, revealing a key vulnerability that limits reliable deployment. To address this vulnerability, existing methods collect paired observations of the same scene from different viewpoints to fine-tune the VLA or train visual adaptation modules. Unfortunately, they require additional data collection and VLA training costs. In this paper, we first identify \emph{cross-view coordination breakdown} under external camera shifts: the robot may rely too heavily on wrist-view cues and consequently execute subtasks in the wrong order when losing global view. Motivated by this, we propose CoRe-VLA, a plug-and-play framework requiring neither additional multi-view data collection nor VLA fine-tuning, which can incorporate with exsiting VLAs. It reconstructs a scene point cloud and renders the observation from the VLA's training viewpoint to restore cross-view coordination. In CoRe-VLA, Render-to-Camera (R2C) Restoration reduces rendering-induced visual degradation, while Execution-Trajectory-Conditioned Alignment (ETCA) reduces robot idle time and mitigates motion conflicts during asynchronous execution. Experiments on 5 real-robot tasks, LIBERO-100 and LIBERO-Plus demonstrate CoRe-VLA substantially improves task success across mainstream VLAs under camera shifts. For example, CoRe-VLA raises PI0.5's success rate from 13.3% to 83.3% at a 1.6m camera shift in real-robot environment.