Look Before You Act: Bridging Active Perception and Vision-Language-Action Models via Observation-Aligned Data Adaptation
作者: Jiawei Geng, Zhenyang Liu, Yuzheng Wu, Yongchong Gu, Yanwei Fu
分类: cs.RO
发布日期: 2026-10-16
💡 一句话要点
提出ActiveAlign以解决机器人操作中的观察状态分布敏感性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动感知 视觉-语言-动作 数据适应 机器人操作 状态分布对齐
📋 核心要点
- 现有方法在机器人进行相机重新定位时，容易导致初始观察状态分布与训练分布不一致，从而降低操作成功率。
- 本文提出ActiveAlign框架，通过在主动感知结束时训练VLA策略，利用闭环对齐将相机轨迹与现有演示连接。
- 在40个LIBERO任务中，ActiveAlign的成功率显著提升，且在真实环境中的物理遮挡下表现也有明显改善。
📝 摘要（中文）
在复杂环境中操作物体的机器人不仅需要决定如何行动，还需选择观察的方向。现有方法在相机重新定位后，可能导致机器人进入与训练分布不同的初始观察状态，从而影响成功率。本文提出ActiveAlign，一个数据适应框架，通过在主动感知终止时训练视觉-语言-动作（VLA）策略，显著提高了成功率。在40个LIBERO任务中，ActiveAlign的成功率分别达到了70.7%和72.7%，较标准训练基线提升了40.0%和26.4%。在真实环境中，物理遮挡下的成功率也从35/90提升至83/90，表明主动感知在策略训练与观察状态分布一致时能有效促进操作。
🔬 方法详解
问题定义：本文解决的问题是机器人在复杂环境中操作物体时，因相机重新定位导致的观察状态分布敏感性问题。现有方法在此情况下成功率显著下降，影响了机器人的操作能力。
核心思路：论文的核心思路是通过ActiveAlign框架，在主动感知终止时训练视觉-语言-动作（VLA）策略，以确保策略训练与观察状态分布的一致性，从而提高操作成功率。
技术框架：ActiveAlign的整体架构包括一个学习的视角模块和闭环对齐过程。首先，视角模块生成相机轨迹；然后，利用闭环对齐将轨迹终点与现有演示连接，重放剩余的操作轨迹，并保留成功的继续操作用于微调。
关键创新：最重要的技术创新点在于通过主动感知与策略训练的对齐，显著提升了机器人在复杂环境中的操作成功率。这一方法与传统的策略训练方法有本质区别，后者未考虑观察状态的变化对操作的影响。
关键设计：在设计中，采用了闭环对齐技术，确保相机轨迹与演示的有效连接。此外，视角模块的设计使得在不修改VLA架构的情况下，能够有效适应新的观察状态。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ActiveAlign在40个LIBERO任务中成功率达70.7%和72.7%，分别较标准训练基线提升40.0%和26.4%。在真实环境中，物理遮挡下的成功率从35/90提升至83/90，验证了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和智能家居等场景，能够显著提升机器人在复杂环境中的操作能力和灵活性。未来，随着技术的进步，ActiveAlign框架可能会在更广泛的机器人任务中得到应用，推动机器人自主操作的智能化发展。
📄 摘要（原文）
Robots manipulating objects in clutter must decide not only how to act, but also where to look. Although active camera motion can expose an occluded target, it may move the robot into an initial observation-state distribution that differs from the manipulation policy's training distribution. We identify this problem as first-frame distribution sensitivity: under perturbed starts in LIBERO, naively prepending camera repositioning to pi_0.5 reduces success from 46.3% to 11.5%. We introduce ActiveAlign, a data-adaptation framework that trains a Vision-Language-Action (VLA) policy from the states at which active perception terminates. A learned viewpoint module first generates a camera trajectory. Offline, ActiveAlign uses closed-loop alignment to connect the trajectory endpoint to an existing demonstration, replays the remaining manipulation trajectory, and retains successful continuations for fine-tuning. At deployment, the same viewpoint module precedes the adapted VLA without modifying its architecture. Across 40 LIBERO tasks, ActiveAlign achieves 70.7% success with pi_0 and 72.7% with pi_0.5, outperforming their standard-training baselines by 40.0% and 26.4% respectively. Matched-state and data-matched controls support gains beyond prefix shortening and generic viewpoint augmentation; OpenVLA and GR00T N1 also show the same trend. Success rate under physical occlusion in real world increases from 35/90 to 83/90. These results show that active perception benefits manipulation when policy training is aligned with the observation and robot-state distribution induced by viewpoint selection.