AWAM: Active Trajectory-Conditioned View Imagination for Robust Robot Manipulation

📄 arXiv: 2610.23396v1 📥 PDF

作者: Jiawei Geng, Zhenyang Liu, Yuzheng Wu, Yanwei Fu

分类: cs.RO, cs.AI

发布日期: 2026-10-16

💡 一句话要点

提出AWAM以解决开放世界机器人操作中的感知缺口问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 主动感知 机器人操作 空间先验 复杂环境 机器学习

📋 核心要点

  1. 现有机器人在结构化环境中的表现无法有效转移到开放世界，面临杂乱和遮挡等挑战。
  2. AWAM通过主动规划观察路径并想象观察结果，生成空间先验以增强机器人操作的感知能力。
  3. 在LIBERO-Occ、LIBERO-Plus和RLBench-OG Occlusion1等数据集上，AWAM分别取得了75.9%、62.4%和76.5%的成功率，表现出色。

📝 摘要（中文）

随着具身智能的快速发展，机器人能够根据语言指令进行多样化物体的操作。然而，在开放世界环境中，杂乱、遮挡和视角变化会影响空间关系的感知，导致现有方法的效果不佳。为了解决这一感知缺口，本文提出了一种虚拟主动感知范式AWAM（Active World-Action Model），该模型主动规划观察位置，并在行动前想象沿规划轨迹将看到的内容。通过预测与任务相关的虚拟相机运动，AWAM生成可重用的空间先验，并通过交叉注意力与实时观察融合，以实现基于扩散的动作预测。实验结果表明，AWAM在多个数据集上取得了竞争性的成功率，显著提高了对遮挡和分布变化的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决机器人在开放世界环境中因杂乱和遮挡导致的感知不足问题。现有方法在动态和复杂环境中表现不佳，无法有效捕捉空间关系。

核心思路：AWAM的核心思想是通过主动规划观察路径，预测任务相关的虚拟相机运动，从而生成可重用的空间先验。这种设计旨在提高机器人在复杂环境中的感知能力和操作准确性。

技术框架：AWAM的整体架构包括三个主要模块：主动观察规划、空间先验生成和实时观察融合。首先，模型规划观察路径；然后，基于路径生成空间先验；最后，将先验与实时数据融合以进行动作预测。

关键创新：AWAM的创新之处在于其主动感知机制，通过想象观察结果来增强对环境的理解。这一方法与传统的被动感知方法形成鲜明对比，显著提升了机器人在复杂环境中的操作能力。

关键设计：在模型设计中，采用了交叉注意力机制以融合空间先验和实时观察数据，确保信息的有效整合。同时，模型的损失函数设计考虑了多种环境因素，以提高预测的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AWAM在多个数据集上表现出色，LIBERO-Occ、LIBERO-Plus和RLBench-OG Occlusion1的成功率分别为75.9%、62.4%和76.5%。在真实机器人实验中，成功率高达94.4%，显示出其在处理遮挡和分布变化方面的显著提升。

🎯 应用场景

AWAM的研究成果在机器人操作、自动化制造和服务机器人等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的感知和操作能力，该模型能够在实际场景中更好地执行任务，推动智能机器人技术的发展。

📄 摘要（原文）

Rapid progress in embodied intelligence has enabled increasingly capable robots to follow language instructions and manipulate diverse objects. However, strong results in structured environments do not automatically transfer to open-world conditions, where clutter, occlusion, and changing viewpoints can obscure the spatial relationships required for action. To address this perceptual gap, a virtual active-perception paradigm is introduced. AWAM, an Active World-Action Model actively plans where to observe and imagines what will be seen along the planned trajectory before acting. Task-related virtual camera motion is predicted and used as a structured query into a geometry-conditioned world model, producing a reusable spatial prior for manipulation, which is later compressed into a fixed memory and fused with live observations through cross-attention for diffusion-based action prediction. AWAM achieves competitive success rates with 75.9% on LIBERO-Occ, 62.4% on LIBERO-Plus, 76.5% on RLBench-OG Occlusion1, and 94.4% in real-robot trials. These results support improved robustness to the evaluated occlusions and distribution shifts, addressing part of the gap between structured manipulation and less controlled environments.