ActiveWAM: Evidence-Aware Active Vision for World-Action Models
作者: Renjun Wu, Luzhou Ge, Xuesong Li
分类: cs.RO
发布日期: 2026-10-01
💡 一句话要点
提出ActiveWAM以解决主动视觉中的证据感知问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 主动视觉 证据感知 联合学习 机器人操控 视频先验 任务执行 多模态输入 性能提升
📋 核心要点
- 现有方法在主动视觉操控中面临相机运动与任务关键线索之间的权衡，导致信息获取不足。
- 论文提出了ActiveWAM，通过训练时反演技术联合学习观察与操控，解决了证据感知的保留-获取问题。
- 实验结果表明，ActiveWAM在多个基准任务上显著提升了成功率，尤其是在真实环境中的表现优于现有方法。
📝 摘要（中文）
主动视觉操控需要同时控制相机和末端执行器的策略，而相机运动决定了有限观察窗口内可见的证据。获取新视角可能会移除任务关键线索，而保留视角则放弃潜在有用的观察。我们将此问题表述为证据感知的保留-获取问题，并提出ActiveWAM，一个统一的世界-动作模型，能够联合学习观察和操控。我们提出了训练时反演的方法，通过任务相关的源证据和可见的时间变化来约束冻结的视频先验，消除了测试时反演或候选排名的需求。在部署时，策略从视角感知历史中生成双手和全景/倾斜动作，包括停留和重新获取行为，并从新测量的RGB观察中更新上下文。未来视频预测作为共同训练信号，而动作生成不需要未来视频解码或最佳视角注释。我们引入了RoboTwin-AV，一个包含50个任务的基准，具有可执行的全景/倾斜控制和自动生成的演示。ActiveWAM在TAVIS的分布外成功率上比最强基线提高了17.0个百分点，在RoboTwin-AV上比Fast-WAM多出20.0分，并在真实物理厨房任务中超越了26.7分。
🔬 方法详解
问题定义：论文要解决的具体问题是如何在主动视觉操控中有效管理相机运动与任务关键线索之间的关系。现有方法在这方面存在不足，导致信息获取不充分，影响任务执行的成功率。
核心思路：论文的核心解决思路是将证据感知的保留-获取问题进行建模，并通过训练时反演技术来约束视频先验，从而实现观察与操控的联合学习。这种设计旨在提高策略的灵活性和适应性。
技术框架：整体架构包括训练阶段和部署阶段。在训练阶段，利用任务相关的源证据和时间变化约束视频先验；在部署阶段，策略生成双手和全景/倾斜动作，并更新上下文信息。
关键创新：最重要的技术创新点在于引入了训练时反演，消除了对测试时反演和候选排名的需求，使得模型在实际应用中更加高效和灵活。
关键设计：在模型设计中，采用了特定的损失函数来优化视频先验的约束，同时设计了适应性强的网络结构，以支持多模态输入和输出。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ActiveWAM在TAVIS的分布外成功率上比最强基线提高了17.0个百分点，在RoboTwin-AV上比Fast-WAM多出20.0分，并在真实物理厨房任务中超越了26.7分，展现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人操控、智能家居和自动化生产等场景。通过提高主动视觉系统的决策能力，ActiveWAM能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Active vision manipulation requires a policy to control both its camera and its end-effectors, yet camera motion determines which evidence remains visible within finite observation windows. Acquiring a new view can displace task-critical cues, while retaining a view forgoes potentially useful observations. We formulate this as an evidence-aware retain--acquire problem and present ActiveWAM, a unified world--action model that learns observation and manipulation jointly. To this end, we propose training-time inversion which constrains a frozen video prior by task-bearing source evidence and visible temporal changes, eliminating the need for test-time inversion or candidate ranking. At deployment, the policy generates bimanual and pan/tilt actions-including stay and reacquisition behaviors-from view-aware history, and updates context from newly measured RGB observations. Future-video prediction serves as a co-training signal, while action generation requires neither future-video decoding nor optimal viewpoint annotations. We introduce RoboTwin-AV, a 50-task benchmark with executable pan/tilt control and automatically generated demonstrations. ActiveWAM improves TAVIS out-of-distribution success by up to 17.0 percentage points over the strongest baselines, achieves 20.0 additional points over Fast-WAM on RoboTwin-AV, and outperforms it by 26.7 points on real-world physical kitchen tasks.