PICA-WAM: Visual Perturbation Invariance via Cross-Appearance Self-Alignment in World Action Models

📄 arXiv: 2610.26813v1 📥 PDF

作者: Yude Zou, Yifei Yao, Guanbo Jiao, Jianming Ma, Guanjie Zheng, Xing Gao

分类: cs.CV, cs.RO

发布日期: 2026-10-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出PICA-WAM以解决视觉扰动不变性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉扰动 自监督学习 世界动作模型 机器人控制 鲁棒性提升

📋 核心要点

  1. 现有的世界动作模型在处理与任务无关的视觉扰动时表现出较大的敏感性，影响机器人行为的稳定性。
  2. 本文提出PICA-WAM，通过自监督学习框架将扰动不变性转化为辅助的跨外观自对齐任务，增强模型的鲁棒性。
  3. 在多个强大的WAM评估中，PICA-WAM在视觉扰动下表现出更高的鲁棒性，并在真实机器人任务中提高了成功率。

📝 摘要（中文）

世界动作模型（WAMs）能够共同预测未来视频并生成动作，但对与任务无关的视觉扰动敏感。现有的WAM训练方法在视频预测中鼓励保留外观信息，而在动作生成中并未明确要求对无关外观的不变性。为了解决这一问题，本文提出了PICA-WAM，一个自监督训练框架，将扰动不变性视为WAMs的辅助跨外观自对齐任务。通过在多个强大的WAM上进行评估，PICA-WAM在视觉扰动下的鲁棒性得到了显著提升，同时在模拟中保持了正常性能，并提高了真实机器人成功率。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在面对与任务无关的视觉扰动时的敏感性问题。传统方法在视频预测中强调外观信息的保留，而在动作生成中未能有效实现对无关外观的鲁棒性。

核心思路：PICA-WAM通过自监督学习框架，将扰动不变性视为辅助的跨外观自对齐任务。通过引入EMA教师网络，模型能够在处理扰动观察时对齐其动作表示，从而增强鲁棒性。

技术框架：PICA-WAM的整体架构包括两个主要模块：EMA教师和在线WAM。EMA教师处理正常观察以生成目标，而在线WAM处理扰动观察并通过轻量级投影头对齐其动作表示。

关键创新：PICA-WAM的主要创新在于将扰动不变性作为自对齐任务引入WAM训练中，这一方法与传统的依赖数据增强或外部特征对齐的方式有本质区别。

关键设计：在设计中，使用了指数移动平均（EMA）策略来生成目标，同时采用轻量级的投影头来实现动作表示的对齐。损失函数设计上强调了对齐的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboTwin 2.0、LIBERO-Plus、EBench和真实机器人等四个强大WAM上进行评估，PICA-WAM在视觉扰动下的鲁棒性显著提高，保持了模拟中的正常性能，并在真实机器人任务中成功率提升了XX%。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能监控等，能够显著提升系统在复杂环境中的适应能力和稳定性。未来，PICA-WAM可能会推动更广泛的自监督学习方法在机器人领域的应用，提升智能体的自主决策能力。

📄 摘要（原文）

World Action Models (WAMs) jointly predict future video and generate actions, yet remain sensitive to task-irrelevant visual perturbations, i.e., changes in visual appearance that should not affect robot behavior. We identify a gap in conventional WAM training: video prediction encourages representations to preserve appearance information, while action generation does not explicitly enforce invariance to task-irrelevant appearance. Data augmentation exposes WAMs to such perturbations but does not require perturbed and nominal observations to produce consistent action representations, and alignment with external pretrained features does not guarantee the desired invariance. To address this gap, we propose PICA-WAM, a self-supervised training framework that casts perturbation invariance as an auxiliary cross-appearance self-alignment task for WAMs. An exponential-moving-average (EMA) teacher processes the nominal observation to provide a deeper-layer target, while the online WAM processes a perturbed observation and aligns its shallower-layer action representation to this target through a lightweight projection head. Across four strong WAMs evaluated on RoboTwin 2.0, LIBERO-Plus, EBench, and a real robot, PICA-WAM consistently improves robustness under visual perturbations, preserves nominal performance in simulation, and raises the real robot success rate. PICA-WAM further reduces the sensitivity of video features to task-irrelevant appearance and its propagation into actions, as shown by paired layer-wise diagnostics. Code: https://github.com/YudeZou/PICA-WAM-release