CoRe-WAM: Correspondence-Aligned Temporal Residuals for World Action Models

📄 arXiv: 2609.27314v1 📥 PDF

作者: Bin Zhou, Jialong Liu, Jianan Wang, Changhao Chen, Kani Chen

分类: cs.RO

发布日期: 2026-09-23

💡 一句话要点

提出CoRe-WAM以解决机器人场景变化理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 场景理解 视觉变化 世界行动模型 动态环境 深度学习 特征对齐

📋 核心要点

  1. 现有方法在比较视觉特征时，无法有效处理对象或相机移动导致的场景内容混淆问题。
  2. CoRe-WAM通过TraceDelta模块引入对应对齐的视觉变化，优化了历史视觉特征的比较方式，提升了机器人操作的准确性。
  3. 在实验中，CoRe-WAM在多个任务中表现优异，成功率显著高于基线Motus，展示了其有效性和适应性。

📝 摘要（中文）

本论文提出了一种名为CoRe-WAM的世界行动模型，通过引入对应对齐的视觉变化，帮助机器人理解场景变化并选择后续操作。该模型的TraceDelta模块利用冻结的跟踪模型中的对应关系，将历史视觉特征传输到当前图像位置，从而在共享的预训练特征空间中计算签名差异。这种方法使得历史内容的比较基于对应关系，而非作为单独的轨迹表示进入策略。通过轻量级适配器，将这些差异转换为有效性门控的残差，增强当前视觉条件，使策略能够同时利用近期变化和当前场景信息。实验结果表明，CoRe-WAM在50个RoboTwin 2.0任务中实现了92.22%的成功率，较Motus提升了3.56个百分点。

🔬 方法详解

问题定义：本论文旨在解决机器人在操作过程中，如何有效理解场景变化的问题。现有方法在处理对象或相机移动时，容易导致不同场景内容的混淆，影响决策准确性。

核心思路：论文提出的CoRe-WAM模型通过TraceDelta模块，利用冻结的跟踪模型中的对应关系，将历史视觉特征传输到当前图像位置，从而在共享的特征空间中计算视觉差异。这种设计使得历史内容的比较更加精准，避免了混淆。

技术框架：CoRe-WAM的整体架构包括TraceDelta模块和轻量级适配器。TraceDelta模块负责将历史特征与当前特征进行对齐，而适配器则将计算出的差异转换为有效性门控的残差，以增强当前的视觉条件。

关键创新：最重要的创新在于通过对应关系来决定历史内容的比较，而不是将其作为独立的轨迹表示。这一方法显著提高了模型在动态环境中的适应能力。

关键设计：CoRe-WAM保持了预训练骨干网络的权重不变，仅优化1.59百万个参数，使用了有效性门控的残差设计，以确保模型在处理视觉信息时的高效性和准确性。实验中使用了5000次更新预算进行适应性训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在50个RoboTwin 2.0任务中，CoRe-WAM实现了92.22%的成功率，较Motus提升了3.56个百分点。在随机评估中，成功率为89.60%，提升幅度为2.58个百分点。此外，将TraceDelta集成到基于StarVLA的策略中，清洁成功率从58.10%提升至67.62%。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人操作、自动化制造和智能家居等领域。通过提高机器人对场景变化的理解能力，CoRe-WAM能够提升机器人在复杂环境中的自主决策能力，进而推动智能机器人技术的发展。

📄 摘要（原文）

Comparing current and past observations helps robots understand scene changes and select subsequent actions during manipulation. However, comparing visual features at the same image location can mix different scene content when objects or the camera move. We introduce CoRe-WAM, a world-action model that incorporates correspondence-aligned visual changes through a parameter-efficient temporal interface. Its TraceDelta module uses correspondences from a frozen tracking model to transport historical visual features to current locations before computing signed differences in a shared pretrained feature space. Correspondence thus determines which historical content is compared with the present, rather than entering the policy as a separate trajectory representation. A lightweight adapter converts these differences into validity-gated residuals that supplement current visual conditioning, allowing the policy to use recent changes alongside current-scene information. Built on Motus, CoRe-WAM keeps the pretrained backbone weights frozen and optimizes 1.59 million parameters. With a 5,000-update adaptation budget, CoRe-WAM achieves 92.22% clean success across 50 RoboTwin 2.0 tasks, 3.56 percentage points above Motus; on randomized evaluation, it achieves 89.60% success, a 2.58-point gain. Integrating TraceDelta into a StarVLA-based policy improves clean success from 58.10% to 67.62%, supporting transfer of the temporal interface beyond Motus.