Event-Aligned Visual Action Reasoning for World Action Models

📄 arXiv: 2610.09427v1 📥 PDF

作者: Xiaomeng Yang, Yushu Wu, Yi Gao, Yuhao Lei, Xuan Zhang, Pu Zhao, Yanzhi Wang

分类: cs.CV, cs.RO

发布日期: 2026-10-07

备注: Project Page: https://xiaomeng-yang.github.io/Event-aligned-WAM/

💡 一句话要点

提出事件对齐视觉动作推理框架以优化世界动作模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 视觉推理 事件对齐 动作生成 机器人控制 智能监控 迁移学习

📋 核心要点

  1. 现有的世界动作模型在视觉想象时未能有效考虑任务关键交互的不同角色，导致推理效果不佳。
  2. 本文提出的事件对齐视觉动作推理框架通过围绕交互事件组织视觉-动作预测，提升了推理的有效性和准确性。
  3. 实验结果表明，提出的方法在DOMINO任务上成功率提升10.26个百分点，并在多个级别上表现出良好的迁移能力。

📝 摘要（中文）

世界动作模型（WAMs）利用未来视觉预测作为中间推理过程来指导动作生成。然而，现有WAMs通常根据预定义的时间间隔结构化视觉想象，而未明确考虑任务关键交互和连接过渡的不同角色。本文提出了一种事件对齐视觉动作推理框架，围绕交互事件组织视觉-动作预测，通过事件对齐的视觉动作监督，使WAM能够在每次想象的展开中生成事件对齐的视觉上下文，强调关键状态变化，从而优化动作生成。实验结果显示，DOMINO成功率相比基线提升了10.26个百分点，并在RoboTwin 2.0上表现出竞争力，且能够在DOMINO Level 1到Level 2和3之间无目标级别适应性地迁移。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在视觉想象中未能有效对齐任务关键交互的问题，导致推理过程中的信息损失和冗余动作生成。

核心思路：提出的事件对齐视觉动作推理框架通过将视觉-动作预测围绕交互事件进行组织，强调关键状态变化，从而提升推理的精确性和有效性。

技术框架：该框架包括事件对齐的视觉动作监督模块和执行有效性头。前者用于生成事件对齐的视觉上下文，后者识别每个预测动作序列的有效部分，避免冗余动作。

关键创新：最重要的创新在于通过事件对齐的方式重构视觉推理过程，使其更好地适应任务关键交互的动态变化，与传统方法相比，显著提升了推理的准确性和效率。

关键设计：在设计中，采用了特定的损失函数来优化事件对齐的视觉上下文生成，并通过执行有效性头来确保生成动作序列的有效性，减少冗余动作的产生。整体网络结构经过精心设计，以支持多层次的推理过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的事件对齐视觉动作推理框架在DOMINO任务上成功率提升了10.26个百分点，相比基线表现出显著的性能提升。同时，该方法在RoboTwin 2.0上也展现了竞争力，并能够无缝迁移至不同的任务级别。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能监控等需要实时决策和动作生成的场景。通过优化视觉推理过程，该方法能够提升系统在复杂环境中的适应能力和决策效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

World-Action Models (WAMs) utilize future visual prediction as an intermediate reasoning process to guide action generation. However, existing WAMs typically structure visual imagination according to predefined temporal intervals, without explicitly accounting for the different roles of task-critical interactions and connecting transitions. We argue that effective visual foresight should align directly with task-relevant interactions and their corresponding reasoning demands. To this end, we introduce an event-aligned visual action reasoning framework that organizes visual-action prediction around interaction events. Through event-aligned visual-action supervision, WAM learns to generate event-aligned visual context in each imagined rollout, placing greater emphasis on critical state changes that inform action generation. This shapes the visual reasoning granularity according to the underlying interaction dynamics, with detailed reasoning around task-critical events and coarser progression through connecting transitions. Furthermore, we introduce an execution validity head that identifies the valid portion of each predicted action sequence, avoiding redundant actions during chunked inference. Experiments demonstrate a 10.26 percentage point improvement in DOMINO success rate over baseline and competitive performance on RoboTwin 2.0. It also transfers from DOMINO Level 1 to Levels 2 and 3 without target-level adaptation.