When to Trust Imagination: Adaptive Action Execution for World Action Models

📄 arXiv: 2605.06222v1 📥 PDF

作者: Rui Wang, Yue Zhang, Jiehong Lin, Kuncheng Luo, Jianan Wang, Zhongrui Wang, Xiaojuan Qi

分类: cs.RO, cs.AI

发布日期: 2026-05-07

💡 一句话要点

提出FFDC自适应世界行为模型执行，提升机器人操作的鲁棒性和效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界行为模型 机器人操作 自适应执行 未来预测 因果注意力

📋 核心要点

  1. 现有世界行为模型(WAMs)执行固定数量的动作，忽略了预测与现实的偏差，导致鲁棒性不足。
  2. 提出Future Forward Dynamics Causal Attention (FFDC)，通过验证未来预测与现实观测的一致性，自适应调整动作执行长度。
  3. 实验表明，FFDC在RoboTwin和真实世界中均能显著提升机器人操作的成功率和效率，实现鲁棒性与效率的平衡。

📝 摘要（中文）

世界行为模型(WAMs)通过联合预测未来视觉观测和动作，成为机器人操作领域一个有前景的范例。然而，现有的WAMs通常在每次模型推理后执行固定数量的预测动作，使得机器人无法判断预测的未来是否与实际物理展开保持一致。本文将自适应WAM执行形式化为一个未来-现实验证问题：当WAM预测的未来仍然可靠时，机器人应该执行更长时间；当现实偏离想象时，则应尽早重新规划。为此，我们提出了未来前向动力学因果注意力(FFDC)，一个轻量级的验证器，它联合推理预测的未来动作、预测的视觉动态、真实观测和语言指令，以估计剩余的动作展开是否仍然可信。FFDC实现了自适应的动作块大小，作为预测-观测一致性的自然结果，既保留了长程执行的效率，又恢复了在接触密集或困难阶段的响应性。我们进一步引入了混合视野训练，以提高自适应执行的长程轨迹覆盖率。在RoboTwin基准测试和真实世界的实验表明，我们的方法实现了强大的鲁棒性-效率权衡：在RoboTwin上，它减少了69.10%的WAM前向传递和34.02%的执行时间，同时比短块基线提高了2.54%的成功率；在真实世界的实验中，它提高了35%的成功率。

🔬 方法详解

问题定义：现有世界行为模型（WAMs）在机器人操作中面临的关键问题是，它们通常执行固定长度的动作序列，而忽略了预测的未来状态与实际观测之间的差异。这种固定策略导致在复杂或接触密集的环境中，模型容易偏离实际情况，降低操作的鲁棒性和效率。现有方法缺乏根据环境变化自适应调整动作执行长度的能力，无法在长程规划的效率和短期响应的准确性之间取得平衡。

核心思路：本文的核心思路是将WAM的执行过程视为一个未来-现实验证问题。通过引入一个轻量级的验证器，即Future Forward Dynamics Causal Attention (FFDC)，来评估预测的未来状态与实际观测之间的一致性。FFDC能够根据预测与观测的匹配程度，动态地决定何时继续执行预测的动作序列，以及何时需要重新规划。这种自适应的执行策略旨在最大化利用WAM的长程规划能力，同时在预测出现偏差时及时进行纠正，从而提高整体的鲁棒性和效率。

技术框架：整体框架包含以下几个主要模块：1) 世界行为模型（WAM）：负责预测未来视觉观测和动作序列。2) Future Forward Dynamics Causal Attention (FFDC)：作为验证器，接收WAM预测的未来动作、预测的视觉动态、真实观测和语言指令作为输入，输出一个置信度评分，表示剩余动作序列的可信程度。3) 自适应执行模块：根据FFDC的置信度评分，决定是继续执行当前动作序列，还是触发重新规划。4) 混合视野训练：用于提高模型在长程轨迹上的覆盖率，从而提升自适应执行的效果。整个流程是，WAM生成动作序列，FFDC评估其可信度，自适应执行模块根据评估结果执行或重新规划，并通过混合视野训练不断优化模型。

关键创新：最重要的技术创新点在于FFDC验证器的设计。FFDC通过因果注意力机制，联合推理预测的未来动作、预测的视觉动态、真实观测和语言指令，从而更准确地评估预测与现实之间的一致性。与现有方法相比，FFDC不仅考虑了视觉观测，还考虑了动作序列和语言指令，从而能够更全面地理解环境状态和任务目标。此外，FFDC的设计目标是轻量级，使其能够在计算资源有限的机器人平台上高效运行。

关键设计：FFDC的关键设计包括：1) 因果注意力机制：用于捕捉动作、视觉和语言之间的依赖关系，从而更准确地评估预测的可信度。2) 混合损失函数：结合了预测误差和置信度评分，用于训练FFDC。3) 混合视野训练：通过在不同长度的轨迹上进行训练，提高模型在长程规划上的泛化能力。具体的网络结构和参数设置在论文中有详细描述，例如，注意力头的数量、隐藏层的维度等。损失函数的设计也考虑了平衡预测误差和置信度评分的重要性，以避免模型过度自信或过于保守。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在RoboTwin基准测试中，相比于短块基线，减少了69.10%的WAM前向传递和34.02%的执行时间，同时提高了2.54%的成功率。在真实世界的实验中，成功率提高了35%。这些数据表明，该方法在提高效率和鲁棒性方面均取得了显著的提升，实现了良好的性能权衡。

🎯 应用场景

该研究成果可广泛应用于各种机器人操作任务中，尤其是在复杂、动态或接触密集的环境中。例如，它可以用于家庭服务机器人，使其能够更可靠地完成诸如物体抓取、整理等任务；也可以应用于工业机器人，提高其在装配、搬运等过程中的效率和鲁棒性。此外，该方法还可以扩展到自动驾驶、医疗机器人等领域，具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

World Action Models (WAMs) have recently emerged as a promising paradigm for robotic manipulation by jointly predicting future visual observations and future actions. However, current WAMs typically execute a fixed number of predicted actions after each model inference, leaving the robot blind to whether the imagined future remains consistent with the actual physical rollout. In this work, we formulate adaptive WAM execution as a future-reality verification problem: the robot should execute longer when the WAM-predicted future remains reliable, and replan earlier when reality deviates from imagination. To this end, we propose Future Forward Dynamics Causal Attention (FFDC), a lightweight verifier that jointly reasons over predicted future actions, predicted visual dynamics, real observations, and language instructions to estimate whether the remaining action rollout can still be trusted. FFDC enables adaptive action chunk sizes as an emergent consequence of prediction-observation consistency, preserving the efficiency of long-horizon execution while restoring responsiveness in contact-rich or difficult phases. We further introduce Mixture-of-Horizon Training to improve long-horizon trajectory coverage for adaptive execution. Experiments on the RoboTwin benchmark and in the real world demonstrate that our method achieves a strong robustness-efficiency trade-off: on RoboTwin, it reduces WAM forward passes by 69.10% and execution time by 34.02%, while improving success rate by 2.54% over the short-chunk baseline; in real-world experiments, it improves success rate by 35%.