Imagine-RL: Residual-Confidence-Guided Cross-Attention for World-Model-Augmented VLA Reinforcement Learning

📄 arXiv: 2609.24033v1 📥 PDF

作者: Kejia Hu, Wentong Zhai, Bo Zhao, Shuai Liang

分类: cs.RO

发布日期: 2026-09-21

备注: 8 pages, 9 figures

💡 一句话要点

提出Imagine-RL以解决接触丰富操作中的可靠动作评估问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 视觉-语言-动作 机器人操作 动作评估 未来预测

📋 核心要点

  1. 现有的噪声空间强化学习方法在评估动作时未能充分考虑未来的视觉和接触后果，导致评估不可靠。
  2. Imagine-RL通过引入动作条件的视觉-扭矩想象，增强了噪声空间VLA后训练，能够更好地评估候选动作。
  3. 在四个真实机器人任务中，Imagine-RL仅使用100个强化学习轨迹，成功率显著提高，展示了其有效性。

📝 摘要（中文）

在接触丰富的操作中，可靠的动作评估需要超越当前观察，考虑未来的视觉和接触后果。现有的噪声空间强化学习有效地引导冻结的视觉-语言-动作（VLA）策略，但其批评者在很大程度上忽视了这些后果。我们提出了Imagine-RL，通过动作条件的视觉-扭矩想象增强噪声空间VLA后训练。对于每个候选动作块，一个冻结的视觉-扭矩潜在世界模型（VTLWM）自回归地预测紧凑的未来表示，而当前的图像-状态-动作查询则关注观察历史和预测的未来，同时先前窗口的预测残差提供了抑制不可靠未来标记的信心先验。通过结合当前证据与预测后果，动作评论家能够更好地评估候选动作并监督演员，同时VLA和VTLWM保持冻结。在四个真实机器人任务中，Imagine-RL仅使用100个强化学习轨迹，成功率比DSRL提高了23.6%，比VLA基线提高了60%。

🔬 方法详解

问题定义：本论文旨在解决在接触丰富的操作中，现有方法在动作评估时忽视未来视觉和接触后果的问题。现有的噪声空间强化学习方法在这一方面存在明显不足，导致评估结果的不可靠性。

核心思路：论文提出的Imagine-RL通过引入动作条件的视觉-扭矩想象，增强了噪声空间VLA后训练。该方法通过预测未来的视觉和接触后果，结合当前的观察信息，提高了动作评估的准确性。

技术框架：Imagine-RL的整体架构包括一个冻结的视觉-扭矩潜在世界模型（VTLWM），该模型自回归地预测未来的紧凑表示。当前的图像-状态-动作查询关注历史观察和预测的未来，同时利用先前窗口的预测残差来提供信心先验。

关键创新：Imagine-RL的主要创新在于通过结合当前证据与预测后果，显著提升了动作评论家的评估能力。这一方法与传统的强化学习方法相比，能够更有效地利用未来信息进行决策。

关键设计：在设计中，采用了冻结的VLA和VTLWM结构，确保在评估过程中不改变模型参数。同时，设计了特定的损失函数以优化动作评估的准确性，并通过残差信心先验来抑制不可靠的未来标记。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个真实机器人任务中，Imagine-RL仅使用100个强化学习轨迹，成功率比DSRL提高了23.6%，比VLA基线提高了60%。这一显著的性能提升表明，Imagine-RL在动作评估中的有效性和潜力。

🎯 应用场景

Imagine-RL的研究成果在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过提高动作评估的可靠性，该方法可以帮助机器人在复杂环境中更有效地执行任务，提升操作的安全性和效率。未来，该技术可能推动智能机器人在动态和不确定环境中的应用。

📄 摘要（原文）

Reliable action evaluation in contact-rich manipulation requires looking beyond the current observation to future visual and contact consequences. Existing noise-space reinforcement learning efficiently steers a frozen Vision-Language-Action (VLA) policy, but its critics largely ignore these consequences. We present Imagine-RL, which augments noise-space VLA post-training with action-conditioned visual-torque imagination. For each candidate action chunk, a frozen visual-torque latent world model (VTLWM) autoregressively predicts compact future representations without pixel reconstruction. A current image-state-action query attends to observed histories and predicted futures, while previous-window prediction residuals provide token-wise confidence priors that suppress unreliable future tokens. By combining current evidence with predicted consequences, the action critic better evaluates candidate actions and supervises the actor, while the VLA and VTLWM remain frozen. Across four real-robot tasks with 50 evaluation trials per task, Imagine-RL uses only 100 RL trajectories and improves the average success rate by (23.6%) over DSRL and by (60%) over VLA baselines.