From Foresight to Forethought: VLM-In-the-Loop Policy Steering via Latent Alignment

📄 arXiv: 2502.01828v3 📥 PDF

作者: Yilin Wu, Ran Tian, Gokul Swamy, Andrea Bajcsy

分类: cs.RO, cs.LG

发布日期: 2025-02-03 (更新: 2025-05-02)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出FOREWARN，通过对齐潜在空间，利用VLM进行机器人策略引导。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 机器人策略引导 潜在世界模型 开放词汇验证 机器人操作

📋 核心要点

  1. 现有生成式机器人策略在部署时易失败，缺乏有效的运行时验证机制。
  2. FOREWARN解耦VLM的预测和评估负担，通过潜在世界模型连接动作与VLM的语言推理。
  3. 实验表明，FOREWARN能有效弥合表征差距，实现鲁棒且泛化的策略引导。

📝 摘要（中文）

生成式机器人策略在学习复杂、多模态行为方面展现出巨大潜力，但在部署时仍存在各种失败情况。策略引导提供了一种优雅的解决方案，通过使用外部验证器从不完善的生成策略提出的低级动作中进行选择，从而降低失败的几率。本文提出使用视觉语言模型（VLM）作为验证器，利用其开放世界的推理能力。然而，现成的VLM难以理解低级机器人动作的后果，因为它们的表示与VLM训练所用的文本和图像根本不同。为此，我们提出了FOREWARN，这是一个新颖的框架，旨在释放VLM作为运行时策略引导的开放词汇验证器的潜力。我们的核心思想是将VLM预测动作结果的负担（foresight，预见）与评估（forethought，深思熟虑）解耦。对于预见，我们利用潜在世界模型来想象给定各种低级动作计划的未来潜在状态。对于深思熟虑，我们将VLM与这些预测的潜在状态对齐，以其原生表示——自然语言——来推理动作的后果，并有效地过滤提出的计划。我们在各种机器人操作任务中验证了我们的框架，证明了其弥合表征差距并提供稳健、可泛化的策略引导的能力。

🔬 方法详解

问题定义：现有生成式机器人策略在部署时容易失败，原因在于策略本身的不完善以及环境的复杂性。直接使用视觉语言模型（VLM）来验证低级机器人动作的有效性面临挑战，因为VLM难以理解低级动作与环境状态变化之间的关系，即VLM缺乏对动作后果的“预见”能力。

核心思路：FOREWARN的核心思路是将VLM的“预见”（foresight）和“深思熟虑”（forethought）解耦。首先，利用一个潜在世界模型来预测给定动作序列后的未来潜在状态。然后，将这些潜在状态与VLM对齐，使VLM能够以自然语言的方式推理动作的后果，并基于此进行策略选择。这样，VLM只需要进行评估，而不需要直接预测动作结果，从而降低了VLM的难度。

技术框架：FOREWARN框架包含以下几个主要模块：1) 策略生成器：生成一系列可能的低级动作序列。2) 潜在世界模型：预测给定动作序列后的未来潜在状态。3) VLM对齐模块：将潜在状态与VLM对齐，使VLM能够理解潜在状态的含义。4) 策略评估模块：VLM基于对齐后的潜在状态，评估每个动作序列的优劣。5) 策略选择模块：选择VLM认为最优的动作序列执行。

关键创新：FOREWARN的关键创新在于将VLM与潜在世界模型相结合，通过潜在空间实现了动作与语言的对齐。这种方法避免了直接让VLM预测动作结果的困难，而是让VLM专注于评估动作的后果，从而充分利用了VLM的开放世界知识和推理能力。

关键设计：潜在世界模型可以使用各种现有的模型，例如VAE或Transformer。VLM对齐模块可以使用对比学习或交叉注意力机制。策略评估模块可以使用VLM生成对动作序列的描述，并根据描述的质量来评估动作序列的优劣。具体的损失函数和网络结构的选择取决于具体的任务和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多个机器人操作任务上验证了FOREWARN的有效性。实验结果表明，FOREWARN能够显著提高机器人的操作成功率，并且能够泛化到新的环境和任务中。与直接使用VLM进行策略引导的方法相比，FOREWARN能够取得更好的性能，证明了其解耦预见和深思熟虑的有效性。

🎯 应用场景

FOREWARN框架可应用于各种机器人操作任务，例如物体抓取、放置、组装等。它能够提高机器人在复杂环境中的鲁棒性和泛化能力，降低机器人操作的失败率。此外，该框架还可以扩展到其他领域，例如自动驾驶、游戏AI等，只要涉及到需要根据环境状态进行决策的场景，都可以考虑使用FOREWARN。

📄 摘要（原文）

While generative robot policies have demonstrated significant potential in learning complex, multimodal behaviors from demonstrations, they still exhibit diverse failures at deployment-time. Policy steering offers an elegant solution to reducing the chance of failure by using an external verifier to select from low-level actions proposed by an imperfect generative policy. Here, one might hope to use a Vision Language Model (VLM) as a verifier, leveraging its open-world reasoning capabilities. However, off-the-shelf VLMs struggle to understand the consequences of low-level robot actions as they are represented fundamentally differently than the text and images the VLM was trained on. In response, we propose FOREWARN, a novel framework to unlock the potential of VLMs as open-vocabulary verifiers for runtime policy steering. Our key idea is to decouple the VLM's burden of predicting action outcomes (foresight) from evaluation (forethought). For foresight, we leverage a latent world model to imagine future latent states given diverse low-level action plans. For forethought, we align the VLM with these predicted latent states to reason about the consequences of actions in its native representation--natural language--and effectively filter proposed plans. We validate our framework across diverse robotic manipulation tasks, demonstrating its ability to bridge representational gaps and provide robust, generalizable policy steering. Videos can be found on the project website: https://yilin-wu98.github.io/forewarn/.