World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning

📄 arXiv: 2503.10480v1 📥 PDF

作者: Siyin Wang, Zhaoye Fei, Qinyuan Cheng, Shiduo Zhang, Panpan Cai, Jinlan Fu, Xipeng Qiu

分类: cs.CL, cs.CV, cs.RO

发布日期: 2025-03-13

💡 一句话要点

提出双重偏好优化D²PO，提升具身任务规划中LVLM的环境理解和规划能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 具身任务规划 视觉语言模型 世界模型 偏好学习 双重优化

📋 核心要点

  1. 现有具身任务规划方法在处理依赖约束和效率方面存在不足，未能充分利用世界模型提升规划能力。
  2. D²PO通过偏好学习联合优化状态预测和动作选择，使LVLMs能够更好地理解环境动态，从而提升规划能力。
  3. 实验表明，D²PO在VoTa-Bench上显著优于现有方法和GPT-4o，实现了更高的任务成功率和更高效的执行路径。

📝 摘要（中文）

大型视觉语言模型(LVLMs)在具身任务规划中展现了潜力，但仍面临依赖约束和效率等挑战。现有方法要么只优化动作选择，要么在推理时利用世界模型，忽略了学习建模世界以增强规划能力的好处。我们提出了双重偏好优化(D²PO)，这是一个新的学习框架，通过偏好学习联合优化状态预测和动作选择，使LVLMs能够理解环境动态以实现更好的规划。为了自动收集轨迹和逐步偏好数据而无需人工标注，我们引入了一种树搜索机制，通过试错进行广泛探索。在VoTa-Bench上的大量实验表明，当应用于Qwen2-VL (7B)、LLaVA-1.6 (7B)和LLaMA-3.2 (11B)时，我们基于D²PO的方法显著优于现有方法和GPT-4o，以更高效的执行路径实现了卓越的任务成功率。

🔬 方法详解

问题定义：论文旨在解决具身任务规划中，大型视觉语言模型（LVLMs）难以有效理解环境动态，从而导致规划效率低下和任务成功率不高的问题。现有方法要么只关注动作选择的优化，要么仅在推理阶段利用世界模型，忽略了在训练阶段学习世界模型以提升规划能力的重要性。这些方法无法充分利用环境信息，导致规划结果对环境变化的适应性较差。

核心思路：论文的核心思路是通过双重偏好优化（D²PO）框架，联合优化状态预测和动作选择。通过学习预测环境状态的变化，LVLMs可以更好地理解环境动态，从而做出更明智的规划决策。这种方法将世界建模融入到学习过程中，使LVLMs能够更好地适应复杂和动态的环境。

技术框架：D²PO框架包含以下主要模块：1) 轨迹生成模块：利用树搜索机制，通过试错探索生成大量的轨迹数据。2) 偏好学习模块：基于生成的轨迹数据，学习状态预测和动作选择的偏好。3) LVLM集成模块：将学习到的偏好信息集成到LVLM中，用于指导任务规划。整个流程首先通过树搜索生成轨迹数据，然后利用这些数据进行偏好学习，最后将学习到的偏好信息用于指导LVLM进行任务规划。

关键创新：论文最重要的技术创新点在于提出了双重偏好优化（D²PO）框架，该框架能够联合优化状态预测和动作选择，从而使LVLMs能够更好地理解环境动态。与现有方法相比，D²PO不仅关注动作选择的优化，还关注状态预测的学习，从而使LVLMs能够更好地适应复杂和动态的环境。此外，论文还提出了一种自动收集轨迹和偏好数据的方法，无需人工标注，降低了数据收集的成本。

关键设计：论文的关键设计包括：1) 树搜索机制：用于生成大量的轨迹数据，通过试错探索不同的动作序列。2) 偏好学习方法：用于学习状态预测和动作选择的偏好，可以采用各种偏好学习算法，例如Bradley-Terry模型或排序学习算法。3) 损失函数设计：用于指导偏好学习过程，可以设计损失函数来鼓励LVLM预测更准确的状态变化，并选择更有效的动作序列。具体的参数设置和网络结构取决于所使用的LVLM和偏好学习算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于D²PO的方法在VoTa-Bench上显著优于现有方法和GPT-4o。具体而言，当应用于Qwen2-VL (7B)、LLaVA-1.6 (7B)和LLaMA-3.2 (11B)时，D²PO能够以更高效的执行路径实现更高的任务成功率。例如，在某些任务上，D²PO可以将任务成功率提高10%以上，同时减少执行步骤的数量。

🎯 应用场景

该研究成果可应用于各种具身智能任务，例如家庭机器人、自动驾驶、智能助手等。通过提升LVLM对环境的理解和规划能力，可以使这些智能系统更好地完成复杂任务，提高工作效率和用户体验。未来，该方法还可以扩展到更复杂的环境和任务中，例如在虚拟现实环境中进行训练和测试，或者应用于多智能体协作任务。

📄 摘要（原文）

Recent advances in large vision-language models (LVLMs) have shown promise for embodied task planning, yet they struggle with fundamental challenges like dependency constraints and efficiency. Existing approaches either solely optimize action selection or leverage world models during inference, overlooking the benefits of learning to model the world as a way to enhance planning capabilities. We propose Dual Preference Optimization (D$^2$PO), a new learning framework that jointly optimizes state prediction and action selection through preference learning, enabling LVLMs to understand environment dynamics for better planning. To automatically collect trajectories and stepwise preference data without human annotation, we introduce a tree search mechanism for extensive exploration via trial-and-error. Extensive experiments on VoTa-Bench demonstrate that our D$^2$PO-based method significantly outperforms existing methods and GPT-4o when applied to Qwen2-VL (7B), LLaVA-1.6 (7B), and LLaMA-3.2 (11B), achieving superior task success rates with more efficient execution paths.