Planning with Unified Multimodal Models

📄 arXiv: 2509.23014v1 📥 PDF

作者: Yihao Sun, Zhilong Zhang, Yang Yu, Pierre-Luc Bacon

分类: cs.CV

发布日期: 2025-09-27

备注: 29 pages, 11 figures

💡 一句话要点

Uni-Plan：基于统一多模态模型的规划框架，提升长程决策任务性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 统一多模态模型 长程规划 决策制定 自判别过滤 视觉语言模型

📋 核心要点

  1. 现有方法主要依赖于基于语言的推理，限制了其推理和做出明智决策的能力，尤其是在复杂环境中。
  2. Uni-Plan利用统一多模态模型，通过生成视觉内容进行推理，并采用自判别过滤方法来避免动力学预测中的幻觉。
  3. 实验表明，Uni-Plan在长程规划任务中显著提高了成功率，并展现出良好的数据可扩展性，无需专家演示。

📝 摘要（中文）

本文提出Uni-Plan，一个基于统一多模态模型（UMM）的规划框架，旨在利用UMM同时处理多模态输入和输出的优势，提升决策能力。该框架将单个UMM模型同时用作策略、动力学模型和价值函数。为了避免动力学预测中的幻觉问题，本文提出了一种新颖的自判别过滤方法，其中生成模型充当自判别器，以过滤掉无效的动力学预测。在长程规划任务上的实验表明，与基于视觉-语言模型（VLM）的方法相比，Uni-Plan显著提高了成功率，并且表现出强大的数据可扩展性，无需专家演示，并在相同训练数据规模下实现了更好的性能。这项工作为未来使用UMM进行推理和决策的研究奠定了基础。

🔬 方法详解

问题定义：现有基于大型语言模型（LLM）和视觉-语言模型（VLM）的决策方法主要依赖于语言推理，无法充分利用视觉信息进行决策，导致在复杂环境下的规划能力受限。动力学模型的预测容易出现幻觉，影响规划的准确性。

核心思路：本文的核心思路是利用统一多模态模型（UMM）同时处理多模态输入和输出的优势，构建一个集策略、动力学模型和价值函数于一体的规划框架。通过生成视觉内容进行推理，并采用自判别过滤方法来避免动力学预测中的幻觉，从而提升长程规划能力。

技术框架：Uni-Plan框架包含以下主要模块：1) UMM模型：作为核心组件，同时充当策略、动力学模型和价值函数。2) 规划器：利用UMM模型进行长程规划，生成动作序列。3) 自判别过滤器：利用UMM模型作为自判别器，过滤掉无效的动力学预测，提高规划的可靠性。整体流程是：给定初始状态，规划器利用UMM模型生成动作序列，动力学模型预测下一步状态，自判别过滤器评估预测状态的有效性，最终选择最优动作序列。

关键创新：1) 统一多模态模型：将策略、动力学模型和价值函数集成到一个UMM模型中，简化了模型结构，提高了效率。2) 自判别过滤：利用生成模型作为自判别器，过滤掉无效的动力学预测，有效缓解了幻觉问题。3) 无需专家演示：Uni-Plan可以在没有专家演示的情况下进行训练，降低了数据获取成本。

关键设计：自判别过滤器的实现细节：UMM模型生成预测状态后，将其输入到同一个UMM模型中，评估其合理性。具体来说，可以计算生成状态的概率，或者使用一个额外的判别器网络进行评估。损失函数的设计需要考虑规划的准确性和自判别过滤的有效性。网络结构的选择需要根据具体任务进行调整，可以采用Transformer等常用的网络结构。

📊 实验亮点

实验结果表明，Uni-Plan在长程规划任务中显著提高了成功率，与基于VLM的方法相比，性能提升显著。在相同训练数据规模下，Uni-Plan的性能优于其他方法，并且展现出良好的数据可扩展性，无需专家演示即可达到更好的性能。

🎯 应用场景

Uni-Plan具有广泛的应用前景，例如机器人导航、自动驾驶、游戏AI等。通过利用多模态信息进行推理和决策，可以提升机器人在复杂环境中的适应性和智能水平。该研究为未来开发更智能、更可靠的自主系统奠定了基础。

📄 摘要（原文）

With the powerful reasoning capabilities of large language models (LLMs) and vision-language models (VLMs), many recent works have explored using them for decision-making. However, most of these approaches rely solely on language-based reasoning, which limits their ability to reason and make informed decisions. Recently, a promising new direction has emerged with unified multimodal models (UMMs), which support both multimodal inputs and outputs. We believe such models have greater potential for decision-making by enabling reasoning through generated visual content. To this end, we propose Uni-Plan, a planning framework built on UMMs. Within this framework, a single model simultaneously serves as the policy, dynamics model, and value function. In addition, to avoid hallucinations in dynamics predictions, we present a novel approach self-discriminated filtering, where the generative model serves as a self-discriminator to filter out invalid dynamics predictions. Experiments on long-horizon planning tasks show that Uni-Plan substantially improves success rates compared to VLM-based methods, while also showing strong data scalability, requiring no expert demonstrations and achieving better performance under the same training-data size. This work lays a foundation for future research in reasoning and decision-making with UMMs.