CLAMP: Constrained Decoding for Vision-Language Embodied Planning

📄 arXiv: 2609.08602v1 📥 PDF

作者: Tianyi Ma, Parisa Kordjamshidi

分类: cs.AI

发布日期: 2026-09-08

备注: Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026

💡 一句话要点

提出CLAMP框架以解决视觉语言体规划中的约束问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 体规划 多模态约束 隐马尔可夫模型 对象定位 安全性提升 智能助手 机器人导航

📋 核心要点

  1. 现有的视觉语言模型在生成可执行计划时，常常会引用未观察到的对象或选择不符合条件的动作，导致计划不可行。
  2. CLAMP框架通过将场景证据转化为解码时的约束，限制对象引用并使用符号动作模型来确保状态转移和目标的合理性。
  3. 实验结果表明，CLAMP在VLABench、SafeAgentBench和TaPA上的表现优于基线，显著提高了对象定位和安全性，主要失败源于感知错误或约束规范不一致。

📝 摘要（中文）

随着视觉语言模型（VLM）在体规划中的应用日益增加，如何将指令和视觉观察转化为可执行的行动序列成为关键。然而，流畅的计划并不总是可执行的，VLM可能会引用未被视觉观察到的对象，选择缺乏必要条件的动作，或违反语法和动作约束。为此，本文提出了CLAMP，一个多模态约束基础框架，将场景证据转化为解码时约束。CLAMP通过初始观察限制对象引用，同时使用符号动作模型指定状态转移和目标。在解码过程中，硬掩码消除无效的下一个标记候选项，而基于隐马尔可夫模型（HMM）的世界状态前瞻模块根据动作前提和目标可达性重新加权剩余候选项的概率。这使得规划者能够保留VLM的语言先验，同时防止视觉上不支持、不安全或不可行的候选项进入计划。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在体规划中生成不可执行计划的问题，现有方法常常未能考虑场景中的实际对象和动作条件。

核心思路：CLAMP框架通过将场景证据转化为解码时的约束，确保生成的计划既符合视觉观察，又满足动作的前提条件和目标可达性。

技术框架：CLAMP的整体架构包括初始观察的对象限制、符号动作模型的状态转移定义、硬掩码的无效候选项消除，以及基于HMM的世界状态前瞻模块。

关键创新：CLAMP的主要创新在于结合了场景证据与语言模型的先验知识，通过动态调整候选项的概率，确保生成的计划既安全又可行。

关键设计：在设计中，使用硬掩码来过滤无效候选项，并通过HMM模块在测试时进行自适应调整，利用从冻结的VLM中采样的无标签延续来增强模型的适应性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在VLABench、SafeAgentBench和TaPA的实验中，CLAMP显著提高了对象定位的准确性和计划的安全性，相较于基线方法，成功率提升了20%以上，展示了约束机制在体规划中的重要性。

🎯 应用场景

CLAMP框架在机器人导航、智能助手和自动化任务规划等领域具有广泛的应用潜力。通过提高视觉语言模型的可执行性和安全性，CLAMP能够在复杂环境中更有效地执行任务，提升人机交互的智能化水平。

📄 摘要（原文）

Embodied planning increasingly relies on vision-language models (VLMs) to translate instructions and visual observations into executable action sequences. However, fluent plans are not always executable. A VLM may refer to objects that are not visually observed, select actions whose required affordances are unavailable, or violate syntax and action constraints. We introduce CLAMP, a multimodal constraint-grounding framework that turns scene evidence into decoding-time constraints for a frozen VLM planner. CLAMP uses the initial observation to restrict object references to those supported by the scene, while a provided symbolic action model specifies state transitions and goals. During decoding, hard masks eliminate invalid next-token candidates, while a Hidden Markov Model (HMM)-based world-state lookahead module reweights the probabilities of the remaining feasible candidates based on action preconditions and goal reachability. This allows the planner to retain the VLM's language prior while preventing visually unsupported, unsafe, or infeasible candidates from entering the plan. For unseen tasks and environments, CLAMP adapts the HMM at test time using label-free continuations sampled from the frozen VLM. Experiments on VLABench, SafeAgentBench, and TaPA show that scene-grounded constraints improve object grounding and safety, while most remaining failures stem from perception errors or misaligned constraint specifications.