To Move or Not to Move: Constraint-based Planning Enables Zero-Shot Generalization for Interactive Navigation

📄 arXiv: 2602.20055v1 📥 PDF

作者: Apoorva Vashisth, Manav Kulshrestha, Pranav Bakshi, Damon Conover, Guillaume Sartoretti, Aniket Bera

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-02-23

💡 一句话要点

提出基于约束规划的交互式导航框架，实现零样本泛化

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 交互式导航 约束规划 大型语言模型 主动感知 机器人 物体操作 场景理解

📋 核心要点

  1. 现有视觉导航方法通常假设起点和目标之间存在至少一条无障碍路径，但在现实环境中，杂乱的场景可能阻挡所有路径。
  2. 论文提出了一种基于LLM驱动的约束规划框架，结合主动感知，使机器人能够推理并移动障碍物，从而创建新的可行路径。
  3. 在ProcTHOR-10k模拟器中的实验表明，该方法优于非学习和基于学习的基线方法，并在真实机器人上进行了验证。

📝 摘要（中文）

本文提出了终身交互式导航问题，旨在解决移动机器人需要在杂乱环境中通过移动障碍物来规划路径，从而完成序列化的物体放置任务。针对这一问题，我们提出了一个由LLM驱动的、基于约束的规划框架，并结合主动感知。该框架允许LLM对已发现的物体和障碍物的结构化场景图进行推理，决定移动哪个物体、将其放置在哪里，以及下一步应该观察哪里以发现与任务相关的信息。这种推理和主动感知的结合使得智能体能够探索预期有助于完成任务的区域，而不是详尽地绘制环境地图。然后，标准的运动规划器执行相应的导航-拾取-放置或绕行序列，确保可靠的低级控制。在ProcTHOR-10k模拟器中进行的评估表明，我们的方法优于非学习和基于学习的基线方法。我们还在真实世界的硬件上定性地展示了我们的方法。

🔬 方法详解

问题定义：论文旨在解决终身交互式导航问题，即在杂乱环境中，机器人需要通过移动障碍物来规划路径，从而完成序列化的物体放置任务。现有方法通常假设存在无障碍路径，或者无法有效地处理环境变化带来的长期影响。

核心思路：论文的核心思路是利用大型语言模型（LLM）进行高层次的推理和规划，结合主动感知来探索环境，并使用约束规划来决定移动哪些物体以及如何移动它们。这种方法允许机器人根据任务目标和环境状态动态地调整其行为。

技术框架：整体框架包含以下几个主要模块：1) 场景图构建：通过感知模块构建环境的结构化场景图，包括物体的位置、大小和类型等信息。2) LLM驱动的约束规划：利用LLM对场景图进行推理，根据任务目标和环境约束，生成一系列的行动计划，包括移动哪个物体、放置在哪里以及下一步观察的位置。3) 运动规划与控制：使用标准的运动规划器执行导航、拾取和放置等低级动作，确保机器人能够安全可靠地完成任务。

关键创新：最重要的创新点在于将LLM的高层次推理能力与主动感知和约束规划相结合，使得机器人能够有效地解决复杂的交互式导航问题。与现有方法相比，该方法能够更好地处理环境变化带来的长期影响，并且能够更有效地探索环境。

关键设计：LLM被用于推理哪些物体需要移动，以及移动到哪里才能创造出可行的路径。约束条件包括物体之间的物理关系、任务目标以及机器人的运动能力。主动感知模块用于探索环境中未知的区域，并更新场景图。运动规划器使用标准的算法，如RRT*，来生成无碰撞的路径。

📊 实验亮点

该方法在ProcTHOR-10k模拟器中进行了评估，结果表明其性能优于非学习和基于学习的基线方法。此外，该方法还在真实世界的硬件平台上进行了定性验证，证明了其在实际应用中的可行性。具体性能数据未知，但摘要强调了优于基线。

🎯 应用场景

该研究成果可应用于家庭服务机器人、仓库自动化、以及其他需要在复杂环境中进行物体操作的场景。通过赋予机器人自主规划和交互能力，可以提高其在现实世界中的实用性和适应性，例如帮助老年人整理家居、在仓库中高效地搬运货物等。

📄 摘要（原文）

Visual navigation typically assumes the existence of at least one obstacle-free path between start and goal, which must be discovered/planned by the robot. However, in real-world scenarios, such as home environments and warehouses, clutter can block all routes. Targeted at such cases, we introduce the Lifelong Interactive Navigation problem, where a mobile robot with manipulation abilities can move clutter to forge its own path to complete sequential object- placement tasks - each involving placing an given object (eg. Alarm clock, Pillow) onto a target object (eg. Dining table, Desk, Bed). To address this lifelong setting - where effects of environment changes accumulate and have long-term effects - we propose an LLM-driven, constraint-based planning framework with active perception. Our framework allows the LLM to reason over a structured scene graph of discovered objects and obstacles, deciding which object to move, where to place it, and where to look next to discover task-relevant information. This coupling of reasoning and active perception allows the agent to explore the regions expected to contribute to task completion rather than exhaustively mapping the environment. A standard motion planner then executes the corresponding navigate-pick-place, or detour sequence, ensuring reliable low-level control. Evaluated in physics-enabled ProcTHOR-10k simulator, our approach outperforms non-learning and learning-based baselines. We further demonstrate our approach qualitatively on real-world hardware.