RePlan-Bot: Multi-Level Replanning for Embodied Instruction Following

📄 arXiv: 2605.25851v1 📥 PDF

作者: Xicheng Gong, Guozheng Sun, Peiran Xu, Yadong Mu

分类: cs.RO

发布日期: 2026-05-25

备注: 10 pages

💡 一句话要点

RePlan-Bot：面向具身指令跟随的多层次重规划方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能 指令跟随 重规划 大型语言模型 视觉Transformer

📋 核心要点

  1. 现有具身指令跟随方法在长程规划和处理不可逆状态变化时表现不佳，导致任务成功率低。
  2. RePlan-Bot通过多层次重规划解决上述问题，包含LLM审计器、常识引导搜索和ViT校正器三个关键模块。
  3. 在ALFRED基准测试中，RePlan-Bot在已见和未见环境中均取得了SOTA性能，验证了其有效性。

📝 摘要（中文）

具身指令跟随（EIF）要求智能体理解并执行交互式3D环境中复杂的自然语言指令。尽管最近取得了进展，但现有方法在长程规划和处理不可逆状态变化方面常常失败，导致任务成功率较低。为了解决这些挑战，我们引入了RePlan-Bot，一种新型EIF智能体，它在任务执行过程中执行多层次、连续的重规划。RePlan-Bot集成了基于LLM的高级审计器，用于在环境反馈的指导下动态调整子目标；一个基于常识引导的搜索机制，该机制基于多层实例地图进行精确和结构化的对象定位；以及一个轻量级的基于ViT的校正器，用于抢先修复有风险的低级动作。在ALFRED基准测试中，RePlan-Bot在已见和未见环境中均实现了最先进的性能，展示了卓越的适应性和可靠性。

🔬 方法详解

问题定义：论文旨在解决具身指令跟随任务中，智能体在长程规划和处理不可逆状态变化时遇到的困难。现有方法通常难以适应环境变化，容易在复杂任务中失败。痛点在于缺乏有效的动态调整机制和对环境的细致理解，导致规划结果不够鲁棒。

核心思路：RePlan-Bot的核心思路是在任务执行过程中进行多层次的持续重规划。通过高级审计器监控任务进展，根据环境反馈动态调整子目标；利用常识引导的搜索机制，精确地定位物体；并使用轻量级的校正器，提前纠正可能导致失败的低级动作。这种多层次的反馈和调整机制使得智能体能够更好地适应环境变化，提高任务成功率。

技术框架：RePlan-Bot的整体架构包含三个主要模块：1) LLM审计器：利用大型语言模型（LLM）监控任务执行进度，并根据环境反馈动态调整子目标。2) 常识引导搜索：基于多层实例地图，利用常识知识引导智能体精确、结构化地定位物体。3) ViT校正器：使用轻量级的ViT模型，预测并纠正可能导致失败的低级动作。这三个模块协同工作，实现多层次的重规划。

关键创新：RePlan-Bot的关键创新在于其多层次的重规划机制。与现有方法相比，RePlan-Bot不仅在任务开始时进行规划，而且在任务执行过程中持续地进行调整和优化。这种动态的规划方式使得智能体能够更好地适应环境变化，提高任务的鲁棒性。此外，常识引导的搜索机制和ViT校正器也为智能体提供了更精确的物体定位和动作纠正能力。

关键设计：LLM审计器使用提示工程来指导LLM生成合适的子目标。常识引导搜索利用多层实例地图来表示环境，并使用常识知识来指导搜索过程。ViT校正器使用轻量级的ViT模型，以降低计算成本。具体的损失函数和网络结构等技术细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RePlan-Bot在ALFRED基准测试中取得了显著的性能提升，在已见和未见环境中均达到了SOTA水平。相较于之前的最佳方法，RePlan-Bot在任务成功率方面有显著提升，证明了其多层次重规划机制的有效性。具体的性能数据和对比基线在论文中有详细展示。

🎯 应用场景

RePlan-Bot的研究成果可应用于家庭服务机器人、工业自动化、虚拟助手等领域。通过提高智能体在复杂环境中的任务执行能力，可以实现更智能、更可靠的自动化解决方案。未来，该技术有望在医疗、教育等领域发挥重要作用，提升服务质量和效率。

📄 摘要（原文）

Embodied instruction following (EIF) requires agents to understand and execute complex natural language commands within interactive 3D environments. Despite recent advances, existing methods often fail in long-horizon planning and handling irreversible state changes, resulting in low task success rates. To address these challenges, we introduce RePlan-Bot, a novel EIF agent that performs multi-level, continuous replanning throughout task execution. RePlan-Bot integrates a high-level LLM-based auditor for dynamic sub-goal adjustments guided by environmental feedback, a commonsense-guided search mechanism based on a multi-layered instance map for precise and structured object localization, and a lightweight ViT-based corrector to preemptively fix risky low-level actions. Evaluated on the ALFRED benchmark, RePlan-Bot achieves state-of-the-art performance in both seen and unseen environments, demonstrating superior adaptability and reliability.