DeCoNav: Dialog enhanced Long-Horizon Collaborative Vision-Language Navigation

📄 arXiv: 2604.12486v1 📥 PDF

作者: Sunyao Zhou, Yunzi Wu, Tianhang Wang, Xinhai Li, Guang Chen, Lizheng Liu, Chenjia Bai, Xuelong Li

分类: cs.RO

发布日期: 2026-04-14

💡 一句话要点

提出DeCoNav，通过对话增强实现长期协作视觉-语言导航。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多机器人协作 视觉-语言导航 对话增强 动态任务分配 事件触发 去中心化 长期导航

📋 核心要点

  1. 现有协作式视觉-语言导航方法依赖静态策略，无法适应新证据，限制了复杂环境下的协作性能。
  2. DeCoNav通过事件触发的对话机制，实现机器人间动态任务分配和实时重新规划，提升协作效率。
  3. 在CoNavBench基准测试中，DeCoNav将双方成功率(BSR)显著提升69.2%，验证了其有效性。

📝 摘要（中文）

长期协作视觉-语言导航(VLN)对于多机器人系统完成超出单个智能体能力的复杂任务至关重要。CoNavBench首次提出了协作式长期VLN基准，包含接力式多机器人任务、协作分类，以及基于图的生成和评估，以模拟共享环境中的交接和汇合。然而，现有的基准和评估通常不能严格执行共享世界时间线上双机器人同步展开，并且它们通常依赖于静态协调策略，这些策略无法在新跨代理证据出现时进行调整。我们提出了对话增强的长期协作视觉-语言导航(DeCoNav)，这是一个去中心化的框架，它将事件触发的对话与动态任务分配和重新规划相结合，以实现实时自适应协调。在DeCoNav中，机器人通过对话交换紧凑的语义状态，而无需中央控制器。当出现诸如新证据、不确定性或冲突等信息事件时，会触发对话以动态地重新分配子目标并在同步执行下重新规划。DeCoNav在包含176个HM3D场景的CoNavBench中实现了1213个任务，将双方成功率(BSR)提高了69.2%，证明了对话驱动的动态重新分配规划对于多机器人协作的有效性。

🔬 方法详解

问题定义：论文旨在解决多机器人长期协作视觉-语言导航（VLN）问题。现有方法主要依赖于静态的协调策略，无法根据环境中出现的新的跨智能体证据进行动态调整，导致在复杂和动态的环境中协作效率低下。此外，现有基准测试也缺乏对双机器人同步执行的严格要求。

核心思路：DeCoNav的核心思路是通过引入事件触发的对话机制，使机器人能够实时地交换信息并动态地重新分配任务。当出现新的证据、不确定性或冲突时，机器人之间会触发对话，从而能够根据最新的环境信息进行重新规划，实现更灵活和高效的协作。

技术框架：DeCoNav是一个去中心化的框架，主要包含以下几个模块：1) 语义状态表示：机器人将自身的观测和状态信息编码为紧凑的语义状态。2) 事件触发机制：当出现新的证据、不确定性或冲突时，触发对话。3) 对话模块：机器人之间通过对话交换语义状态信息。4) 动态任务分配：根据对话信息，动态地重新分配子目标。5) 重新规划模块：根据新的子目标和环境信息，进行路径重新规划。整个流程在同步执行的环境下进行。

关键创新：DeCoNav的关键创新在于将事件触发的对话机制与动态任务分配和重新规划相结合，实现了多机器人之间的实时自适应协调。与现有方法相比，DeCoNav不需要中央控制器，而是通过去中心化的方式进行协作，更加灵活和鲁棒。此外，DeCoNav能够根据环境变化动态调整任务分配，提高了协作效率。

关键设计：DeCoNav的关键设计包括：1) 语义状态的表示方式，需要足够紧凑和信息丰富，以便机器人之间高效地交换信息。2) 事件触发的阈值设置，需要平衡信息交换的频率和计算成本。3) 动态任务分配的策略，需要考虑各个机器人的能力和环境信息，以实现最优的任务分配。4) 重新规划算法的选择，需要在效率和精度之间进行权衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DeCoNav在CoNavBench基准测试中取得了显著的性能提升。在包含176个HM3D场景的1213个任务中，DeCoNav将双方成功率(BSR)提高了69.2%。这一结果表明，对话驱动的动态重新分配规划对于多机器人协作具有显著的优势，验证了DeCoNav的有效性。

🎯 应用场景

DeCoNav技术可应用于多机器人协同探索、搜救、物流配送等领域。例如，在灾难救援中，多个机器人可以协同搜索幸存者，并根据现场情况动态调整搜索策略。在智能仓储中，多个机器人可以协同完成拣货和搬运任务，提高物流效率。该研究为多机器人协作提供了一种有效的解决方案，具有广阔的应用前景。

📄 摘要（原文）

Long-horizon collaborative vision-language navigation (VLN) is critical for multi-robot systems to accomplish complex tasks beyond the capability of a single agent. CoNavBench takes a first step by introducing the first collaborative long-horizon VLN benchmark with relay-style multi-robot tasks, a collaboration taxonomy, along with graph-grounded generation and evaluation to model handoffs and rendezvous in shared environments. However, existing benchmarks and evaluations often do not enforce strictly synchronized dual-robot rollout on a shared world timeline, and they typically rely on static coordination policies that cannot adapt when new cross-agent evidence emerges. We present Dialog enhanced Long-Horizon Collaborative Vision-Language Navigation (DeCoNav), a decentralized framework that couples event-triggered dialogue with dynamic task allocation and replanning for real-time, adaptive coordination. In DeCoNav, robots exchange compact semantic states via dialogue without a central controller. When informative events such as new evidence, uncertainty, or conflicts arise, dialogue is triggered to dynamically reassign subgoals and replan under synchronized execution. Implemented in DeCoNavBench with 1,213 tasks across 176 HM3D scenes, DeCoNav improves the both-success rate (BSR) by 69.2%, demonstrating the effectiveness of dialogue-driven, dynamically reallocated planning for multi-robot collaboration.