DPed-VLN: A Benchmark for Socially Compliant Vision-and-Language Navigation in Dynamic Pedestrian Environments

📄 arXiv: 2609.21504v1 📥 PDF

作者: Haojie Dai, Xiangyi Wang, Liuyi Wang, Kai Sheng, Zongtao He, Chengju Liu, Wei Ye, Qijun Chen

分类: cs.RO

发布日期: 2026-09-18

💡 一句话要点

提出DPed-VLN以解决动态行人环境中的视觉语言导航问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 动态行人感知 社会安全约束 强化学习 模仿学习 基准测试 机器人导航

📋 核心要点

  1. 现有的视觉语言导航方法在动态行人环境中面临挑战，无法有效处理移动行人和社会安全约束。
  2. 本文提出DPed-VLN基准，结合动态行人感知网络DPet，通过强化学习和模仿学习提升导航性能。
  3. 实验结果显示，LoRA微调显著提高了多个指标，尤其是DPet-RL在成功率和安全性方面表现最佳。

📝 摘要（中文）

视觉语言导航（VLN）在静态室内环境中取得了快速进展，但在人员密集的空间中，机器人必须在响应移动行人的同时，遵循社会安全约束。本文提出了DPed-VLN，这是一个Habitat 3.0基准，结合了33,093个导航实例、配对的全局和先前增强的指令、ORCA控制的人形行人、社会约束的专家路径，以及共同评估导航效率和社会安全的指标。DPed-VLN将普通的目标导向路线指导与暴露动态行人线索的先前增强指令分开。为实现该基准，本文引入了DPet（动态行人感知网络），该网络通过强化学习和模仿学习进行训练。我们还通过LoRA微调，适配了包括NaVILA和StreamVLN在内的代表性最先进的VLM基础导航模型。实验表明，LoRA适配在多个成功和安全指标上提升了零样本VLM基线，特别是降低了StreamVLN的碰撞率。在评估的方法中，DPet-RL达到了最高的成功率（SR）、路径长度比（SPL）和时间效率比（STL）。

🔬 方法详解

问题定义：本文旨在解决在动态行人环境中进行视觉语言导航时，机器人如何有效地理解语言指令并应对移动行人的挑战。现有方法在处理动态环境时，往往无法兼顾导航效率与社会安全。

核心思路：论文提出DPed-VLN基准，通过将普通的目标导向导航与动态行人线索结合，提供了一种新的分析框架。DPet网络通过强化学习和模仿学习，能够更好地适应动态环境中的行人行为。

技术框架：整体架构包括数据生成、网络训练和评估三个主要模块。数据生成阶段结合了动态行人和社会约束，网络训练阶段使用DPet进行强化和模仿学习，评估阶段则通过多种指标来衡量导航的成功与安全性。

关键创新：最重要的技术创新在于DPed-VLN基准的提出和DPet网络的设计，使得机器人能够在动态环境中更好地理解和响应行人行为，显著提升了导航的安全性和效率。

关键设计：在网络设计上，DPet采用了特定的损失函数以平衡导航效率与安全性，同时在训练过程中引入了动态行人行为的模拟，以增强模型的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LoRA微调显著提升了多个成功和安全指标，尤其是DPet-RL在成功率（SR）、路径长度比（SPL）和时间效率比（STL）方面均达到了最高水平，StreamVLN的碰撞率也得到了有效降低。

🎯 应用场景

该研究的潜在应用场景包括智能机器人在公共场所的导航、自动驾驶车辆在城市环境中的行驶以及服务机器人在商业环境中的人机交互。通过提升机器人在动态环境中的导航能力，能够有效提高人机共存的安全性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-and-language navigation (VLN) has advanced rapidly in static indoor environments, but robots operating in human-populated spaces must ground language while responding to moving pedestrians and social-safety constraints. We present DPed-VLN, a Habitat 3.0 benchmark for dynamic-pedestrian VLN that couples 33,093 navigation episodes with paired global and prior-augmented instructions, ORCA-controlled humanoid pedestrians, socially constrained expert paths, and metrics that jointly assess navigation efficiency and social safety. DPed-VLN separates ordinary goal-oriented route guidance from prior-augmented instructions that expose dynamic-pedestrian cues for controlled analysis. To instantiate the benchmark, we introduce DPet (Dynamic Pedestrian-aware Network), a pedestrian-aware policy network trained with reinforcement learning and imitation learning. We further adapt representative state-of-the-art VLM-based navigation models, including NaVILA and StreamVLN, to DPed-VLN through LoRA fine-tuning. Experiments show that LoRA adaptation improves zero-shot VLM baselines in several success and safety metrics, especially reducing StreamVLN's collision rate. Among the evaluated methods, DPet-RL achieves the highest SR, SPL, and STL.