DR-VLA: Learning Human-Like Quadruped Navigation from Egocentric Web Videos via Domain-Invariant Scene Representations

📄 arXiv: 2610.18373v1 📥 PDF

作者: Jun Tian, Yingjie Niu, Ruo Chen, Hongyi Lin, Chao Li

分类: cs.RO

发布日期: 2026-10-13

备注: 16 pages, 3 figures, 6 tables

💡 一句话要点

提出DR-VLA以解决四足机器人导航中的场景理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 四足机器人 导航 领域不变表示 自我中心视频 混合变换器 视觉-语言理解 动作预测 自动驾驶

📋 核心要点

  1. 现有方法在四足机器人导航中面临场景理解和人类经验转移的挑战，尤其是在复杂的户外环境中。
  2. DR-VLA框架通过领域不变场景表示（DISR）结合视觉-语言理解与潜在世界建模，旨在有效转移人类导航经验。
  3. 实验结果表明，DR-VLA在四足导航评分（QNS）上提高了约5%，并显著降低了最终航向误差（FHE），展示了其优越性。

📝 摘要（中文）

四足机器人在户外配送中需要理解复杂场景、预测变化并以社会合规的方式导航。由于收集机器人演示的成本高，现有方法难以实现广泛的泛化。本文提出DR-VLA，一个基于混合变换器的框架，通过领域不变场景表示（DISR）转移人类导航经验。我们引入EgoLynx，包含10,000小时的策划的自我中心网络视频和2,000个真实配送中的遥控机器人导航片段。通过在EgoLynx-Web上进行无动作标签的预训练，并在EgoLynx-Robot上适应模型以预测可执行轨迹，DR-VLA在测试集上提高了约5%的四足导航评分（QNS），并将最终航向误差（FHE）降低了14.6%。

🔬 方法详解

问题定义：本文旨在解决四足机器人在复杂户外环境中导航时的场景理解和人类经验转移问题。现有方法往往依赖昂贵的机器人演示，难以实现广泛的泛化。

核心思路：DR-VLA框架通过领域不变场景表示（DISR）来转移人类的导航经验，结合视觉-语言理解与潜在世界建模，设计了一种流匹配的动作专家，以提高机器人的导航能力。

技术框架：该框架主要包括三个模块：领域不变场景表示（DISR）、理解专家和世界专家。首先在EgoLynx-Web上进行无动作标签的预训练，然后在EgoLynx-Robot上适应模型并训练动作专家以预测可执行轨迹。

关键创新：DISR的引入是该研究的核心创新，它能够在没有专门几何标签或点云的情况下，提供接近任务特定3D感知的性能，显著提升了模型的泛化能力。

关键设计：模型的关键设计包括在EgoLynx-Web上进行的无标签预训练，以及在EgoLynx-Robot上进行的适应性训练。损失函数和网络结构经过精心设计，以确保模型在不同场景下的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在EgoLynx-Robot测试集上，DR-VLA的四足导航评分（QNS）提高了约5%，最终航向误差（FHE）降低了14.6%。这些结果相较于最佳竞争结果显示了显著的性能提升，验证了该框架的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、无人配送和人机协作等场景。通过有效转移人类导航经验，DR-VLA能够提升机器人在复杂环境中的自主导航能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Quadruped robots performing outdoor deliveries must interpret complex scenes, anticipate changes, and navigate in socially compliant ways. Robot demonstrations are costly to collect at the scale needed for generalization. Egocentric web videos offer abundant human navigation experience, but differences in viewpoint and motion make this experience difficult to transfer to robots. We introduce DR-VLA, a Mixture-of-Transformers framework that transfers human navigation experience through a domain-invariant scene representation (DISR). The framework combines vision-language understanding and latent world modeling with a flow-matching action expert. We introduce EgoLynx, comprising 10,000 hours of curated egocentric web video (EgoLynx-Web) and 2,000 clips of teleoperated robot navigation collected during real-world deliveries (EgoLynx-Robot). We pretrain the understanding and world experts on EgoLynx-Web without action labels, then adapt the model to robot observations and train the action expert on EgoLynx-Robot to predict executable trajectories. We also propose the Quadruped Navigation Score (QNS), a pseudo-closed-loop metric combining safety, instruction compliance, comfort, and progress. On the held-out EgoLynx-Robot test split, DR-VLA improves QNS by approximately 5% and reduces open-loop final heading error (FHE) by 14.6%, each relative to the best competing result for that metric. Ablations show that web-video pretraining improves generalization and that the model's key components contribute to performance. As a future-prediction target, DISR outperforms five generic visual representations and yields performance close to task-specific 3D perception without dedicated geometric labels or point clouds for target construction. Trained separately on NAVSIM v1 without web pretraining, DR-VLA achieves 92.1 PDMS, suggesting that the framework also applies to autonomous driving.