Bootstrapping Language-Guided Navigation Learning with Self-Refining Data Flywheel

📄 arXiv: 2412.08467v2 📥 PDF

作者: Zun Wang, Jialu Li, Yicong Hong, Songze Li, Kunchang Li, Shoubin Yu, Yi Wang, Yu Qiao, Yali Wang, Mohit Bansal, Limin Wang

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-12-11 (更新: 2025-02-28)

备注: 28 pages, Code and data are available at https://github.com/wz0919/VLN-SRDF

💡 一句话要点

提出自精炼数据飞轮(SRDF)，用于引导式导航学习，性能超越人类水平。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言引导导航 自监督学习 数据增强 指令生成 机器人导航

📋 核心要点

  1. 现有语言引导导航方法缺乏高质量的训练数据，限制了智能体的鲁棒性。
  2. 提出自精炼数据飞轮(SRDF)，通过迭代优化指令生成器和导航器，自动生成高质量训练数据。
  3. 实验表明，SRDF在R2R测试集上超越人类水平，并在多个下游任务中显著优于现有方法。

📝 摘要（中文）

本文提出了一种自精炼数据飞轮(SRDF)，用于生成高质量、大规模的导航指令-轨迹对，以训练鲁棒的语言引导智能体。SRDF通过指令生成器和导航器之间的协作，迭代地提炼数据池，无需人工标注。具体来说，SRDF首先使用一个基础生成器创建初始数据池，用于训练一个基础导航器，然后使用训练好的导航器来过滤数据池。这使得更高质量的数据可以用来训练更好的生成器，进而产生更高质量的数据来训练下一轮的导航器。这种飞轮建立了一个数据自精炼过程，产生一个不断改进且高效的数据集，用于大规模的语言引导导航学习。实验表明，经过几轮飞轮迭代，导航器在经典的R2R测试集上的SPL从70%提升到78%，首次超越人类水平(76%)。同时，生成器的SPICE指标从23.5提升到26.2，优于以往所有的VLN指令生成方法。最后，通过增加环境和指令的多样性，验证了该方法的可扩展性，并且预训练的导航器在各种下游导航任务中表现出良好的泛化能力，在所有情况下都大幅超越了现有方法。

🔬 方法详解

问题定义：现有语言引导导航(VLN)方法依赖于人工标注或合成数据，但人工标注成本高昂，合成数据质量难以保证，导致训练出的智能体泛化能力不足。因此，如何高效地获取高质量的训练数据是VLN领域的一个关键问题。

核心思路：本文的核心思路是利用自监督学习的思想，构建一个数据自精炼的飞轮。通过迭代地训练指令生成器和导航器，让它们互相促进，不断提升数据质量。导航器用于过滤生成器生成的数据，从而提高数据的保真度；而更高质量的数据又可以用来训练更好的生成器，从而形成一个正反馈循环。

技术框架：SRDF包含两个主要模块：指令生成器和导航器。整体流程如下：1) 使用一个基础生成器生成初始数据池；2) 使用初始数据池训练一个基础导航器；3) 使用训练好的导航器对数据池进行过滤，保留导航器表现好的数据；4) 使用过滤后的数据训练一个新的生成器；5) 使用新的生成器生成新的数据，并与过滤后的数据合并；6) 使用合并后的数据训练一个新的导航器；7) 重复步骤3-6，进行多轮迭代。

关键创新：SRDF的关键创新在于它建立了一个数据自精炼的闭环。通过导航器对生成数据的质量进行评估和筛选，从而避免了人工标注的成本，并保证了数据的质量。这种自精炼的过程可以不断提升数据质量，从而训练出更鲁棒的导航智能体。与现有方法相比，SRDF不需要人工干预，可以自动生成大规模的高质量训练数据。

关键设计：在具体实现上，论文可能使用了以下关键设计：1) 使用Transformer等序列到序列模型作为指令生成器；2) 使用强化学习或模仿学习训练导航器；3) 设计合适的奖励函数或损失函数，鼓励导航器选择正确的路径；4) 使用SPICE等指标评估生成指令的质量；5) 设置合适的迭代次数和数据过滤阈值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过几轮SRDF迭代，导航器在R2R测试集上的SPL从70%提升到78%，首次超越人类水平(76%)。同时，生成器的SPICE指标从23.5提升到26.2，优于以往所有的VLN指令生成方法。此外，预训练的导航器在多个下游导航任务中表现出良好的泛化能力，显著优于现有方法。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、虚拟现实等领域。例如，可以利用该方法训练出能够在复杂环境中根据自然语言指令进行导航的机器人，从而实现智能家居、物流配送等应用。此外，该方法还可以用于生成虚拟环境中的导航指令，从而为虚拟现实游戏和训练提供更丰富的交互体验。

📄 摘要（原文）

Creating high-quality data for training robust language-instructed agents is a long-lasting challenge in embodied AI. In this paper, we introduce a Self-Refining Data Flywheel (SRDF) that generates high-quality and large-scale navigational instruction-trajectory pairs by iteratively refining the data pool through the collaboration between two models, the instruction generator and the navigator, without any human-in-the-loop annotation. Specifically, SRDF starts with using a base generator to create an initial data pool for training a base navigator, followed by applying the trained navigator to filter the data pool. This leads to higher-fidelity data to train a better generator, which can, in turn, produce higher-quality data for training the next-round navigator. Such a flywheel establishes a data self-refining process, yielding a continuously improved and highly effective dataset for large-scale language-guided navigation learning. Our experiments demonstrate that after several flywheel rounds, the navigator elevates the performance boundary from 70% to 78% SPL on the classic R2R test set, surpassing human performance (76%) for the first time. Meanwhile, this process results in a superior generator, evidenced by a SPICE increase from 23.5 to 26.2, better than all previous VLN instruction generation methods. Finally, we demonstrate the scalability of our method through increasing environment and instruction diversity, and the generalization ability of our pre-trained navigator across various downstream navigation tasks, surpassing state-of-the-art methods by a large margin in all cases.