DELAN: Dual-Level Alignment for Vision-and-Language Navigation by Cross-Modal Contrastive Learning

📄 arXiv: 2404.01994v1 📥 PDF

作者: Mengfei Du, Binhao Wu, Jiwen Zhang, Zhihao Fan, Zejun Li, Ruipu Luo, Xuanjing Huang, Zhongyu Wei

分类: cs.CV, cs.CL, cs.LG

发布日期: 2024-04-02

备注: Accepted by LREC-COLING 2024

💡 一句话要点

提出DELAN框架以解决视觉与语言导航中的跨模态对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉与语言导航 跨模态对齐 对比学习 自监督学习 多模态融合 导航性能提升

📋 核心要点

  1. 现有视觉与语言导航方法主要集中在融合阶段的跨模态注意力，导致模态特征质量下降。
  2. 本文提出DELAN框架，通过双层对齐在融合前对不同模态进行对齐，增强跨模态交互。
  3. 实验结果表明，DELAN在R2R、R4R、RxR和CVDN等多个基准上显著提升了导航性能。

📝 摘要（中文）

视觉与语言导航（VLN）要求智能体在未知环境中根据自然语言指令进行导航。为完成任务，智能体需要对指令、观察和导航历史等多种导航模态进行对齐和整合。现有研究主要集中在融合阶段的跨模态注意力，但由于不同单一编码器生成的模态特征处于各自的空间，导致跨模态融合和决策质量下降。为此，本文提出了基于跨模态对比学习的双层对齐框架（DELAN），旨在在融合前对多种导航相关模态进行对齐，从而增强跨模态交互和行动决策。具体而言，我们根据语义关联将预融合对齐分为指令-历史层和地标-观察层，并重构双层指令以适应双层对齐。由于预融合对齐的训练信号极为有限，采用自监督对比学习策略来强化不同模态之间的匹配。我们的方案与现有模型无缝集成，在多个VLN基准上提升了导航性能，包括R2R、R4R、RxR和CVDN。

🔬 方法详解

问题定义：本文旨在解决视觉与语言导航中不同模态特征对齐不足的问题。现有方法在融合阶段的跨模态注意力效果不佳，导致决策质量下降。

核心思路：提出双层对齐（DELAN）框架，通过在融合前对指令、观察和历史信息进行双层对齐，增强模态间的交互和决策能力。

技术框架：DELAN框架分为两个主要模块：指令-历史层和地标-观察层。首先对这两层进行对齐，然后再进行模态融合。

关键创新：最重要的创新在于引入双层对齐机制，解决了现有方法中模态特征空间不一致的问题，从而提高了跨模态融合的质量。

关键设计：采用自监督对比学习策略来强化模态间的匹配，设计了适应双层对齐的重构指令，并在训练过程中使用了特定的损失函数以优化对齐效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DELAN框架在R2R、R4R、RxR和CVDN等多个基准上均实现了显著提升，具体性能提升幅度达到X%（具体数据需根据实验结果补充），验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用场景包括智能家居、机器人导航和增强现实等领域。通过提升视觉与语言导航的性能，DELAN框架能够为用户提供更为精准和自然的交互体验，推动相关技术的实际应用和发展。

📄 摘要（原文）

Vision-and-Language navigation (VLN) requires an agent to navigate in unseen environment by following natural language instruction. For task completion, the agent needs to align and integrate various navigation modalities, including instruction, observation and navigation history. Existing works primarily concentrate on cross-modal attention at the fusion stage to achieve this objective. Nevertheless, modality features generated by disparate uni-encoders reside in their own spaces, leading to a decline in the quality of cross-modal fusion and decision. To address this problem, we propose a Dual-levEL AligNment (DELAN) framework by cross-modal contrastive learning. This framework is designed to align various navigation-related modalities before fusion, thereby enhancing cross-modal interaction and action decision-making. Specifically, we divide the pre-fusion alignment into dual levels: instruction-history level and landmark-observation level according to their semantic correlations. We also reconstruct a dual-level instruction for adaptation to the dual-level alignment. As the training signals for pre-fusion alignment are extremely limited, self-supervised contrastive learning strategies are employed to enforce the matching between different modalities. Our approach seamlessly integrates with the majority of existing models, resulting in improved navigation performance on various VLN benchmarks, including R2R, R4R, RxR and CVDN.