AVERT-VLN: Abstention-aware Visual Error Recovery and Training for Vision-and-Language Navigation

📄 arXiv: 2609.39579v1 📥 PDF

作者: Minrui Liu, Jingke Wang, Yuehao Huang, Hao Su, Jiajun Lv, Yukai Ma, Yong Liu

分类: cs.AI

发布日期: 2026-09-30

💡 一句话要点

提出AVERT-VLN以解决视觉语言导航中的错误恢复问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 错误恢复 人机交互 偏好学习 动态决策

📋 核心要点

  1. 现有的视觉语言导航方法在未知环境中容易出现执行偏差，缺乏有效的错误恢复机制。
  2. AVERT-VLN框架通过引入视觉语言监控器，实现在线错误恢复和离线偏好学习，提升导航的鲁棒性。
  3. 在实验中，AVERT-VLN系统在多个导航架构上均显著提高了成功率，验证了其有效性。

📝 摘要（中文）

在未知环境中部署视觉语言导航（VLN）代理仍然面临挑战，因为不熟悉的布局和视觉条件可能导致执行偏离轨道。为了减少对持续人类监督的依赖，本文提出了一种选择性请求纠正指导的策略，以恢复正在进行的任务并利用纠正交互来改善后续导航。我们提出了基于回避的视觉错误恢复与训练框架（AVERT-VLN），该框架使用插件式视觉语言监控器进行在线人类辅助恢复和离线偏好学习。监控器独立于导航决策生成，评估指令执行的一致性。通过构建包含20K反事实风险轨迹和基于规则的偏差标签的LOSTNAV数据集，训练监控器识别偏差。在人类辅助评估下，AVERT-VLN系统在R2R-CE和RxR-CE的验证集上分别达到了76.2%和66.3%的成功率。

🔬 方法详解

问题定义：本文旨在解决视觉语言导航（VLN）代理在未知环境中执行偏差的问题。现有方法往往依赖于持续的人类监督，难以适应复杂的环境变化。

核心思路：AVERT-VLN框架通过引入一个视觉语言监控器，允许代理在执行过程中选择性地请求人类指导，从而实现错误恢复和后续学习。该设计旨在减少对人类的依赖，同时提高导航的准确性和效率。

技术框架：AVERT-VLN的整体架构包括两个主要模块：视觉语言监控器和导航决策生成器。监控器负责评估指令执行的一致性，并在必要时请求人类指导。导航决策生成器则根据监控器的反馈调整导航策略。

关键创新：本文的主要创新在于引入了基于回避的错误恢复机制和偏好学习策略，使得导航代理能够在执行过程中动态调整决策，显著提高了在复杂环境中的适应能力。

关键设计：在训练过程中，监控器首先在40K正常轨迹上进行微调，然后在正常和风险轨迹上联合微调，以识别语义偏差。使用的损失函数和网络结构经过精心设计，以确保监控器的准确性和鲁棒性。实验中还采用了异步侧车监控技术，实时评估执行情况。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，AVERT-VLN系统在R2R-CE和RxR-CE的验证集上分别达到了76.2%和66.3%的成功率，相较于基线方法显著提升。这表明该框架在视觉语言导航中的有效性和实用性。

🎯 应用场景

AVERT-VLN的研究成果在智能机器人、自动驾驶和人机交互等领域具有广泛的应用潜力。通过提高视觉语言导航系统的鲁棒性，该技术可以在复杂和动态的环境中实现更高效的任务执行，推动相关技术的实际应用和发展。

📄 摘要（原文）

Deploying vision-and-language navigation (VLN) agents in unseen environments remains challenging because unfamiliar layouts and visual conditions can cause execution to go off track. Rather than relying on continuous human supervision, a practical strategy is to selectively request corrective guidance, recover the ongoing task, and reuse corrective interactions to improve subsequent navigation. We propose Abstention-aware Visual Error Recovery and Training for Vision-and-Language Navigation (AVERT-VLN), a closed-loop framework that uses a plug-in vision-language Monitor for online human-assisted recovery and offline preference learning. The Monitor operates separately from navigation decision generation and assesses instruction-execution consistency from the instruction, visual history, and current observation. To train the Monitor for deviation recognition, we construct LOSTNAV DATASET with 20K counterfactual risk trajectories and rule-based deviation labels. The Monitor is first fine-tuned on 40K normal trajectories to assess instruction progress and then jointly fine-tuned on normal and risk trajectories to recognize semantic deviations. At runtime, Asynchronous Sidecar Monitoring evaluates execution alongside the navigation model. When the controller accepts a LOST verdict, it suspends autonomous execution and requests human guidance for recovery. For offline policy improvement, Trajectory-Anchored Preference Learning converts deviation-associated failures into decision-level preference pairs under shared decision contexts, restricting supervision to the decisions targeted for correction. Under human-assisted evaluation, the full AVERT-VLN system achieves success rates of 76.2% and 66.3% on the val-unseen splits of R2R-CE and RxR-CE, respectively. The same monitoring and human-assisted recovery interface also improves success rates across the three evaluated navigation architectures.