Adapting Vision-Language-Action Models to Unknown Visual Disruptions During Execution

📄 arXiv: 2610.07946v1 📥 PDF

作者: Ahin Lee, Jinwoo Seo, Youngsoo Jang, Taesik Gong

分类: cs.RO, cs.AI

发布日期: 2026-10-06

备注: 22 pages, 15 figures, 13 tables

💡 一句话要点

提出SALT以应对执行过程中的未知视觉干扰问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉干扰 自监督学习 机器人适应 视觉-语言-动作 策略更新 任务执行 鲁棒性

📋 核心要点

  1. 现有的视觉-语言-动作策略在执行任务时面临未知视觉干扰的挑战，导致其难以有效响应。
  2. 本文提出的SALT方法利用未执行的轨迹部分作为自监督，进行测试时的适应，增强了策略的鲁棒性。
  3. 在LIBERO-10数据集上，SALT在五种持续视觉干扰下，成功率从43.9%提升至53.2%，在真实机器人上任务进展从0.49提升至0.61。

📝 摘要（中文）

在机器人执行任务时，视觉干扰可能会出现，使得视觉-语言-动作（VLA）策略在不知干扰类型或时机的情况下作出反应。本文提出了自监督适应方法SALT，利用未执行的轨迹部分作为自监督进行测试时适应。由于连续的动作块在时间上重叠，未执行的部分为当前预测提供了时间对齐的目标。在视觉变化发生时，未执行部分可以保留在干扰前形成的计划，因此更新策略以朝向该目标进行适应（过渡锚定）。SALT保持适应后的策略并重新生成当前块，未执行部分成为下次重新规划的目标，沿执行轨迹传播修正。该方法完全依赖于策略自身的预测，无需干扰注释、专家动作或目标领域演示，轻量级适应门仅在正常轨迹上进行校准以决定何时开始更新。

🔬 方法详解

问题定义：本文旨在解决机器人在执行任务时遭遇未知视觉干扰的问题。现有方法在面对这些干扰时，往往无法有效调整策略，导致任务失败。

核心思路：SALT方法的核心思想是利用未执行的轨迹部分作为自监督信号，进行测试时的策略适应。通过这种方式，策略能够在视觉干扰发生时保持对先前计划的依赖，从而实现更平滑的过渡和适应。

技术框架：SALT的整体架构包括两个主要模块：一是过渡锚定，通过未执行轨迹保持对先前计划的依赖；二是顺序修正传播，利用当前块的未执行部分作为下次重新规划的目标。

关键创新：SALT的主要创新在于完全依赖于策略自身的预测进行自监督适应，而不需要额外的干扰注释或专家示范。这种设计使得方法在实际应用中更加灵活和高效。

关键设计：在实现上，SALT采用轻量级适应门，仅在正常轨迹上进行校准，以决定何时开始更新策略。这种设计确保了在不影响正常性能的情况下，能够快速适应视觉干扰。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO-10数据集上，SALT方法在五种持续视觉干扰下，成功率从43.9%提升至53.2%，而在真实机器人实验中，任务进展从0.49提升至0.61，显示出显著的性能提升。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在机器人操作、自动驾驶和智能监控等领域。通过增强机器人在复杂环境中的适应能力，SALT能够提高任务执行的成功率和效率，推动智能系统的实用化进程。

📄 摘要（原文）

Visual disruptions can arise while a robot is executing a task, leaving a vision-language-action (VLA) policy to respond without knowing the disruption type or timing. We introduce Self-supervised Adaptation from Leftover Trajectories (SALT), which uses the leftover trajectory, the unexecuted part of the previous action chunk, as self-supervision for test-time adaptation. Because consecutive chunks overlap in time, the leftover provides a temporally aligned target for the current prediction over the same future control interval. At the onset of a visual shift, the leftover can retain a plan formed before the corruption, so updating the policy toward it anchors the adaptation across the shift (Transition Anchoring). SALT keeps the adapted policy and regenerates the current chunk, whose leftover becomes the target at the next replan, carrying the correction forward along the execution trajectory (Sequential Correction Propagation). Supervision comes entirely from the policy's own predictions, requiring no disruption annotations, expert actions, or target-domain demonstrations, and a lightweight adaptation gate calibrated only on nominal trajectories decides when updates begin. On LIBERO-10, SALT increases average success across five persistent visual corruptions from 43.9% to 53.2% with SmolVLA and from 58.7% to 66.0% with GR00T N1.7, while largely preserving nominal performance. On a real robot, it raises task progress averaged over digital and physical disruptions from 0.49 to 0.61.