Disentangling Spurious Correlations in Vision-Language-Action Models via Predicting Domain-Invariant Latent Lookahead

📄 arXiv: 2609.37165v1 📥 PDF

作者: Junghyun Kim, Ngseo Kim, ChungWoo Lee, Seoyeon Lee, Woo-Jeong Baek, Adam Zhou, Chip Huyen, Jun-Ki Lee, Gi-Cheon Kang, Byoung-Tak Zhang

分类: cs.RO, cs.LG

发布日期: 2026-09-29

备注: Accepted to CoRL 2026. Project website: https://dill-vla.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DILL框架以解决视觉-语言-动作模型中的虚假关联问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 领域不变学习 潜在变量 对比学习 机器人操作 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在面对视觉分布变化时表现脆弱，容易依赖于与特定领域相关的虚假关联，导致性能下降。
  2. 本文提出领域不变潜在前瞻（DILL）框架，通过监督策略学习领域不变的未来潜在变量，减少捷径学习的影响。
  3. 实验结果显示，DILL在多项评估中表现优异，平均成功率达到69.1%，显著高于现有最强基线，且在实际操作中也表现良好。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在视觉分布变化下表现脆弱，常常依赖于与特定领域相关的虚假关联，而非任务相关的结构。本文提出了一种表示学习框架——领域不变潜在前瞻（DILL），旨在减轻VLA策略中的捷径学习。我们的核心思想是通过从领域转换的轨迹数据中学习领域不变的未来潜在变量来监督策略。通过对比目标和高斯解耦正则化训练的任务-领域编码器，分离任务相关结构与领域特定视觉变化。实验结果表明，DILL显著减少了对捷径的依赖，并在LIBERO-Plus评估中显示出69.1%的平均成功率，超出最强基线11.4个百分点。实际操作实验进一步验证了DILL在控制模拟之外的适用性。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在视觉分布变化下的脆弱性，现有方法往往依赖于虚假关联，导致模型性能不稳定。

核心思路：DILL框架通过引入领域不变的未来潜在变量来监督策略学习，鼓励模型关注任务相关的结构，而非偶然的视觉因素。

技术框架：DILL的整体架构包括任务-领域编码器和VLA策略学习模块。编码器通过对比学习和正则化分离任务结构与领域变化，生成未来潜在变量供策略学习使用。

关键创新：DILL的主要创新在于通过领域不变潜在变量的引入，有效减少了模型对捷径的依赖，提升了视觉鲁棒性。

关键设计：在设计中，任务-领域编码器使用对比损失和高斯解耦正则化，确保任务相关结构的保留，同时抑制领域特定的变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DILL在LIBERO-Plus评估中实现了69.1%的平均成功率，较最强基线提升了11.4个百分点。此外，DILL在实际操作实验中也展现了良好的适用性，验证了其在控制模拟之外的有效性。

🎯 应用场景

该研究的潜在应用场景包括机器人操作、自动驾驶和人机交互等领域，能够提高模型在复杂环境中的适应性和鲁棒性。未来，DILL框架有望推动多模态学习和智能系统的进一步发展，提升其在真实世界中的应用效果。

📄 摘要（原文）

Vision-Language-Action (VLA) models remain brittle under visual distribution shifts, often relying on spurious correlations tied to domain-specific factors rather than task-relevant structure. We propose Domain-Invariant Latent Lookahead (DILL), a representation-learning framework that mitigates shortcut learning in VLA policies. Our key idea is to supervise policies with domain-invariant future latents learned from domain-transformed trajectory data. A Task-Domain Encoder is trained with contrastive objectives and Gaussian disentanglement regularization to separate task-relevant structure from domain-specific visual variation. The learned encoder then provides future latents for VLA policy learning through lookahead prediction and domain disentanglement, encouraging the policy to focus on task-relevant structure rather than incidental visual factors. Counterfactual task-view evaluations show that DILL reduces shortcut reliance, while LIBERO-Plus evaluations demonstrate improved visual robustness, with 69.1% average success, 11.4 percentage points above the strongest baseline. Real-world manipulation experiments further support DILL's applicability beyond controlled simulation. Complementary latent-space diagnostics show that these behavioral gains are accompanied by representations that better preserve task-consistent structure while suppressing domain-specific variation. Our project page is available at https://dill-vla.github.io/.