Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models

📄 arXiv: 2609.12641v1 📥 PDF

作者: Jianman Lin, Shailesh Shailesh, Zhongyi Luo, Jiafei Duan

分类: cs.RO

发布日期: 2026-09-11

备注: Project page: https://magiclab-nus.github.io/LIT/?v=37955c5

💡 一句话要点

提出潜在接口训练以解决机器人模型的视觉-动作快捷方式问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人基础模型 视觉-动作快捷方式 潜在接口训练 泛化能力 多模态学习

📋 核心要点

  1. 现有机器人模型在视觉分布变化时容易受到影响，导致泛化能力不足，无法有效利用视觉信息生成动作。
  2. 提出潜在接口训练（LIT），通过两阶段策略，首先在不依赖图像的情况下建立空间目标条件的动作先验，然后通过潜在接口约束视觉条件。
  3. 在四个不同的架构上，LIT的成功率提高了3.87-10.70个百分点，并在真实世界评估中显示出13.30-16.70个百分点的提升。

📝 摘要（中文）

机器人基础模型在训练分布内表现良好，但在视觉分布变化时性能下降。模型可能利用与任务无关的视觉线索，导致在分布变化时的泛化能力下降。为此，本文提出潜在接口训练（LIT），通过两阶段策略约束视觉信息的使用，同时保留与任务相关的空间信息。第一阶段独立于视觉线索训练动作专家生成目标导向的动作；第二阶段通过潜在接口整合视觉和语义表示，确保动作生成所需的空间信息得以保留。实验结果表明，LIT在多个架构上显著提升了成功率。

🔬 方法详解

问题定义：本文旨在解决机器人模型在视觉分布变化时的泛化能力不足问题。现有方法往往依赖于与任务无关的视觉线索，导致在新环境下性能下降。

核心思路：提出潜在接口训练（LIT），通过两阶段策略，首先独立于视觉信息训练动作生成，然后通过潜在接口整合视觉和语义信息，确保保留与任务相关的空间信息。

技术框架：LIT分为两个阶段：第一阶段训练动作专家生成基于语言和机器人状态的动作；第二阶段引入潜在接口，作为唯一的视觉条件通道，监督其重构第一阶段的终端姿态。

关键创新：LIT的核心创新在于通过潜在接口约束视觉信息的使用，避免了传统方法中视觉-动作快捷方式的影响，从而提升了模型的泛化能力。

关键设计：在第一阶段，动作专家生成动作块时使用语言和机器人状态，并学习终端SE(3)姿态；第二阶段的潜在接口则聚合视觉和语义表示，监督其重构终端姿态，确保保留目标相关的空间信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LIT在四个不同的机器人架构上成功率提升了3.87-10.70个百分点，并在真实场景下的评估中，成功率在三项任务中提高了13.30-16.70个百分点，显示出显著的性能改进。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要高泛化能力的机器人任务中，如自主导航、物体抓取和人机交互等领域。通过提升机器人在不同环境下的适应能力，能够显著提高其实际应用价值和效率。

📄 摘要（原文）

Robot foundation models achieve strong in-distribution performance but often degrade under visual distribution shifts. When learning to generate actions from pretrained visual representations, models may exploit task-irrelevant visual cues that correlate with demonstrated actions within the training distribution. Such vision-action shortcuts can undermine generalization when these correlations change under distribution shifts. Mitigating these shortcuts requires constraining how visual information is used for action generation while preserving task-relevant spatial information. We propose Latent Interface Training (LIT), a framework-agnostic two-stage strategy that first establishes a spatial-goal-conditioned action prior without images, then constrains visual conditioning through a pose-supervised latent interface. Stage 1 trains the action expert to generate action chunks conditioned on language, robot state, and each demonstrated chunk's terminal SE(3) end-effector pose, learning goal-directed action generation independently of visual cues. Stage 2 introduces a latent interface that aggregates visual and semantic representations and serves as the pretrained action expert's only visual conditioning pathway. The interface is supervised to reconstruct the terminal pose previously used to condition Stage 1, encouraging it to retain the goal-relevant spatial information needed for action generation. Across four vision-language-action and world-action architectures (Pi0.5, MolmoAct2, FAST-WAM, and ImageWAM), LIT improves overall LIBERO-Plus success by 3.87-10.70 percentage points while preserving or improving average LIBERO success. Real-world evaluations show 13.30-16.70 percentage-point gains in success aggregated across three tasks under unseen camera configurations, lighting variations, and distractors.