VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning

📄 arXiv: 2610.02801v1 📥 PDF

作者: Mingyu Park, Samyeul Noh, Hyun Myung, Donghwan Lee

分类: cs.AI, cs.LG, cs.RO

发布日期: 2026-10-02

💡 一句话要点

提出VIGOR以解决模型基础强化学习中的视觉泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模型基础强化学习 视觉泛化 潜在空间一致性 动态一致性 编码器稳定性 样本效率 深度学习 强化学习

📋 核心要点

  1. 现有模型基础强化学习在面对未见视觉干扰时，性能显著下降，存在双重脆弱性问题。
  2. VIGOR框架通过潜在空间一致性实现零-shot视觉泛化，集成了多种增强和一致性机制。
  3. 在DeepMind Control Suite和Robosuite上的实验结果显示，VIGOR显著超越了现有的模型基础和无模型基线。

📝 摘要（中文）

模型基础强化学习（MBRL）通过在学习的潜在动态中进行规划，获得了较强的样本效率。然而，在面对未见过的视觉干扰（如背景变化、光照变化或相机位移）时，其性能显著下降。与无模型强化学习不同，MBRL面临双重脆弱性：视觉干扰首先使编码器输出超出分布，然后这些错误在规划过程中通过递归潜在展开累积。本文提出了通过潜在空间一致性实现视觉泛化的框架VIGOR，能够在保持MBRL样本效率的同时，实现对未见视觉干扰的零-shot泛化。VIGOR集成了三个相互依赖的组件：不对称的弱到强增强、动态级一致性和编码器级稳定性。实验结果表明，VIGOR在DeepMind Control Suite和Robosuite上超越了最先进的基线，显示出其强大的泛化能力。

🔬 方法详解

问题定义：本文旨在解决模型基础强化学习在面对未见视觉干扰时的性能下降问题。现有方法在视觉干扰下，编码器输出易超出分布，导致错误在规划过程中累积，影响决策质量。

核心思路：VIGOR框架通过潜在空间一致性实现视觉泛化，设计了不对称的弱到强增强、动态级一致性和编码器级稳定性，以提高模型在视觉干扰下的鲁棒性。

技术框架：VIGOR的整体架构包括三个主要模块：1) 弱到强增强，生成不同强度的潜在视图；2) 动态级一致性，确保增强不变的转移预测；3) 编码器级稳定性，防止编码器在增强监督下漂移。

关键创新：VIGOR的核心创新在于通过潜在空间一致性实现零-shot视觉泛化，区别于传统方法依赖特定增强策略，展现出更强的鲁棒性。

关键设计：在参数设置上，VIGOR采用了不对称增强策略，并通过直接潜在回归实现动态级一致性，确保模型在多种视觉干扰下的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VIGOR在DeepMind Control Suite上超越了第二最佳基线3.4%，在Robosuite上则超越了43.6%。实验结果表明，VIGOR的鲁棒性与增强策略无关，验证了潜在空间一致性在提升模型泛化能力方面的关键作用。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能监控等场景，能够提升系统在复杂环境中的适应能力和决策质量。未来，VIGOR框架可能推动更广泛的视觉智能应用，尤其是在动态和不确定环境中。

📄 摘要（原文）

Model-based reinforcement learning (MBRL) achieves strong sample efficiency by planning within learned latent dynamics, yet its performance degrades substantially under unseen visual distractions such as background variations, lighting changes, or camera shifts. Unlike model-free RL, where encoder perturbations affect only single-step predictions, MBRL suffers from a two-level vulnerability: visual distractions first push encoder outputs out of distribution, and these errors then compound through recursive latent rollouts over the planning horizon. We propose visual generalization via latent-space consistency in model-based RL (VIGOR), a framework that enables zero-shot generalization to unseen visual distractions while retaining the sample efficiency of its MBRL backbone. VIGOR integrates three interdependent components: (i) asymmetric weak-to-strong augmentation, which pairs weak-only and weak-to-strong latent views within a single batch; (ii) dynamics-level consistency, which enforces augmentation-invariant transition predictions through direct latent regression; and (iii) encoder-level stabilization, which prevents encoder drift under the cross-augmentation supervision imposed by dynamics-level consistency. Evaluations on the DeepMind Control Suite (DMC) and Robosuite show that VIGOR outperforms state-of-the-art model-free and model-based baselines, surpassing the second-best baseline by 3.4% on DMC and 43.6% on Robosuite. Ablations further show that VIGOR's robustness is augmentation-agnostic: replacing the default augmentation with alternatives from distinct perturbation families preserves strong generalization, confirming that latent-space consistency, not the augmentation choice, drives robustness.