Saliency-Guided Representation with Consistency Policy Learning for Visual Unsupervised Reinforcement Learning

📄 arXiv: 2604.05931v1 📥 PDF

作者: Jingbo Sun, Qichao Zhang, Songjun Tu, Xing Fang, Yupeng Zheng, Haoran Li, Ke Chen, Dongbin Zhao

分类: cs.CV, cs.AI

发布日期: 2026-04-07

💡 一句话要点

提出基于显著性引导和一致性策略学习的SRCP框架，提升视觉无监督强化学习的零样本泛化能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无监督强化学习 零样本泛化 后继表示 显著性引导 一致性策略学习

📋 核心要点

  1. 现有基于后继表示（SR）的无监督强化学习方法在高维视觉环境中泛化能力不足，主要原因是SR目标易导致次优表示。
  2. SRCP框架通过引入显著性引导的动态任务来学习与动态相关的表示，并解耦表示学习和后继训练，提升泛化能力。
  3. 实验结果表明，SRCP在ExORL基准测试中实现了最先进的零样本泛化性能，并且可以与多种SR方法结合使用。

📝 摘要（中文）

本文提出了一种用于视觉无监督强化学习（URL）的显著性引导表示与一致性策略学习（SRCP）框架，旨在提升零样本泛化能力。现有的后继表示（SR）方法在结构化、低维环境中表现出色，但在高维视觉环境中难以扩展。通过分析，我们发现SR目标易导致次优表示，关注与动态无关的区域，降低了后继测量的准确性和任务泛化能力；并且这些有缺陷的表示阻碍了SR策略对多模态技能条件动作分布的建模和技能可控性的保证。SRCP通过引入显著性引导的动态任务来解耦表示学习和后继训练，从而捕获与动态相关的表示，改善后继测量和任务泛化。此外，SRCP集成了快速采样一致性策略与URL特定的无分类器引导和定制的训练目标，以改进技能条件策略建模和可控性。在ExORL基准测试的4个数据集上的16个任务上的大量实验表明，SRCP在视觉URL中实现了最先进的零样本泛化，并且与各种SR方法兼容。

🔬 方法详解

问题定义：论文旨在解决视觉无监督强化学习（URL）中，现有基于后继表示（SR）的方法在高维视觉环境中零样本泛化能力不足的问题。现有方法的痛点在于，SR目标容易导致模型关注与环境动态无关的区域，产生次优表示，从而影响后继测量的准确性和任务泛化能力。此外，这些有缺陷的表示也阻碍了策略对多模态技能条件动作分布的建模和技能可控性的保证。

核心思路：论文的核心思路是将表示学习与后继训练解耦。通过引入一个显著性引导的动态任务，迫使模型学习与环境动态相关的表示，从而提高后继测量的准确性和任务泛化能力。此外，论文还通过一致性策略学习来提升技能条件策略建模和可控性。这样设计的目的是为了克服现有SR方法在高维视觉环境中表示学习的局限性，从而提升零样本泛化能力。

技术框架：SRCP框架主要包含两个关键模块：显著性引导的表示学习模块和一致性策略学习模块。首先，显著性引导的表示学习模块通过一个辅助的动态预测任务，利用显著性信息引导模型学习与环境动态相关的视觉特征。然后，一致性策略学习模块利用快速采样一致性策略，结合URL特定的无分类器引导和定制的训练目标，来提升技能条件策略建模和可控性。这两个模块协同工作，共同提升视觉URL的零样本泛化能力。

关键创新：论文最重要的技术创新点在于将显著性引导的表示学习与一致性策略学习相结合，用于解决视觉URL中的零样本泛化问题。与现有方法相比，SRCP通过解耦表示学习和后继训练，避免了SR目标导致的次优表示问题，从而提高了后继测量的准确性和任务泛化能力。此外，一致性策略学习模块也提升了技能条件策略建模和可控性。

关键设计：在显著性引导的表示学习模块中，论文设计了一个动态预测任务，该任务的目标是预测给定状态下，哪些区域对环境动态变化最为重要。论文使用显著性图来引导模型关注这些关键区域。在一致性策略学习模块中，论文采用了快速采样一致性策略，并结合URL特定的无分类器引导和定制的训练目标，来提升技能条件策略建模和可控性。具体的损失函数包括用于表示学习的动态预测损失、用于策略学习的一致性损失等。网络结构方面，论文采用了常见的卷积神经网络作为视觉特征提取器，并使用Transformer网络来建模策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SRCP在ExORL基准测试的4个数据集上的16个任务上进行了广泛的实验，结果表明SRCP实现了最先进的零样本泛化性能。具体而言，SRCP在多个任务上显著优于现有的SR方法，例如在某些任务上取得了超过10%的性能提升。实验结果还表明，SRCP可以与各种SR方法兼容，进一步验证了其通用性和有效性。

🎯 应用场景

该研究成果可应用于机器人自主探索、游戏AI、自动驾驶等领域。通过提升智能体在未知环境中的泛化能力，可以降低对人工标注数据的依赖，加速智能体在复杂环境中的部署和应用。未来，该方法有望扩展到更复杂的任务和环境，实现更强大的通用智能体。

📄 摘要（原文）

Zero-shot unsupervised reinforcement learning (URL) offers a promising direction for building generalist agents capable of generalizing to unseen tasks without additional supervision. Among existing approaches, successor representations (SR) have emerged as a prominent paradigm due to their effectiveness in structured, low-dimensional settings. However, SR methods struggle to scale to high-dimensional visual environments. Through empirical analysis, we identify two key limitations of SR in visual URL: (1) SR objectives often lead to suboptimal representations that attend to dynamics-irrelevant regions, resulting in inaccurate successor measures and degraded task generalization; and (2) these flawed representations hinder SR policies from modeling multi-modal skill-conditioned action distributions and ensuring skill controllability. To address these limitations, we propose Saliency-Guided Representation with Consistency Policy Learning (SRCP), a novel framework that improves zero-shot generalization of SR methods in visual URL. SRCP decouples representation learning from successor training by introducing a saliency-guided dynamics task to capture dynamics-relevant representations, thereby improving successor measure and task generalization. Moreover, it integrates a fast-sampling consistency policy with URL-specific classifier-free guidance and tailored training objectives to improve skill-conditioned policy modeling and controllability. Extensive experiments on 16 tasks across 4 datasets from the ExORL benchmark demonstrate that SRCP achieves state-of-the-art zero-shot generalization in visual URL and is compatible with various SR methods.