ViSA: Visited-State Augmentation for Generalized Goal-Space Contrastive Reinforcement Learning

📄 arXiv: 2603.14887v1 📥 PDF

作者: Issa Nakamura, Tomoya Yamanokuchi, Yuki Kadokawa, Jia Qu, Shun Otsub, Ken Miyamoto, Shotaro Miwa, Takamitsu Matsubara

分类: cs.RO

发布日期: 2026-03-16

备注: 8 pages, 7 figures, under Review

🔗 代码/项目: PROJECT_PAGE | PROJECT_PAGE

💡 一句话要点

提出ViSA，通过访问状态增强提升目标空间对比强化学习的泛化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对比强化学习 目标条件强化学习 数据增强 状态空间泛化 互信息 机器人学习 值函数估计

📋 核心要点

  1. 对比强化学习(CRL)虽然样本效率高，但将访问状态视为伪目标，导致值函数估计对未充分访问的目标泛化性差。
  2. ViSA通过生成增强状态样本，并利用互信息正则化嵌入空间，从而提升对难以访问状态的值函数估计。
  3. 在模拟和真实机器人任务中，ViSA展示了更强的目标空间泛化能力，验证了其在提升值函数估计准确性方面的有效性。

📝 摘要（中文）

本文提出了一种用于广义目标空间对比强化学习(GCRL)的访问状态增强方法ViSA。GCRL是一种学习策略以达到任意给定目标的框架，特别是对比强化学习(CRL)通过对比学习估计值函数来更新策略，与传统方法相比具有更高的样本效率。然而，由于CRL在学习过程中将访问过的状态视为伪目标，因此只能准确估计有限目标的值函数。为了解决这个问题，我们提出了一种新的CRL数据增强方法ViSA（访问状态增强）。ViSA由两个部分组成：1)生成增强的状态样本，旨在增强在线探索期间难以访问的状态样本；2)学习一致的嵌入空间，该空间使用增强的状态作为辅助信息，通过基于互信息的嵌入空间目标函数重构来正则化嵌入空间。我们在模拟和真实机器人任务中评估了ViSA，结果表明ViSA提高了目标空间的泛化能力，从而可以准确估计难以访问目标的值。

🔬 方法详解

问题定义：现有的对比强化学习(CRL)方法在目标条件强化学习(GCRL)中，由于将已访问状态作为伪目标，导致值函数只能对有限的目标进行准确估计。对于那些难以访问的状态，值函数的泛化能力较差，限制了策略的有效性。因此，需要一种方法来提升CRL在目标空间中的泛化能力，使其能够准确估计难以访问目标的值函数。

核心思路：ViSA的核心思路是通过数据增强来扩充训练数据，特别是增加对难以访问状态的覆盖。同时，通过学习一致的嵌入空间，利用增强的状态信息来正则化嵌入空间，使得相似的状态在嵌入空间中更加接近，从而提升值函数的泛化能力。

技术框架：ViSA主要包含两个模块：1) 增强状态样本生成模块：该模块通过某种策略（具体策略未知）生成新的状态样本，这些样本旨在覆盖那些在原始探索过程中难以访问的状态。2) 一致嵌入空间学习模块：该模块利用增强的状态样本作为辅助信息，通过重构基于互信息的嵌入空间目标函数来正则化嵌入空间。整体流程是，在on-policy探索过程中，生成增强状态样本，然后将这些样本与原始数据一起用于训练值函数和嵌入空间。

关键创新：ViSA的关键创新在于结合了数据增强和互信息正则化嵌入空间学习。传统的数据增强方法可能无法有效地解决难以访问状态的问题，而ViSA通过专门设计的状态增强策略，并结合互信息最大化，使得模型能够更好地学习到状态之间的关系，从而提升泛化能力。与现有方法相比，ViSA更关注于提升对难以访问状态的值函数估计准确性。

关键设计：关于增强状态样本生成的具体策略，论文中没有详细描述，属于未知部分。一致嵌入空间学习模块的关键在于基于互信息的损失函数重构，具体如何重构以及损失函数的数学形式，论文中没有详细描述，属于未知部分。网络结构和参数设置等细节也未在摘要中提及，属于未知部分。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在模拟和真实机器人任务中验证了ViSA的有效性，结果表明ViSA能够显著提高目标空间的泛化能力，从而更准确地估计难以访问目标的值函数。具体的性能数据和对比基线未在摘要中给出，属于未知信息。

🎯 应用场景

ViSA可应用于各种机器人导航、操作等任务，尤其是在复杂、高维状态空间中，智能体难以充分探索所有可能状态的场景。例如，在家庭服务机器人中，ViSA可以帮助机器人更好地理解和达到各种用户设定的目标，即使这些目标在训练数据中很少出现。该方法还可以应用于游戏AI、自动驾驶等领域，提升智能体在复杂环境中的适应性和泛化能力。

📄 摘要（原文）

Goal-Conditioned Reinforcement Learning (GCRL) is a framework for learning a policy that can reach arbitrarily given goals. In particular, Contrastive Reinforcement Learning (CRL) provides a framework for policy updates using an approximation of the value function estimated via contrastive learning, achieving higher sample efficiency compared to conventional methods. However, since CRL treats the visited state as a pseudo-goal during learning, it can accurately estimate the value function only for limited goals. To address this issue, we propose a novel data augmentation approach for CRL called ViSA (Visited-State Augmentation). ViSA consists of two components: 1) generating augmented state samples, with the aim of augmenting hard-to-visit state samples during on-policy exploration, and 2) learning consistent embedding space, which uses an augmented state as auxiliary information to regularize the embedding space by reformulating the objective function of the embedding space based on mutual information. We evaluate ViSA in simulation and real-world robotic tasks and show improved goal-space generalization, which permits accurate value estimation for hard-to-visit goals. Further details can be found on the project page: \href{https://issa-n.github.io/projectPage_ViSA/}{\texttt{https://issa-n.github.io/projectPage_ViSA/}}