General and Efficient Visual Goal-Conditioned Reinforcement Learning using Object-Agnostic Masks

📄 arXiv: 2510.06277v1 📥 PDF

作者: Fahim Shahriar, Cheryl Wang, Alireza Azimi, Gautham Vasan, Hany Hamed Elanwar, A. Rupam Mahmood, Colin Bellinger

分类: cs.CV, cs.LG

发布日期: 2025-10-06

💡 一句话要点

提出基于对象无关掩码的视觉目标条件强化学习方法，提升泛化性和效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 目标条件强化学习 视觉强化学习 对象无关掩码 机器人操作 Sim-to-Real迁移

📋 核心要点

  1. 现有目标条件强化学习方法在目标表示上存在泛化性差、收敛慢等问题，限制了其在复杂环境中的应用。
  2. 论文提出使用对象无关的掩码作为目标表示，为智能体提供更鲁棒的视觉线索，从而提升学习效率和泛化能力。
  3. 实验表明，该方法在模拟和真实机器人环境中均取得了显著效果，尤其是在对象拾取任务中表现出色。

📝 摘要（中文）

本文提出了一种基于掩码的目标表示系统，用于通用且高效的视觉目标条件强化学习(GCRL)。该系统为智能体提供对象无关的视觉线索，从而实现高效学习和卓越的泛化能力。与现有的目标表示方法（如目标状态图像、3D坐标和one-hot向量）相比，该方法克服了泛化能力差、收敛速度慢以及需要特殊相机等问题。掩码可以被处理以生成密集的奖励，而无需容易出错的距离计算。在模拟环境中使用ground truth掩码进行学习，在训练和未见过的测试对象上达到了99.9%的到达精度。该方法无需目标位置信息即可高精度地执行拾取任务。此外，还展示了使用预训练的开放词汇对象检测模型生成掩码，在两种不同的物理机器人上从头开始学习和从模拟到真实的迁移应用。

🔬 方法详解

问题定义：现有的目标条件强化学习（GCRL）方法，例如使用目标状态图像、3D坐标或one-hot向量作为目标表示，存在泛化能力差、收敛速度慢以及对特定硬件（如特殊相机）的依赖等问题。这些问题限制了GCRL在实际机器人任务中的应用，尤其是在处理未见过的对象时表现不佳。

核心思路：论文的核心思路是使用对象无关的掩码（Object-Agnostic Masks）作为目标表示。掩码能够提供关于目标形状和位置的视觉线索，而无需显式地指定目标的类别或3D坐标。这种表示方式更具通用性，可以更好地泛化到未见过的对象。此外，掩码可以用于生成密集的奖励信号，从而加速学习过程。

技术框架：整体框架包括以下几个主要模块：1) 视觉感知模块：使用对象检测模型（例如，预训练的开放词汇对象检测模型）从图像中提取目标的掩码。2) 目标表示模块：将提取的掩码作为目标状态的表示。3) 强化学习模块：使用GCRL算法训练智能体，使其能够根据当前状态和目标掩码采取行动。4) 奖励函数设计：基于当前状态的掩码和目标掩码之间的相似度来设计奖励函数，鼓励智能体朝着目标状态移动。

关键创新：最重要的技术创新点在于使用对象无关的掩码作为目标表示。与传统的基于坐标或图像的目标表示方法相比，掩码能够提供更鲁棒的视觉线索，并且更容易泛化到未见过的对象。此外，使用掩码可以避免复杂的距离计算，从而简化了奖励函数的设计。

关键设计：关键的设计细节包括：1) 使用预训练的开放词汇对象检测模型来提取掩码，这使得该方法能够处理各种不同的对象。2) 设计基于掩码相似度的奖励函数，例如使用IoU（Intersection over Union）作为相似度度量。3) 使用标准的GCRL算法，例如Hindsight Experience Replay (HER)，来提高样本效率。4) 在sim-to-real迁移中，使用域随机化等技术来提高模型的鲁棒性。

📊 实验亮点

实验结果表明，该方法在模拟环境中达到了99.9%的到达精度，并且能够成功地迁移到真实机器人环境中。与传统的GCRL方法相比，该方法在泛化能力和学习效率方面均有显著提升。特别是在对象拾取任务中，该方法无需目标位置信息即可实现高精度操作。

🎯 应用场景

该研究成果可广泛应用于机器人操作任务，例如物体抓取、放置、组装等。特别是在需要处理多种不同对象或在动态环境中操作的场景下，该方法具有显著优势。此外，该方法还可以应用于自动驾驶、智能监控等领域，用于目标检测、跟踪和行为预测。

📄 摘要（原文）

Goal-conditioned reinforcement learning (GCRL) allows agents to learn diverse objectives using a unified policy. The success of GCRL, however, is contingent on the choice of goal representation. In this work, we propose a mask-based goal representation system that provides object-agnostic visual cues to the agent, enabling efficient learning and superior generalization. In contrast, existing goal representation methods, such as target state images, 3D coordinates, and one-hot vectors, face issues of poor generalization to unseen objects, slow convergence, and the need for special cameras. Masks can be processed to generate dense rewards without requiring error-prone distance calculations. Learning with ground truth masks in simulation, we achieved 99.9% reaching accuracy on training and unseen test objects. Our proposed method can be utilized to perform pick-up tasks with high accuracy, without using any positional information of the target. Moreover, we demonstrate learning from scratch and sim-to-real transfer applications using two different physical robots, utilizing pretrained open vocabulary object detection models for mask generation.