Dual-Granularity Contrastive Reward via Generated Episodic Guidance for Efficient Embodied RL

📄 arXiv: 2602.12636v1 📥 PDF

作者: Xin Liu, Yixuan Li, Yuhui Chen, Yuxing Qin, Haoran Li, Dongbin Zhao

分类: cs.LG, cs.RO

发布日期: 2026-02-13

💡 一句话要点

提出基于生成式情景引导的双粒度对比奖励方法，提升具身强化学习效率。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 具身强化学习 对比学习 视频生成模型 奖励函数设计 样本效率

📋 核心要点

  1. 具身强化学习中，稀疏奖励导致样本效率低，而密集奖励又依赖大量人工标注或专家监督。
  2. 利用视频生成模型的先验知识，为每个episode生成任务指导，并设计双粒度对比奖励。
  3. 在模拟和真实环境的18个任务上验证，DEG能有效探索稀疏奖励并稳定策略收敛。

📝 摘要（中文）

在强化学习中，设计合适的奖励函数是一个重要挑战，尤其是在具身操作任务中。轨迹成功奖励虽然适用于人类评估或模型拟合，但其稀疏性严重限制了强化学习的样本效率。虽然最近的方法通过密集奖励有效地改进了强化学习，但它们严重依赖于高质量的人工标注数据或大量的专家监督。为了解决这些问题，本文提出了一种基于生成式情景引导的双粒度对比奖励（DEG）框架，该框架旨在寻求样本高效的密集奖励，而无需人工标注或大量监督。DEG利用大型视频生成模型的先验知识，只需要少量专家视频进行领域自适应，即可为每个强化学习情景生成专门的任务指导。然后，提出的双粒度奖励平衡了粗粒度的探索和细粒度的匹配，将引导智能体在对比自监督潜在空间中按顺序有效地逼近生成的指导视频，并最终完成目标任务。在模拟和真实环境中的18个不同任务上的大量实验表明，DEG不仅可以作为一种有效的探索刺激，帮助智能体快速发现稀疏的成功奖励，还可以独立地指导有效的强化学习和稳定的策略收敛。

🔬 方法详解

问题定义：具身强化学习任务中，奖励函数的设计至关重要。传统的稀疏奖励（例如，仅在任务成功时给予奖励）会导致探索效率低下，样本利用率低。而依赖人工标注或大量专家数据的密集奖励虽然能提升学习效率，但成本高昂，难以推广。因此，如何在缺乏大量人工标注或专家监督的情况下，设计出既能引导智能体探索，又能有效学习的奖励函数，是本文要解决的核心问题。

核心思路：本文的核心思路是利用大型视频生成模型的先验知识，为每个强化学习的episode生成任务指导视频，然后设计一种双粒度对比奖励，引导智能体在对比自监督潜在空间中逐步逼近该指导视频。这种方法的核心在于，利用生成模型提供任务的先验知识，避免了对大量人工标注或专家数据的依赖；同时，通过双粒度奖励，平衡了探索和匹配，提高了学习效率。

技术框架：DEG框架主要包含以下几个模块：1) 专家视频数据集：少量专家视频用于领域自适应。2) 视频生成模型：利用专家视频进行微调，为每个episode生成任务指导视频。3) 对比自监督学习模块：将智能体的状态和指导视频编码到对比自监督潜在空间。4) 双粒度对比奖励模块：计算智能体当前状态与指导视频之间的相似度，并根据相似度给出奖励。奖励分为粗粒度和细粒度两部分，粗粒度奖励用于引导智能体进行探索，细粒度奖励用于精确匹配指导视频。5) 强化学习算法：利用双粒度对比奖励训练智能体。

关键创新：DEG的关键创新在于：1) 利用视频生成模型生成任务指导，避免了对人工标注或专家数据的依赖。2) 提出双粒度对比奖励，平衡了探索和匹配，提高了学习效率。3) 将智能体的状态和指导视频编码到对比自监督潜在空间，使得奖励计算更加高效和鲁棒。与现有方法相比，DEG在样本效率和泛化能力方面具有显著优势。

关键设计：1) 视频生成模型：使用预训练的大型视频生成模型，并利用少量专家视频进行微调，以适应特定任务。2) 对比自监督学习：使用对比损失函数，例如InfoNCE，训练状态编码器和视频编码器，使得相似的状态和视频在潜在空间中距离更近。3) 双粒度对比奖励：粗粒度奖励基于状态和指导视频的整体相似度，细粒度奖励基于状态和指导视频的局部相似度。奖励权重需要根据具体任务进行调整。

📊 实验亮点

在18个不同的模拟和真实环境任务上进行了广泛的实验，结果表明DEG能够显著提高强化学习的样本效率和策略收敛稳定性。与现有方法相比，DEG能够更快地发现稀疏奖励，并取得更高的最终性能。具体性能数据和对比基线在论文中有详细展示。

🎯 应用场景

该研究成果可广泛应用于机器人操作、自动驾驶、游戏AI等领域。通过利用视频生成模型和对比学习，可以降低强化学习对人工标注和专家数据的依赖，提高智能体的学习效率和泛化能力。未来，该方法有望应用于更复杂的具身智能任务，例如家庭服务机器人、工业自动化等。

📄 摘要（原文）

Designing suitable rewards poses a significant challenge in reinforcement learning (RL), especially for embodied manipulation. Trajectory success rewards are suitable for human judges or model fitting, but the sparsity severely limits RL sample efficiency. While recent methods have effectively improved RL via dense rewards, they rely heavily on high-quality human-annotated data or abundant expert supervision. To tackle these issues, this paper proposes Dual-granularity contrastive reward via generated Episodic Guidance (DEG), a novel framework to seek sample-efficient dense rewards without requiring human annotations or extensive supervision. Leveraging the prior knowledge of large video generation models, DEG only needs a small number of expert videos for domain adaptation to generate dedicated task guidance for each RL episode. Then, the proposed dual-granularity reward that balances coarse-grained exploration and fine-grained matching, will guide the agent to efficiently approximate the generated guidance video sequentially in the contrastive self-supervised latent space, and finally complete the target task. Extensive experiments on 18 diverse tasks across both simulation and real-world settings show that DEG can not only serve as an efficient exploration stimulus to help the agent quickly discover sparse success rewards, but also guide effective RL and stable policy convergence independently.