DeGuV: Depth-Guided Visual Reinforcement Learning for Generalization and Interpretability in Manipulation

📄 arXiv: 2509.04970v1 📥 PDF

作者: Tien Pham, Xinyun Chi, Khang Nguyen, Manfred Huber, Angelo Cangelosi

分类: cs.RO, cs.AI

发布日期: 2025-09-05

💡 一句话要点

DeGuV：深度引导的视觉强化学习，提升操作任务的泛化性和可解释性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉强化学习 深度学习 机器人操作 泛化能力 可解释性 数据增强 对比学习 sim-to-real

📋 核心要点

  1. 视觉强化学习在机器人操作任务中面临泛化性挑战，现有数据增强方法虽能改善泛化，但常牺牲样本效率和训练稳定性。
  2. DeGuV利用深度信息引导的掩码网络，过滤不相关视觉信息，使智能体关注关键特征，提升数据增强下的鲁棒性。
  3. 实验表明，DeGuV在RL-ViGen基准测试中，实现了优于SOTA方法的零样本sim-to-real迁移性能，并提高了模型可解释性。

📝 摘要（中文）

本文提出了一种名为DeGuV的强化学习框架，旨在提升操作任务中的泛化性和样本效率。针对视觉强化学习智能体在新的环境中泛化能力不足的问题，DeGuV利用一个可学习的掩码网络，从深度输入中生成掩码，仅保留关键的视觉信息，去除不相关的像素。通过这种方式，强化学习智能体能够专注于重要的特征，从而提高在数据增强下的鲁棒性。此外，DeGuV还结合了对比学习，并稳定了数据增强下的Q值估计，进一步提升了样本效率和训练稳定性。在RL-ViGen基准测试中，使用Franka Emika机器人对所提出的方法进行了评估，结果表明DeGuV在零样本的sim-to-real迁移中优于目前最先进的方法，同时通过突出显示视觉输入中最相关的区域，提高了可解释性。

🔬 方法详解

问题定义：视觉强化学习在机器人操作任务中，难以将学到的技能泛化到新的环境中。现有的数据增强方法虽然可以提高泛化能力，但往往会降低样本效率，并可能导致训练不稳定。因此，如何在提高泛化能力的同时，保持或提升样本效率和训练稳定性是一个关键问题。

核心思路：DeGuV的核心思路是利用深度信息来引导视觉信息的选择，通过一个可学习的掩码网络，从深度图像中生成掩码，只保留对任务至关重要的视觉信息，而过滤掉不相关的像素。这样可以使强化学习智能体更加专注于关键特征，从而提高其在数据增强下的鲁棒性，并提升泛化能力。

技术框架：DeGuV框架主要包含以下几个模块：1) 深度信息输入；2) 可学习的掩码网络，用于生成掩码；3) 视觉特征提取网络，提取掩码后的视觉特征；4) 强化学习智能体，基于提取的视觉特征进行决策。此外，框架还集成了对比学习模块，用于学习更鲁棒的视觉表征，并采用技术稳定数据增强下的Q值估计。整体流程是，首先通过深度信息生成掩码，然后将掩码应用于视觉输入，提取关键视觉特征，最后强化学习智能体基于这些特征进行动作选择。

关键创新：DeGuV的关键创新在于利用深度信息引导的视觉信息选择机制。与传统的数据增强方法不同，DeGuV不是简单地对所有视觉信息进行增强，而是有选择性地保留关键信息，过滤掉不相关信息。这种方法可以更有效地利用数据，提高样本效率，并避免引入不必要的噪声，从而提高训练稳定性。此外，可学习的掩码网络也是一个创新点，它可以根据任务自适应地学习哪些视觉信息是重要的。

关键设计：掩码网络的设计至关重要，它需要能够有效地从深度信息中提取出与任务相关的视觉区域。对比学习损失函数的设计需要能够促使智能体学习到对数据增强具有不变性的视觉表征。Q值估计的稳定化技术需要能够有效地抑制数据增强带来的Q值波动。具体的网络结构、损失函数和参数设置需要在实验中进行仔细调整，以达到最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DeGuV在RL-ViGen基准测试中取得了显著的成果，在零样本sim-to-real迁移任务中，DeGuV的性能明显优于现有的SOTA方法。实验结果表明，DeGuV不仅提高了泛化能力，还提升了样本效率和训练稳定性。此外，DeGuV的可解释性也得到了验证，通过可视化掩码，可以清晰地看到智能体关注的视觉区域。

🎯 应用场景

DeGuV在机器人操作任务中具有广泛的应用前景，例如自动化装配、物体抓取、环境探索等。该方法可以应用于工业机器人、服务机器人等领域，提高机器人在复杂环境中的适应性和鲁棒性。此外，DeGuV的可解释性使其更容易被人类理解和信任，有助于人机协作。

📄 摘要（原文）

Reinforcement learning (RL) agents can learn to solve complex tasks from visual inputs, but generalizing these learned skills to new environments remains a major challenge in RL application, especially robotics. While data augmentation can improve generalization, it often compromises sample efficiency and training stability. This paper introduces DeGuV, an RL framework that enhances both generalization and sample efficiency. In specific, we leverage a learnable masker network that produces a mask from the depth input, preserving only critical visual information while discarding irrelevant pixels. Through this, we ensure that our RL agents focus on essential features, improving robustness under data augmentation. In addition, we incorporate contrastive learning and stabilize Q-value estimation under augmentation to further enhance sample efficiency and training stability. We evaluate our proposed method on the RL-ViGen benchmark using the Franka Emika robot and demonstrate its effectiveness in zero-shot sim-to-real transfer. Our results show that DeGuV outperforms state-of-the-art methods in both generalization and sample efficiency while also improving interpretability by highlighting the most relevant regions in the visual input