Depth Helps: Improving Pre-trained RGB-based Policy with Depth Information Injection

📄 arXiv: 2408.05107v1 📥 PDF

作者: Xincheng Pang, Wenke Xia, Zhigang Wang, Bin Zhao, Di Hu, Dong Wang, Xuelong Li

分类: cs.RO

发布日期: 2024-08-09

备注: accepted by IROS 2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DI²框架，利用深度信息提升预训练RGB策略在机器人操作中的性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 深度信息 预训练策略 RGB-D 3D感知

📋 核心要点

  1. 现有基于RGB的预训练模型在机器人操作中缺乏3D感知能力，限制了其在精细操作任务中的有效性。
  2. DI²框架通过深度信息注入，利用RGB-Depth模态进行策略微调，部署时仅依赖RGB图像，提升策略的3D感知能力。
  3. 实验表明，该方法在模拟和真实环境中均能有效提升预训练RGB策略的机器人操作性能。

📝 摘要（中文）

本文提出了一种深度信息注入（DI²）框架，旨在利用RGB-Depth模态进行策略微调，同时在部署时仅依赖RGB图像，以实现稳健和高效的机器人操作。该框架引入了深度补全模块（DCM），用于提取与深度信息相关的空间先验知识，并从RGB输入生成虚拟深度信息，以辅助策略部署。此外，还提出了深度感知码本（DAC）来消除噪声并减少深度预测中的累积误差。在推理阶段，该框架采用RGB输入和准确预测的深度数据来生成操作动作。在模拟LIBERO环境和真实场景中进行的实验结果表明，该方法能够有效地增强基于RGB的预训练策略的3D感知能力，从而提升机器人操作性能。

🔬 方法详解

问题定义：现有的基于RGB图像的机器人操作策略，虽然在感知和决策方面取得了显著进展，但缺乏3D感知能力，这限制了它们在需要精细操作的任务中的应用。尤其是在真实环境中，仅依赖RGB信息容易受到光照、遮挡等因素的影响，导致策略泛化能力不足。

核心思路：本文的核心思路是利用深度信息来增强RGB策略的3D感知能力，但同时避免在部署阶段依赖深度传感器。通过在训练阶段引入深度信息，学习RGB图像与深度信息之间的映射关系，然后在推理阶段利用预测的深度信息来辅助策略决策。

技术框架：DI²框架包含两个主要模块：深度补全模块（DCM）和深度感知码本（DAC）。DCM负责从RGB图像中预测深度信息，DAC用于消除深度预测中的噪声和累积误差。在训练阶段，使用RGB-Depth数据对策略进行微调。在推理阶段，仅使用RGB图像作为输入，通过DCM预测深度信息，然后将预测的深度信息与RGB图像一起输入到策略网络中，生成操作动作。

关键创新：该方法的主要创新在于提出了一种在训练阶段利用深度信息，但在部署阶段仅依赖RGB图像的策略。通过深度补全模块和深度感知码本，实现了从RGB图像到深度信息的有效预测和降噪，从而在不增加部署成本的前提下，提升了策略的3D感知能力。

关键设计：深度补全模块（DCM）的具体网络结构未知，但其目标是从RGB图像中预测深度信息。深度感知码本（DAC）的设计细节也未知，但其作用是消除深度预测中的噪声和累积误差，提高深度预测的准确性。损失函数的设计可能包括深度预测的损失和策略执行的奖励函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在模拟LIBERO环境和真实场景中进行了实验，验证了DI²框架的有效性。具体性能数据未知，但实验结果表明，该方法能够有效地增强基于RGB的预训练策略的3D感知能力，从而提升机器人操作性能。该方法在不增加部署成本的前提下，实现了性能的提升，具有重要的实际意义。

🎯 应用场景

该研究成果可应用于各种需要精细操作的机器人任务，例如：家庭服务机器人、工业机器人、医疗机器人等。通过提升机器人对环境的3D感知能力，可以使其更好地理解和操作物体，从而完成更复杂的任务。该方法在部署时仅依赖RGB图像，降低了对硬件的要求，有利于实际应用和推广。

📄 摘要（原文）

3D perception ability is crucial for generalizable robotic manipulation. While recent foundation models have made significant strides in perception and decision-making with RGB-based input, their lack of 3D perception limits their effectiveness in fine-grained robotic manipulation tasks. To address these limitations, we propose a Depth Information Injection ($\bold{DI}^{\bold{2}}$) framework that leverages the RGB-Depth modality for policy fine-tuning, while relying solely on RGB images for robust and efficient deployment. Concretely, we introduce the Depth Completion Module (DCM) to extract the spatial prior knowledge related to depth information and generate virtual depth information from RGB inputs to aid policy deployment. Further, we propose the Depth-Aware Codebook (DAC) to eliminate noise and reduce the cumulative error from the depth prediction. In the inference phase, this framework employs RGB inputs and accurately predicted depth data to generate the manipulation action. We conduct experiments on simulated LIBERO environments and real-world scenarios, and the experiment results prove that our method could effectively enhance the pre-trained RGB-based policy with 3D perception ability for robotic manipulation. The website is released at https://gewu-lab.github.io/DepthHelps-IROS2024.