A Real-to-Sim-to-Real Approach to Robotic Manipulation with VLM-Generated Iterative Keypoint Rewards

📄 arXiv: 2502.08643v2 📥 PDF

作者: Shivansh Patel, Xinchen Yin, Wenlong Huang, Shubham Garg, Hooshang Nayyeri, Li Fei-Fei, Svetlana Lazebnik, Yunzhu Li

分类: cs.RO, cs.AI, cs.CV

发布日期: 2025-02-12 (更新: 2025-02-18)

备注: ICRA 2025, Project Page: https://iker-robot.github.io/

💡 一句话要点

提出IKER框架，利用VLM生成迭代关键点奖励，实现机器人操作的Real-to-Sim-to-Real迁移。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 机器人操作 视觉语言模型 强化学习 奖励函数 关键点 Real-to-Sim-to-Real 迭代学习 任务规范

📋 核心要点

  1. 现有机器人操作任务规范难以适应开放环境，缺乏灵活性和自适应性，难以对齐人类意图并随迭代反馈演进。
  2. 论文提出IKER框架，利用VLM生成和优化关键点奖励函数，该函数基于视觉信息和语言指令，驱动机器人完成任务。
  3. 实验表明，IKER在多种操作任务中表现出色，包括多步骤任务、错误恢复和策略调整，验证了其有效性。

📝 摘要（中文）

本文提出了一种名为迭代关键点奖励（IKER）的框架，用于解决开放世界环境中机器人操作的任务规范问题。IKER是一种基于视觉的、Python编写的奖励函数，可以作为动态的任务规范。该框架利用视觉语言模型（VLM）为多步骤操作任务生成和改进奖励函数。给定RGB-D观测和自由形式的语言指令，IKER在场景中采样关键点，并生成以这些关键点为条件的奖励函数。IKER基于关键点之间的空间关系进行操作，利用关于期望行为的常识先验，并实现精确的SE(3)控制。该方法在模拟环境中重建真实世界场景，并使用生成的奖励来训练强化学习（RL）策略，然后将其部署到真实世界，形成一个real-to-sim-to-real的循环。实验结果表明，该方法在包括抓取和非抓取任务在内的各种场景中都表现出显著的能力，包括多步骤任务执行、自发错误恢复和即时策略调整。结果突出了IKER在通过迭代奖励塑造使机器人能够在动态环境中执行多步骤任务方面的有效性。

🔬 方法详解

问题定义：现有机器人操作任务规范方法在开放世界环境中面临挑战，难以适应复杂和动态的环境。传统的奖励函数设计需要大量人工干预，且难以泛化到新的任务和场景。此外，如何将人类的意图有效地传递给机器人，并使其能够根据环境变化进行自适应调整，也是一个亟待解决的问题。

核心思路：论文的核心思路是利用视觉语言模型（VLM）的强大能力，自动生成和迭代优化奖励函数。通过将视觉信息和语言指令相结合，VLM可以理解任务目标，并生成基于关键点的奖励函数，引导机器人完成任务。这种方法避免了人工设计奖励函数的复杂性，并提高了任务的泛化能力和适应性。

技术框架：IKER框架包含以下主要模块：1) 场景重建模块：利用RGB-D数据重建真实世界场景的模拟环境。2) 关键点采样模块：根据语言指令，在场景中采样关键点，这些关键点代表了任务的关键步骤或目标。3) 奖励函数生成模块：利用VLM生成基于关键点的奖励函数，该函数根据机器人与关键点之间的空间关系，给出相应的奖励或惩罚。4) 强化学习训练模块：使用生成的奖励函数训练强化学习策略，使机器人能够学会完成任务。5) Real-to-Sim-to-Real迁移模块：将训练好的策略从模拟环境迁移到真实世界，并进行微调。

关键创新：IKER框架的关键创新在于利用VLM自动生成和迭代优化奖励函数。与传统的人工设计奖励函数相比，IKER可以更好地理解人类的意图，并根据环境变化进行自适应调整。此外，IKER还利用关键点之间的空间关系，实现了精确的SE(3)控制，提高了机器人的操作精度。

关键设计：IKER的关键设计包括：1) VLM的选择：论文选择了具有强大视觉理解和语言生成能力的VLM，例如CLIP或类似模型。2) 关键点采样策略：论文设计了一种基于语言指令的关键点采样策略，以确保采样的关键点能够准确地代表任务目标。3) 奖励函数的形式：奖励函数基于关键点之间的距离和方向关系，采用了一种可微分的形式，以便于强化学习训练。4) 强化学习算法：论文采用了合适的强化学习算法，例如PPO或SAC，以训练机器人的操作策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IKER框架在多种机器人操作任务中表现出色，包括抓取和非抓取任务。与传统的奖励函数设计方法相比，IKER能够显著提高机器人的任务完成率和效率。例如，在多步骤操作任务中，IKER能够使机器人自发地进行错误恢复和策略调整，从而更好地完成任务。具体的性能数据和对比基线在论文中有详细描述，表明IKER具有显著的优势。

🎯 应用场景

该研究成果可应用于各种机器人操作任务，例如家庭服务机器人、工业自动化机器人和医疗机器人等。通过利用VLM生成迭代关键点奖励，可以使机器人更好地理解人类的意图，并完成复杂的任务。该技术还可以用于提高机器人的自主性和适应性，使其能够在动态和不确定的环境中工作。未来，该技术有望推动机器人操作领域的进一步发展。

📄 摘要（原文）

Task specification for robotic manipulation in open-world environments is challenging, requiring flexible and adaptive objectives that align with human intentions and can evolve through iterative feedback. We introduce Iterative Keypoint Reward (IKER), a visually grounded, Python-based reward function that serves as a dynamic task specification. Our framework leverages VLMs to generate and refine these reward functions for multi-step manipulation tasks. Given RGB-D observations and free-form language instructions, we sample keypoints in the scene and generate a reward function conditioned on these keypoints. IKER operates on the spatial relationships between keypoints, leveraging commonsense priors about the desired behaviors, and enabling precise SE(3) control. We reconstruct real-world scenes in simulation and use the generated rewards to train reinforcement learning (RL) policies, which are then deployed into the real world-forming a real-to-sim-to-real loop. Our approach demonstrates notable capabilities across diverse scenarios, including both prehensile and non-prehensile tasks, showcasing multi-step task execution, spontaneous error recovery, and on-the-fly strategy adjustments. The results highlight IKER's effectiveness in enabling robots to perform multi-step tasks in dynamic environments through iterative reward shaping.