Phoenix: A Motion-based Self-Reflection Framework for Fine-grained Robotic Action Correction

📄 arXiv: 2504.14588v1 📥 PDF

作者: Wenke Xia, Ruoxuan Feng, Dong Wang, Di Hu

分类: cs.RO, cs.AI, cs.CV

发布日期: 2025-04-20

备注: Accepted by CVPR2025

🔗 代码/项目: GITHUB

💡 一句话要点

Phoenix框架：基于运动指令的自反思机制，实现机器人精细动作纠正

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人自纠正 运动指令 多模态大语言模型 扩散模型 机器人操作 终身学习 运动条件策略

📋 核心要点

  1. 现有机器人自纠正系统难以将高层语义反思转化为精细的动作调整指令，泛化能力受限。
  2. Phoenix框架利用运动指令作为桥梁，连接语义反思和动作纠正，降低了对底层策略泛化性的要求。
  3. 实验表明，Phoenix框架在模拟和真实环境中均表现出优异的泛化性和鲁棒性，提升了动作纠正的精度。

📝 摘要（中文）

构建通用的自纠正系统对于机器人从失败中恢复至关重要。尽管多模态大型语言模型(MLLM)的进步赋予了机器人语义反思能力，但将语义反思转化为如何纠正精细的机器人动作仍然是一个重大挑战。为了解决这一差距，我们构建了Phoenix框架，该框架利用运动指令作为桥梁，连接高层语义反思与低层机器人动作纠正。在这个基于运动的自反思框架中，我们首先采用基于MLLM的双过程运动调整机制，将语义反思转化为粗粒度的运动指令调整。为了利用该运动指令来指导如何纠正精细的机器人动作，我们提出了一种多任务运动条件扩散策略，以整合视觉观察结果，实现高频机器人动作纠正。通过结合这两个模型，我们可以将对泛化能力的需求从低层操作策略转移到MLLM驱动的运动调整模型，并促进精确、精细的机器人动作纠正。利用该框架，我们进一步开发了一种终身学习方法，以自动提高模型在与动态环境交互中的能力。在RoboMimic模拟和真实场景中进行的实验证明了我们的框架在各种操作任务中的卓越泛化性和鲁棒性。

🔬 方法详解

问题定义：现有机器人自纠正系统难以将多模态大型语言模型（MLLM）提供的语义反思转化为精细的机器人动作指令，尤其是在复杂操作任务中，对底层操作策略的泛化能力要求很高。这导致系统难以适应新的环境和任务，鲁棒性较差。

核心思路：Phoenix框架的核心思路是利用运动指令作为中间表示，将高层语义反思与低层机器人动作纠正解耦。通过MLLM将语义反思转化为粗粒度的运动指令调整，再利用运动条件扩散策略将运动指令转化为精细的动作纠正。这种解耦降低了对底层操作策略泛化性的要求，提高了系统的适应性和鲁棒性。

技术框架：Phoenix框架包含两个主要模块：1) 基于MLLM的双过程运动调整机制：该模块接收视觉输入和任务描述，利用MLLM进行语义反思，并将反思结果转化为粗粒度的运动指令调整。2) 多任务运动条件扩散策略：该模块接收视觉观察和运动指令，利用扩散模型生成精细的机器人动作，实现高频动作纠正。此外，框架还包含一个终身学习模块，用于在与动态环境交互中自动提升模型能力。

关键创新：Phoenix框架的关键创新在于：1) 提出了一种基于运动指令的自反思框架，有效连接了高层语义反思和低层机器人动作纠正。2) 采用双过程运动调整机制，将语义反思转化为粗粒度的运动指令调整。3) 提出了一种多任务运动条件扩散策略，利用运动指令指导精细的机器人动作生成。

关键设计：在双过程运动调整机制中，MLLM被用于生成运动指令调整。多任务运动条件扩散策略采用扩散模型，以运动指令作为条件，生成机器人动作。损失函数的设计旨在平衡不同任务之间的学习，并鼓励生成符合运动指令的动作。具体的网络结构和参数设置在论文中有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Phoenix框架在RoboMimic模拟和真实场景中均表现出优异的性能。与现有方法相比，Phoenix框架在各种操作任务中实现了更高的成功率和更低的错误率。具体性能数据和提升幅度在论文中有详细描述（未知）。

🎯 应用场景

Phoenix框架可应用于各种机器人操作任务，例如家庭服务机器人、工业机器人和医疗机器人。该框架能够提高机器人在复杂环境中的适应性和鲁棒性，使其能够更好地完成任务并从失败中恢复。未来，该框架有望应用于更广泛的机器人领域，例如自动驾驶和无人机。

📄 摘要（原文）

Building a generalizable self-correction system is crucial for robots to recover from failures. Despite advancements in Multimodal Large Language Models (MLLMs) that empower robots with semantic reflection ability for failure, translating semantic reflection into how to correct fine-grained robotic actions remains a significant challenge. To address this gap, we build the Phoenix framework, which leverages motion instruction as a bridge to connect high-level semantic reflection with low-level robotic action correction. In this motion-based self-reflection framework, we start with a dual-process motion adjustment mechanism with MLLMs to translate the semantic reflection into coarse-grained motion instruction adjustment. To leverage this motion instruction for guiding how to correct fine-grained robotic actions, a multi-task motion-conditioned diffusion policy is proposed to integrate visual observations for high-frequency robotic action correction. By combining these two models, we could shift the demand for generalization capability from the low-level manipulation policy to the MLLMs-driven motion adjustment model and facilitate precise, fine-grained robotic action correction. Utilizing this framework, we further develop a lifelong learning method to automatically improve the model's capability from interactions with dynamic environments. The experiments conducted in both the RoboMimic simulation and real-world scenarios prove the superior generalization and robustness of our framework across a variety of manipulation tasks. Our code is released at \href{https://github.com/GeWu-Lab/Motion-based-Self-Reflection-Framework}{https://github.com/GeWu-Lab/Motion-based-Self-Reflection-Framework}.