Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives
作者: Shuanghao Bai, Wenxuan Song, Jiayi Chen, Yuheng Ji, Zhide Zhong, Jin Yang, Han Zhao, Wanqi Zhou, Zhe Li, Pengxiang Ding, Cheng Chi, Chang Xu, Xiaolong Zheng, Donglin Wang, Haoang Li, Shanghang Zhang, Badong Chen
分类: cs.RO
发布日期: 2025-12-28
备注: This work is a re-architected core derived from the full survey (arXiv:2510.10903) , refined to highlight the most central themes and representative studies
💡 一句话要点
综述：具身机器人操作中基于大模型的规划与学习方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 具身智能 基础模型 高层规划 低层控制
📋 核心要点
- 机器人操作面临长时程决策和复杂环境交互的挑战，现有方法难以有效整合多模态信息。
- 该综述将机器人操作分解为高层规划和低层控制，并分析了基于学习的方法在这两个层面的应用。
- 通过对现有方法的分类和分析，该综述旨在为机器人操作领域的基础模型设计提供指导。
📝 摘要（中文）
视觉、语言和多模态学习的最新进展极大地加速了机器人基础模型的发展，其中机器人操作仍然是一个核心且具有挑战性的问题。本综述从算法的角度考察了机器人操作，并在高层规划和低层控制的统一抽象框架下组织了最近的基于学习的方法。在高层，我们将经典的任务规划概念扩展到包括对语言、代码、运动、可供性和3D表示的推理，强调它们在结构化和长时程决策中的作用。在低层，我们提出了一种面向训练范式的学习控制分类法，沿着输入建模、潜在表示学习和策略学习组织现有方法。最后，我们指出了与可扩展性、数据效率、多模态物理交互和安全性相关的开放挑战和未来研究方向。总之，这些分析旨在阐明用于机器人操作的现代基础模型的设计空间。
🔬 方法详解
问题定义：机器人操作旨在使机器人能够执行各种物理任务，例如抓取、放置、组装等。现有的机器人操作方法在处理复杂环境、长时程任务和多模态信息融合方面存在不足。特别是，如何有效地利用视觉、语言等信息进行高层规划和低层控制是一个关键挑战。
核心思路：本综述的核心思路是将机器人操作分解为高层规划和低层控制两个层面，并分别分析基于学习的方法在这两个层面的应用。高层规划负责任务分解、目标设定和动作序列生成，而低层控制负责执行具体的动作。通过这种分层结构，可以更好地处理复杂任务和多模态信息。
技术框架：该综述首先介绍了机器人操作的基本概念和挑战，然后分别从高层规划和低层控制两个层面分析了现有的基于学习的方法。在高层规划方面，综述讨论了如何利用语言、代码、运动、可供性和3D表示进行任务规划。在低层控制方面，综述提出了一种面向训练范式的分类法，将现有方法分为输入建模、潜在表示学习和策略学习三类。
关键创新：该综述的主要创新在于提出了一个统一的框架来分析和组织现有的机器人操作方法。通过将机器人操作分解为高层规划和低层控制两个层面，并分别分析基于学习的方法在这两个层面的应用，该综述为研究人员提供了一个更清晰的视角来理解和设计机器人操作系统。此外，该综述还强调了多模态信息融合在机器人操作中的重要性。
关键设计：在高层规划方面，关键设计包括如何有效地利用语言模型进行任务描述和目标设定，如何利用代码生成模型进行动作序列生成，以及如何利用3D表示进行环境建模和运动规划。在低层控制方面，关键设计包括如何选择合适的输入表示（例如，图像、点云、力/扭矩），如何学习有效的潜在表示（例如，变分自编码器、对比学习），以及如何设计鲁棒的策略学习算法（例如，强化学习、模仿学习）。
🖼️ 关键图片
📊 实验亮点
该综述系统性地梳理了机器人操作领域中基于学习的方法，并从高层规划和低层控制两个层面进行了深入分析。通过对现有方法的分类和比较，该综述为研究人员提供了一个全面的视角来了解该领域的研究进展和未来方向。此外，该综述还指出了当前研究的局限性和未来的挑战，例如可扩展性、数据效率、多模态物理交互和安全性。
🎯 应用场景
该研究对机器人操作领域具有广泛的应用前景，可应用于智能制造、家庭服务、医疗康复等领域。通过提升机器人的操作能力，可以实现自动化生产、个性化服务和远程医疗等目标，从而提高生产效率、改善生活质量和降低医疗成本。未来的研究可以进一步探索如何将该框架应用于更复杂的任务和更真实的环境。
📄 摘要（原文）
Recent advances in vision, language, and multimodal learning have substantially accelerated progress in robotic foundation models, with robot manipulation remaining a central and challenging problem. This survey examines robot manipulation from an algorithmic perspective and organizes recent learning-based approaches within a unified abstraction of high-level planning and low-level control. At the high level, we extend the classical notion of task planning to include reasoning over language, code, motion, affordances, and 3D representations, emphasizing their role in structured and long-horizon decision making. At the low level, we propose a training-paradigm-oriented taxonomy for learning-based control, organizing existing methods along input modeling, latent representation learning, and policy learning. Finally, we identify open challenges and prospective research directions related to scalability, data efficiency, multimodal physical interaction, and safety. Together, these analyses aim to clarify the design space of modern foundation models for robotic manipulation.