Towards a Unified Understanding of Robot Manipulation: A Comprehensive Survey
作者: Shuanghao Bai, Wenxuan Song, Jiayi Chen, Yuheng Ji, Zhide Zhong, Jin Yang, Han Zhao, Wanqi Zhou, Wei Zhao, Zhe Li, Pengxiang Ding, Cheng Chi, Haoang Li, Chang Xu, Xiaolong Zheng, Donglin Wang, Shanghang Zhang, Badong Chen
分类: cs.RO
发布日期: 2025-10-13
🔗 代码/项目: GITHUB
💡 一句话要点
机器人操作的统一理解：全面的综述性研究，涵盖方法、瓶颈与应用。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 具身智能 高层规划 低层控制 机器学习 综述 数据泛化
📋 核心要点
- 机器人操作面临感知、规划和控制的无缝集成难题，以实现与多样化非结构化环境的交互。
- 本文通过统一的分类法对现有方法进行组织，并扩展了高层规划的范围，同时提出了新的低层学习控制分类。
- 论文深入分析了数据收集、利用和泛化等关键瓶颈，并对机器人操作的实际应用进行了广泛的回顾。
📝 摘要（中文）
本文对机器人操作进行了全面的综述，涵盖了基础背景、任务组织的基准和数据集，以及现有方法的统一分类。文章扩展了高层规划和低层控制之间的经典划分，将高层规划扩展到包括语言、代码、运动、可供性和3D表示，并引入了一种新的基于训练范式的低层学习控制分类，如输入建模、潜在学习和策略学习。此外，本文还首次专门对关键瓶颈进行了分类，重点关注数据收集、利用和泛化，最后对实际应用进行了广泛的回顾。与之前的综述相比，本文提供了更广泛的范围和更深入的见解，为新手提供了一个易于理解的路线图，并为经验丰富的研究人员提供了一个结构化的参考。
🔬 方法详解
问题定义：机器人操作是一个复杂的问题，需要将感知、规划和控制无缝集成，以便在不同的非结构化环境中进行交互。现有的方法在高层规划和低层控制之间存在割裂，并且在数据收集、利用和泛化方面面临瓶颈。
核心思路：本文的核心思路是提供一个统一的机器人操作理解框架，通过扩展高层规划的范围，并引入新的低层学习控制分类，弥合高层规划和低层控制之间的差距。同时，通过对关键瓶颈进行分类，为未来的研究方向提供指导。
技术框架：本文的框架包括以下几个主要部分：1）对机器人操作的基础背景进行介绍；2）对任务组织的基准和数据集进行整理；3）对现有方法进行统一的分类，包括高层规划和低层控制；4）对关键瓶颈进行分类，包括数据收集、利用和泛化；5）对实际应用进行回顾。
关键创新：本文的创新之处在于：1）扩展了高层规划的范围，使其包括语言、代码、运动、可供性和3D表示；2）引入了一种新的基于训练范式的低层学习控制分类，如输入建模、潜在学习和策略学习；3）首次专门对关键瓶颈进行了分类，重点关注数据收集、利用和泛化。
关键设计：本文是一个综述性文章，没有提出具体的算法或模型。但是，文章对现有方法的分类和对关键瓶颈的分析，为未来的研究提供了重要的指导。例如，在低层控制方面，文章强调了基于学习的方法的重要性，并提出了输入建模、潜在学习和策略学习等不同的训练范式。在数据方面，文章强调了数据收集、利用和泛化的重要性，并指出了现有方法在这些方面存在的不足。
📊 实验亮点
本文通过全面的综述和深入的分析，为机器人操作领域的研究人员提供了一个结构化的参考。文章对现有方法进行了统一的分类，并对关键瓶颈进行了专门的分析，为未来的研究方向提供了重要的指导。此外，文章还整理了大量的基准和数据集，为研究人员提供了方便的资源。
🎯 应用场景
该研究成果可广泛应用于工业自动化、家庭服务机器人、医疗机器人等领域。通过对机器人操作的统一理解，可以促进相关技术的进步，提高机器人在复杂环境中的适应性和智能化水平，从而实现更高效、更安全、更可靠的机器人操作。
📄 摘要（原文）
Embodied intelligence has witnessed remarkable progress in recent years, driven by advances in computer vision, natural language processing, and the rise of large-scale multimodal models. Among its core challenges, robot manipulation stands out as a fundamental yet intricate problem, requiring the seamless integration of perception, planning, and control to enable interaction within diverse and unstructured environments. This survey presents a comprehensive overview of robotic manipulation, encompassing foundational background, task-organized benchmarks and datasets, and a unified taxonomy of existing methods. We extend the classical division between high-level planning and low-level control by broadening high-level planning to include language, code, motion, affordance, and 3D representations, while introducing a new taxonomy of low-level learning-based control grounded in training paradigms such as input modeling, latent learning, and policy learning. Furthermore, we provide the first dedicated taxonomy of key bottlenecks, focusing on data collection, utilization, and generalization, and conclude with an extensive review of real-world applications. Compared with prior surveys, our work offers both a broader scope and deeper insight, serving as an accessible roadmap for newcomers and a structured reference for experienced researchers. All related resources, including research papers, open-source datasets, and projects, are curated for the community at https://github.com/BaiShuanghao/Awesome-Robotics-Manipulation.