Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI

📄 arXiv: 2407.06886v8 📥 PDF

作者: Yang Liu, Weixing Chen, Yongjie Bai, Xiaodan Liang, Guanbin Li, Wen Gao, Liang Lin

分类: cs.CV, cs.AI, cs.LG, cs.MA, cs.RO

发布日期: 2024-07-09 (更新: 2025-08-25)

备注: The comprehensive review of Embodied AI. We also provide the resource repository for Embodied AI: https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List

🔗 代码/项目: GITHUB

💡 一句话要点

具身智能综述：对齐物理世界与网络空间，探索具身AI的最新进展

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能 多模态大型模型 世界模型 具身感知 具身交互

📋 核心要点

  1. 现有具身智能方法在感知、交互、推理等方面存在局限性，难以实现通用人工智能。
  2. 该综述旨在全面分析具身智能的最新进展，特别是多模态大型模型和世界模型在具身智能体中的应用。
  3. 论文分析了具身感知、交互、智能体和sim-to-real适配等关键研究方向，并探讨了MLM在虚拟和真实环境中的应用。

📝 摘要（中文）

具身人工智能（Embodied AI）对于实现通用人工智能（AGI）至关重要，并且是连接网络空间和物理世界的各种应用（例如，智能机电系统、智能制造）的基础。 近年来，多模态大型模型（MLM）和世界模型（WM）凭借其卓越的感知、交互和推理能力而备受关注，使其成为具身智能体的有前途的架构。 在本综述中，我们全面探讨了具身AI的最新进展。 我们的分析首先考察了具身机器人和模拟器的代表性工作的前沿，以充分了解研究重点及其局限性。 然后，我们分析了四个主要研究目标：1）具身感知，2）具身交互，3）具身智能体，以及4）sim-to-real 适配，涵盖了最先进的方法、基本范例和全面的数据集。 此外，我们还探讨了 MLM 在虚拟和真实具身智能体中的复杂性，强调了它们在促进数字和物理环境中的交互方面的重要性。 最后，我们总结了具身AI的挑战和局限性，并讨论了潜在的未来方向。 我们希望本综述能为研究界提供基础参考。

🔬 方法详解

问题定义：具身智能旨在使智能体能够在物理世界中进行感知、交互和推理，从而实现通用人工智能。现有方法在处理复杂环境、实现高效交互和进行有效推理方面存在诸多挑战，例如感知噪声、交互策略的泛化性、以及推理能力的不足。此外，如何将虚拟环境中训练的模型有效地迁移到真实世界（sim-to-real）也是一个重要的痛点。

核心思路：该综述的核心思路是对具身智能领域的研究进展进行系统性的梳理和分析，特别是关注多模态大型模型（MLM）和世界模型（WM）在具身智能体中的应用。通过分析现有方法的优缺点，总结出具身智能的关键研究方向和挑战，并为未来的研究提供指导。

技术框架：该综述的技术框架主要包括以下几个部分：1) 具身机器人和模拟器的研究现状分析；2) 具身感知的研究进展，包括视觉、听觉等感知模态；3) 具身交互的研究进展，包括运动控制、人机交互等；4) 具身智能体的研究进展，包括导航、操作等任务；5) sim-to-real适配的研究进展，包括领域自适应、强化学习等。此外，该综述还探讨了MLM在虚拟和真实具身智能体中的应用。

关键创新：该综述的关键创新在于对具身智能领域进行了全面的、系统的分析，特别是关注了MLM和WM在具身智能体中的应用。通过对现有方法的优缺点进行分析，总结出了具身智能的关键研究方向和挑战，并为未来的研究提供了指导。与现有综述相比，该综述更加关注新兴技术和方法，例如MLM和WM。

关键设计：该综述没有涉及具体的技术设计，而是对现有研究进行了梳理和分析。但是，该综述强调了MLM和WM在具身智能体中的重要性，并指出未来的研究可以关注如何更好地利用这些模型来提高具身智能体的感知、交互和推理能力。此外，该综述还强调了sim-to-real适配的重要性，并指出未来的研究可以关注如何提高模型在真实世界中的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述全面梳理了具身智能领域的研究进展，重点关注了多模态大型模型和世界模型在具身智能体中的应用。论文分析了具身感知、交互、智能体和sim-to-real适配等关键研究方向，并总结了现有方法的优缺点，为未来的研究提供了指导。该综述为研究人员提供了一个全面的参考，有助于推动具身智能领域的发展。

🎯 应用场景

具身智能在智能制造、智能家居、自动驾驶、医疗机器人等领域具有广泛的应用前景。通过使智能体具备感知、交互和推理能力，可以实现更加智能化、自主化的系统，提高生产效率、改善生活质量、降低安全风险。未来，随着技术的不断发展，具身智能将在更多领域发挥重要作用。

📄 摘要（原文）

Embodied Artificial Intelligence (Embodied AI) is crucial for achieving Artificial General Intelligence (AGI) and serves as a foundation for various applications (e.g., intelligent mechatronics systems, smart manufacturing) that bridge cyberspace and the physical world. Recently, the emergence of Multi-modal Large Models (MLMs) and World Models (WMs) have attracted significant attention due to their remarkable perception, interaction, and reasoning capabilities, making them a promising architecture for embodied agents. In this survey, we give a comprehensive exploration of the latest advancements in Embodied AI. Our analysis firstly navigates through the forefront of representative works of embodied robots and simulators, to fully understand the research focuses and their limitations. Then, we analyze four main research targets: 1) embodied perception, 2) embodied interaction, 3) embodied agent, and 4) sim-to-real adaptation, covering state-of-the-art methods, essential paradigms, and comprehensive datasets. Additionally, we explore the complexities of MLMs in virtual and real embodied agents, highlighting their significance in facilitating interactions in digital and physical environments. Finally, we summarize the challenges and limitations of embodied AI and discuss potential future directions. We hope this survey will serve as a foundational reference for the research community. The associated project can be found at https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List.