EmbodiedCity: A Benchmark Platform for Embodied Agent in Real-world City Environment
作者: Chen Gao, Baining Zhao, Weichen Zhang, Jinzhu Mao, Jun Zhang, Zhiheng Zheng, Fanhang Man, Jianjie Fang, Zile Zhou, Jinqiang Cui, Xinlei Chen, Yong Li
分类: cs.AI, cs.RO
发布日期: 2024-10-12
备注: All of the software, Python library, codes, datasets, tutorials, and real-time online service are available on this website: https://embodied-city.fiblab.net
💡 一句话要点
EmbodiedCity：构建真实城市环境的具身智能基准平台，促进开放世界场景探索
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能 模拟环境 城市环境 基准平台 开放世界 人工智能 机器人 大型语言模型
📋 核心要点
- 现有具身智能研究主要集中在室内等受限环境，缺乏对开放和室外环境的探索，主要原因是缺乏高质量的模拟器、基准和数据集。
- EmbodiedCity通过构建基于真实城市数据的高逼真度3D模拟环境，并结合历史数据和模拟算法，实现对城市中行人和车辆流动的高保真模拟。
- 该平台提供了一系列评估任务和完整的输入输出接口，方便具身智能体进行决策和评估，并对现有大型语言模型进行了具身智能能力的评估。
📝 摘要（中文）
本文构建了一个用于评估真实城市环境中具身智能的基准平台EmbodiedCity。该平台基于真实城市的建筑物、道路和其他元素构建了高度逼真的3D模拟环境。结合历史数据和模拟算法，平台能够高保真地模拟行人和车辆的流动。此外，论文设计了一系列涵盖不同具身智能能力的评估任务，并提供了一整套输入和输出接口，使具身智能体能够轻松地将任务需求和当前环境观察作为输入，然后做出决策并获得性能评估。该平台扩展了现有具身智能的能力，使其达到更高的水平，并在现实世界中具有更高的实用价值，能够支持更多潜在的通用人工智能应用。基于此平台，论文评估了一些流行的LLM在不同维度和难度下的具身智能能力。
🔬 方法详解
问题定义：现有具身智能研究主要集中在室内等受限环境中，例如房间导航或设备操作，缺乏对开放和室外环境的探索。主要痛点在于缺乏高质量的模拟器、基准和数据集，难以支持在复杂、动态的真实城市环境中进行具身智能体的训练和评估。
核心思路：EmbodiedCity的核心思路是构建一个基于真实城市数据的高逼真度3D模拟环境，并结合历史数据和模拟算法，实现对城市中行人和车辆流动的高保真模拟。通过提供一系列评估任务和完整的输入输出接口，方便具身智能体进行决策和评估，从而促进在开放世界场景下的具身智能研究。
技术框架：EmbodiedCity平台主要包含以下几个模块：1) 3D城市环境构建模块：基于真实城市的建筑物、道路和其他元素构建高度逼真的3D模拟环境。2) 交通流模拟模块：结合历史数据和模拟算法，高保真地模拟行人和车辆的流动。3) 任务定义模块：设计一系列涵盖不同具身智能能力的评估任务。4) 接口模块：提供完整的输入和输出接口，使具身智能体能够轻松地获取环境信息并执行动作。5) 评估模块：根据任务完成情况对具身智能体的性能进行评估。
关键创新：EmbodiedCity的关键创新在于构建了一个基于真实城市数据的、高逼真度的具身智能模拟环境，并实现了对城市交通流的高保真模拟。与现有主要集中于室内环境的具身智能平台相比，EmbodiedCity能够支持在更复杂、更真实的开放世界场景下进行具身智能研究。
关键设计：在3D城市环境构建方面，平台采用了真实城市数据进行建模，保证了环境的真实性和复杂性。在交通流模拟方面，平台结合了历史数据和基于智能体的模拟算法，能够模拟出符合真实城市交通规律的行人和车辆行为。在任务设计方面，平台设计了一系列涵盖不同具身智能能力的评估任务，例如导航、交互等。在接口设计方面，平台提供了易于使用的API，方便具身智能体与环境进行交互。
🖼️ 关键图片
📊 实验亮点
论文基于EmbodiedCity平台评估了现有大型语言模型（LLM）的具身智能能力。实验结果表明，LLM在某些任务上表现出一定的能力，但在复杂环境和需要长期规划的任务中仍存在挑战。该平台为未来研究人员提供了一个评估和改进具身智能模型的有效工具。
🎯 应用场景
EmbodiedCity平台可应用于自动驾驶、智能交通、城市规划、机器人导航等领域。通过在该平台上训练和评估具身智能体，可以提高其在真实城市环境中的适应性和泛化能力，从而推动相关技术的发展和应用。此外，该平台还可以用于研究通用人工智能，探索具身智能在复杂环境中的决策和控制能力。
📄 摘要（原文）
Embodied artificial intelligence emphasizes the role of an agent's body in generating human-like behaviors. The recent efforts on EmbodiedAI pay a lot of attention to building up machine learning models to possess perceiving, planning, and acting abilities, thereby enabling real-time interaction with the world. However, most works focus on bounded indoor environments, such as navigation in a room or manipulating a device, with limited exploration of embodying the agents in open-world scenarios. That is, embodied intelligence in the open and outdoor environment is less explored, for which one potential reason is the lack of high-quality simulators, benchmarks, and datasets. To address it, in this paper, we construct a benchmark platform for embodied intelligence evaluation in real-world city environments. Specifically, we first construct a highly realistic 3D simulation environment based on the real buildings, roads, and other elements in a real city. In this environment, we combine historically collected data and simulation algorithms to conduct simulations of pedestrian and vehicle flows with high fidelity. Further, we designed a set of evaluation tasks covering different EmbodiedAI abilities. Moreover, we provide a complete set of input and output interfaces for access, enabling embodied agents to easily take task requirements and current environmental observations as input and then make decisions and obtain performance evaluations. On the one hand, it expands the capability of existing embodied intelligence to higher levels. On the other hand, it has a higher practical value in the real world and can support more potential applications for artificial general intelligence. Based on this platform, we evaluate some popular large language models for embodied intelligence capabilities of different dimensions and difficulties.