EmbRACE-3K: Embodied Reasoning and Action in Complex Environments

📄 arXiv: 2507.10548v1 📥 PDF

作者: Mingxian Lin, Wei Huang, Yitang Li, Chengjie Jiang, Kui Wu, Fangwei Zhong, Shengju Qian, Xin Wang, Xiaojuan Qi

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-07-14

备注: Project page: https://mxllc.github.io/EmbRACE-3K/

💡 一句话要点

EmRACE-3K：用于复杂环境中具身推理与行动的基准数据集

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 具身智能 视觉语言模型 数据集 推理 强化学习

📋 核心要点

  1. 现有视觉语言模型在离线图像和视频理解任务中表现出色，但在需要在线交互和主动场景理解的具身环境中存在局限性。
  2. EmRACE-3K数据集通过提供包含丰富交互和推理步骤的具身任务，旨在弥合视觉语言模型在离线理解和在线交互之间的差距。
  3. 实验表明，在EmRACE-3K上微调Qwen2.5-VL-7B后，模型在探索、空间推理和多阶段目标执行方面均取得了显著的性能提升。

📝 摘要（中文）

本文提出了EmRACE-3K，一个包含超过3000个语言引导任务的数据集，旨在评估视觉语言模型(VLMs)在具身环境中的推理能力。该数据集构建于Unreal Engine和UnrealCV-Zoo框架之上，包含多样且逼真的环境。任务涵盖导航、物体操作和多阶段目标执行等具身挑战，每个任务都包含第一人称视觉观察、高级指令、可执行动作以及表达智能体意图的自然语言理由。EmRACE-3K建立了一个基准，用于评估VLMs在探索、动态空间语义推理和多阶段目标执行三个关键维度上的具身推理能力。实验表明，现有模型在零样本设置下表现不佳，成功率低于20%。通过在EmRACE-3K上对Qwen2.5-VL-7B进行监督学习和强化学习微调，显著提升了模型在各项挑战中的性能，验证了数据集的有效性。

🔬 方法详解

问题定义：现有视觉语言模型在静态图像和视频理解方面取得了显著进展，但它们在需要与环境进行交互的具身任务中表现不佳。这些任务需要智能体从第一人称视角感知环境，并根据指令执行动作，而每个动作都会动态地改变后续的观察。现有模型在空间推理和长期规划方面存在明显的局限性。

核心思路：EmRACE-3K数据集旨在提供一个具有挑战性的基准，以评估和提升视觉语言模型在具身环境中的推理和行动能力。通过构建包含多样化任务和详细标注的数据集，可以促进模型学习如何在复杂环境中进行探索、推理和执行多阶段目标。

技术框架：EmRACE-3K数据集包含超过3000个语言引导任务，这些任务在Unreal Engine和UnrealCV-Zoo框架构建的逼真环境中进行。每个任务都包含以下组成部分：第一人称视觉观察、高级指令、可执行动作以及自然语言理由。数据集被设计用于评估三个关键维度：探索、动态空间语义推理和多阶段目标执行。

关键创新：EmRACE-3K的主要创新在于其任务的复杂性和多样性，以及对每个任务步骤的详细标注。与现有的具身数据集相比，EmRACE-3K提供了更具挑战性的任务，需要智能体进行更复杂的推理和规划。此外，数据集提供的自然语言理由可以帮助模型更好地理解任务目标和执行动作的原因。

关键设计：为了验证EmRACE-3K的有效性，作者使用监督学习和强化学习对Qwen2.5-VL-7B模型进行了微调。监督学习用于初始化模型，使其能够理解任务指令和执行动作。强化学习用于优化模型的长期规划能力，使其能够更好地完成多阶段目标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在EmRACE-3K基准测试中，现有视觉语言模型在零样本设置下的成功率低于20%，表明该基准具有很高的挑战性。通过在EmRACE-3K上对Qwen2.5-VL-7B进行微调，模型在探索、动态空间语义推理和多阶段目标执行三个关键维度上均取得了显著的性能提升，验证了数据集的有效性。

🎯 应用场景

EmRACE-3K数据集可以应用于机器人导航、家庭助手、虚拟现实游戏等领域。通过训练具有强大具身推理能力的模型，可以实现更智能、更自主的机器人和智能体，从而改善人们的生活质量，提高工作效率。未来，该数据集可以扩展到更复杂的环境和任务，例如医疗、教育等领域。

📄 摘要（原文）

Recent advanced vision-language models(VLMs) have demonstrated strong performance on passive, offline image and video understanding tasks. However, their effectiveness in embodied settings, which require online interaction and active scene understanding remains limited. In such scenarios, an agent perceives the environment from a first-person perspective, with each action dynamically shaping subsequent observations. Even state-of-the-art models such as GPT-4o, Claude 3.5 Sonnet, and Gemini 2.5 Pro struggle in open-environment interactions, exhibiting clear limitations in spatial reasoning and long-horizon planning. To address this gap, we introduce EmRACE-3K, a dataset of over 3,000 language-guided tasks situated in diverse, photorealistic environments constructed using Unreal Engine and the UnrealCV-Zoo framework. The tasks encompass a wide range of embodied challenges, including navigation, object manipulation, and multi-stage goal execution. Each task unfolds as a multi-step trajectory, pairing first-person visual observations with high-level instructions, grounded actions, and natural language rationales that express the agent's intent at every step. Using EmRACE-3K, we establish a benchmark to evaluate the embodied reasoning capabilities of VLMs across three key dimensions: Exploration, Dynamic Spatial-Semantic Reasoning, and Multi-stage Goal Execution. In zero-shot settings, all models achieve success rates below 20%, underscoring the challenge posed by our benchmark and the current limitations of VLMs in interactive environments. To demonstrate the utility of EmRACE-3K, we further fine-tune Qwen2.5-VL-7B using supervised learning followed by reinforcement learning. This approach yields substantial improvements across all three challenge categories, highlighting the dataset's effectiveness in enabling the development of embodied reasoning capabilities.