EmbodiedMind: Adaptive Data Curation and Prefix-Tree Reinforcement Learning for Efficient Embodied Intelligence

📄 arXiv: 2609.19659v1 📥 PDF

作者: Feifan Wang, Zongbing Zhang, Yu Zhang, Lingfeng Wang, Yurui Zhu, Jin Deng, Mingliang Zhang, Zhengguang Gao, Yongcheng Wang, Jin Xu, Ri Yang

分类: cs.RO, cs.LG

发布日期: 2026-09-17

💡 一句话要点

提出EmbodiedMind以解决嵌入式智能训练中的数据利用效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 嵌入式智能 强化学习 数据选择 信用分配 长时间规划 策略优化 行为先验

📋 核心要点

  1. 现有嵌入式智能训练方法面临样本利用效率低、梯度贡献不均和信用分配问题等挑战。
  2. 本文提出的EmbodiedMind通过拒绝采样、任务特定队列和前缀树强化学习等方法，优化数据选择和策略训练。
  3. EmbodiedMind在18个基准测试中实现70.02%的平均性能，显著提升了长时间任务规划的准确性。

📝 摘要（中文）

训练嵌入式基础模型通常需要大规模数据集和大量计算资源，但面临三大关键限制：低信息样本导致的样本利用效率低下、异构任务间梯度贡献不平衡，以及长时间规划中的信用分配问题。为了解决这些问题，本文提出了一种高效的训练范式，通过战略数据选择和分层策略优化实现了最先进的平均性能。该方法包括三个协同阶段：基于拒绝采样的微调（RSFT）过滤低信息样本、迭代拒绝GRPO（IR-GRPO）保持数据集平衡，以及基于动作前缀树的Trie-GRPO增强长时间任务规划。最终，EmbodiedMind在18个基准测试中实现了70.02%的平均性能，显著优于其他嵌入式基础模型。

🔬 方法详解

问题定义：本文旨在解决嵌入式智能训练中的三个主要问题：低信息样本导致的样本利用效率低下、异构任务间梯度贡献不平衡，以及长时间规划中的信用分配问题。现有方法在这些方面存在显著不足，影响了模型的整体性能。

核心思路：论文提出了一种高效的训练范式，结合战略数据选择和分层策略优化，以提升模型的训练效率和性能。通过过滤低信息样本和优化任务间的梯度反馈，增强了模型的学习能力。

技术框架：整体方法分为三个阶段：第一阶段是基于拒绝采样的微调（RSFT），用于过滤低信息样本；第二阶段是迭代拒绝GRPO（IR-GRPO），通过任务特定队列保持数据集平衡；第三阶段是Trie-GRPO，基于动作前缀树的强化学习算法，增强长时间任务规划能力。

关键创新：最重要的技术创新在于引入了Trie-GRPO算法，通过动作前缀树实现了步骤级的优势估计，从而有效解决了信用分配问题。这一方法在探索效率和深度上优于传统搜索树。

关键设计：在设计中，采用了混合奖励机制以实现跨任务的精确反馈，并通过分层队列策略确保数据集在强化学习迭代中的平衡性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EmbodiedMind在18个基准测试中实现了70.02%的平均性能，显著优于其他嵌入式基础模型，尤其在长时间任务规划的准确性上表现突出，显示出其在强化学习领域的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能家居等嵌入式智能系统。通过提高模型的训练效率和任务规划能力，EmbodiedMind能够在复杂环境中实现更高效的决策和行为，从而推动智能系统的实际应用和发展。

📄 摘要（原文）

Training embodied foundation models typically requires massive-scale datasets and extensive computational resources, yet often suffers from three critical limitations: (1) inefficient sample utilization due to low-informative samples; (2) imbalanced gradient contributions across heterogeneous tasks; and (3) severe credit assignment problem in long-horizon planning, where trajectory-level rewards indiscriminately penalize all tokens. To address these issues, we propose an efficient training paradigm that achieves state-of-the-art average performance through strategic data selection and hierarchical policy optimization. Our approach consists of three synergistic stages. First, Rejection Sampling-based Fine-Tuning (RSFT) filters out low-informative samples to establish robust behavioral priors while preventing distributional collapse. Second, Iterative Rejection GRPO (IR-GRPO) employs task-specific queues stratified by difficulty to keep datasets balanced across reinforcement learning iterations, coupled with a hybrid reward mechanism for precise cross-task feedback. Third, to enhance long-horizon task planning, we introduce Trie-GRPO, a novel reinforcement learning algorithm based on action prefix trees, which enables step-level advantage estimation. This resolves the credit assignment problem by isolating intermediate correct decisions from downstream errors, while effectively balancing exploration efficiency and depth compared to conventional search trees. As a result, EmbodiedMind achieves a state-of-the-art average performance of 70.02% across 18 benchmarks, and significantly outperforms other embodied foundation models in long-horizon task planning accuracy. Our project will be released for reproducibility.