CoDA: Co-Evolution of Data Engines and Action Policies

📄 arXiv: 2610.22362v1 📥 PDF

作者: Tianjiao Yu, Zhilin Ou, Yifan Shen, Xinzhuo Li, Yuanzhe Liu, Onkar Kishor Susladkar, Fan Wang, Ismini Lourentzou

分类: cs.RO, cs.AI

发布日期: 2026-10-15

备注: Project Website: https://plan-lab.github.io/projects/coda/

💡 一句话要点

提出CoDA框架以解决机器人训练环境构建问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 生成仿真 机器人训练 动作策略 异构记忆 视觉-语言评估 潜力学习 操作任务 智能机器人

📋 核心要点

  1. 现有方法在生成有效训练环境方面存在不足，无法针对策略的失败进行有效监督。
  2. CoDA框架通过共享记忆使仿真数据引擎与动作策略共同进化，提升训练效果。
  3. 在LIBERO-Pro上，经过15轮生成与训练，成功率从25%提升至84%，显示出显著的性能提升。

📝 摘要（中文）

生成仿真可以自动化机器人环境构建，但物理有效的环境并不一定对训练有用。本文提出CoDA框架，使得仿真数据引擎与动作策略通过共享的异构记忆共同进化。该记忆汇编来自视觉-语言评估者的验证诊断，生成重现困难的程序和帮助策略克服这些困难的训练程序。此外，提出Text2potential将这些诊断转化为分阶段的潜力，用于动作块价值学习，提供密集的监督以更新策略，同时在标准塑形假设下保持任务的最优策略。实验结果表明，CoDA在四个操作任务系列中显著提高了分布外成功率。

🔬 方法详解

问题定义：本文旨在解决生成仿真环境在机器人训练中的有效性问题。现有方法往往无法识别和针对策略的失败进行有效的环境构建与监督。

核心思路：CoDA框架通过共享的异构记忆，使得仿真数据引擎与动作策略共同进化，能够动态调整训练环境以应对策略的不足。

技术框架：CoDA的整体架构包括仿真数据引擎、动作策略和共享记忆模块。记忆模块汇编来自视觉-语言评估者的诊断信息，生成针对策略失败的训练程序。

关键创新：最重要的创新在于通过Text2potential将诊断转化为分阶段潜力，从而为动作块价值学习提供密集监督，保持任务的最优策略。

关键设计：在设计中，采用了特定的损失函数来优化策略更新，并通过多轮生成与训练的方式不断提升策略的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CoDA在四个操作任务系列中将分布外成功率从5.3%提升至27.6%，超越最强闭环基线9.5个百分点。在LIBERO-Pro上，经过15轮生成与训练，成功率从25%提升至84%，在位置扰动和指令扰动下均表现出显著的提升。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过提升机器人在复杂环境中的适应能力，CoDA框架能够显著提高机器人在实际应用中的效率和可靠性，推动智能机器人技术的发展。

📄 摘要（原文）

Generative simulation can automate robot environment construction, but physically valid environments are not necessarily useful for training. The challenge is to identify environments that address a policy's failures and supervision that helps it overcome them. We introduce CoDA, a framework in which a simulation data engine and an action policy co-evolve through a shared heterogeneous memory of environment construction, policy failures, and learning progress. The memory compiles validated diagnoses from a vision-language critic into generation programs that recreate difficulties and training programs that help the policy overcome them. We further propose Text2potential to convert these diagnoses into staged potentials for action-chunk value learning, providing dense supervision for policy updates while preserving the task's optimal policy under standard shaping assumptions. Measured learning progress guides further generation and program refinement. Across four manipulation task families, CoDA improves out-of-distribution success from 5.3% after supervised fine-tuning to 27.6%, exceeding the strongest closed-loop baseline by 9.5 percentage points with the same generation budget. On LIBERO-Pro, 15 rounds of generation and training raise success from 25% to 84% under position perturbations and from 1% to 76% under instruction perturbations.