Know What You Don't Know: Agentic Data Synthesis by Evolving Generation Space for Closed-Loop Learning
作者: Wei Yang, Qing Ping, Youzhi Luo, Yawei Wang, Abhishek Kumar, Panpan Xu, Jun Huan
分类: cs.AI, cs.MA
发布日期: 2026-10-08
💡 一句话要点
提出EvoSyn以解决交互代理数据合成中的反馈决策差距问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据合成 交互代理 学习反馈 多代理系统 合成空间扩展 任务成功率 智能系统优化
📋 核心要点
- 现有方法在交互代理的数据合成中面临反馈与决策之间的差距，无法有效指导未来的合成方向。
- 本文提出EvoSyn框架，通过学习反馈驱动合成过程，明确生成的交互因素和合成努力的分配。
- 实验显示EvoSyn在$τ^2$-Bench和CAR-Bench上任务成功率提升13.3个百分点，生成的合成经验质量更高，结构更广泛。
📝 摘要（中文）
随着大型语言模型的不断改进，合成经验的有效性对交互代理至关重要。现有方法虽然引入了环境反馈和数据验证，但仍存在反馈与决策之间的差距。为此，本文提出了EvoSyn，一个基于学习反馈的多代理框架，通过可修订状态组织合成，明确生成的交互因素及合成努力的分配。实验结果表明，EvoSyn在任务成功率上比最强基线提高了13.3个百分点，同时生成了更高质量和更广泛的合成经验，并发现了在没有学习者反馈时遗漏的可控因素。
🔬 方法详解
问题定义：本文旨在解决交互代理数据合成中的反馈与决策差距问题。现有方法无法有效利用学习者反馈来指导未来的合成，导致合成空间的局限性。
核心思路：EvoSyn框架通过组织合成过程，利用学习反馈来修订合成策略，确保生成的交互因素能够被明确控制，从而提高合成的有效性和适应性。
技术框架：EvoSyn包含多个模块：角色专用的多代理系统将学习者反馈转化为合成修订，设计者负责分配合成方向，规划者则将这些方向落实为可执行的经验。
关键创新：EvoSyn的创新在于其学习反馈驱动的合成修订机制，能够在合成空间内进行适应性调整，并扩展合成空间以纳入新发现的因素，这与现有方法的静态合成空间形成鲜明对比。
关键设计：EvoSyn的设计包括可修订状态的定义、角色专用代理的协作机制，以及合成方向的动态分配策略，确保合成过程的灵活性和有效性。具体的损失函数和网络结构细节在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
在$τ^2$-Bench和CAR-Bench的实验中，EvoSyn相比于最强基线提升了13.3个百分点的任务成功率，且生成的合成经验在质量和结构上显著优于传统方法，发现了在缺乏学习者反馈时无法识别的可控因素。
🎯 应用场景
EvoSyn框架具有广泛的应用潜力，特别是在需要高效数据合成的交互代理系统中，如机器人学习、游戏AI和智能助手等领域。通过有效利用学习者反馈，EvoSyn能够不断优化合成过程，提高系统的学习效率和适应能力，推动智能系统的进一步发展。
📄 摘要（原文）
The continued improvement of large language models increasingly depends on synthetic experience, yet effective data synthesis for interactive agents requires not only executable and verifiable trajectories, but also interactions that provide learning value for the current task agent. Existing methods increasingly incorporate environment feedback, data validation, or learner failures, but still face a feedback-to-decision gap: observed weaknesses do not directly specify how future synthesis should change, or whether they can be represented by the current synthesis space. To address this gap, we propose EvoSyn, a learning-feedback-driven multi-agent framework that organizes synthesis around a revisable state specifying what interaction factors can be deliberately generated and where synthesis effort should be allocated. A role-specialized multi-agent system translates learner feedback into synthesis revisions, while a Designer allocates synthesis directions and a Planner grounds them into executable experience. This process enables within-space adaptation toward weak or under-covered regions and synthesis-space expansion that promotes newly discovered factors into explicit generation controls. Experiments on $τ^2$-Bench and CAR-Bench show that EvoSyn improves average task success by 13.3 points over the strongest synthesis baseline, while producing higher-quality and structurally broader synthetic experience and discovering controllable factors missed without learner feedback.