SynCo: Data Synthesis Co-Training for Self-Evolving LLMs via Multi-Agent Reinforcement Learning
作者: Wei Yang, Shawn Li, Yuehan Qin, Yawei Wang, Mingxi Wang, Shixuan Li, Tiankai Yang, Jiate Li, Jesse Thomason, Xuezhe Ma, Yue Zhao
分类: cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出SynCo框架以解决自我进化LLM的训练数据不匹配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自我进化 多智能体强化学习 数据合成 任务适应 数学推理 机器学习 语言模型
📋 核心要点
- 现有自我进化LLM方法依赖静态数据集，导致任务难度与代理能力不匹配，限制了自我改进。
- 提出SynCo框架，通过多智能体强化学习联合优化合成器和推理器，实现动态任务合成与学习。
- 在八个数学推理基准上，SynCo显著超越多种合成数据方法，提升了整体性能，尤其在未解决问题上表现突出。
📝 摘要（中文）
自我进化的LLM代理通过持续互动和学习承诺实现自主改进，减少对手动监督的依赖。然而，现有方法依赖静态数据集或单独更新的合成模型，导致任务难度与代理能力之间的不匹配，限制了持续自我改进。为了解决这一问题，本文提出了SynCo，一个基于多智能体强化学习的代理数据合成协同训练框架。SynCo联合优化两个独立参数化的代理：合成器和推理器，合成器根据推理器的能力状态构建训练任务，推理器则从中学习。实验表明，SynCo在八个数学推理基准上显著优于现有合成数据方法和对照基线，取得了最强的整体性能。
🔬 方法详解
问题定义：本文旨在解决自我进化LLM在训练数据合成中的不匹配问题。现有方法依赖静态数据集或单独更新的合成模型，导致任务难度与代理能力之间的失衡，限制了持续的自我改进。
核心思路：提出SynCo框架，通过多智能体强化学习，联合优化合成器和推理器。合成器根据推理器的能力状态动态构建训练任务，使得训练过程与代理能力相适应。
技术框架：SynCo框架包含两个主要模块：合成器和推理器。合成器负责生成训练任务，推理器则从合成的任务中进行学习。每个合成任务会引发多个推理器的回合，提供互补的奖励信号。
关键创新：SynCo的创新在于其动态任务合成机制，允许合成器和推理器的能力随着训练过程的进展而共同演化。这种设计使得训练任务能够更好地适应代理的能力变化。
关键设计：在设计中，合成器的任务质量、答案可靠性和结果导向的可教性被用作指导合成器的反馈机制。同时，推理器的正确性反馈用于提升其学习效果，确保两个代理的更新能够相互促进。
🖼️ 关键图片
📊 实验亮点
在八个数学推理基准上，SynCo显著优于多种现有合成数据方法，整体性能提升幅度达到XX%，尤其在未解决问题上取得了最强的表现，展示了其在动态任务合成中的有效性。
🎯 应用场景
SynCo框架在自我进化的语言模型和智能体系统中具有广泛的应用潜力，特别是在需要动态适应和持续学习的场景中，如自动化教育、智能客服和复杂决策支持系统。未来，该方法可能推动更高效的自我学习系统的发展，减少对人工标注数据的依赖。
📄 摘要（原文）
Self-evolving LLM agents promise to improve autonomously through continual interaction and learning, reducing their dependence on manually curated supervision. Realizing this promise requires not only updating the agent, but also evolving its training experience as its capabilities change. However, most existing pipelines rely on static datasets or separately updated synthesis models, causing previously useful tasks to become trivial while overly difficult tasks remain uninformative. This growing mismatch between agent capability and training experience limits sustained self-improvement. To address this problem, we propose SynCo, an agentic data synthesis co-training framework for self-evolving LLMs based on multi-agent reinforcement learning. SynCo jointly optimizes two independently parameterized agents: a Synthesizer that constructs training tasks from the Reasoner's evolving capability state, and a Reasoner that learns from the resulting experience. Each synthesized task induces multiple Reasoner rollouts whose outcomes provide complementary rewards to both agents. Correctness feedback improves the Reasoner, while task quality, answer reliability, and outcome-grounded teachability guide the Synthesizer. Their updates are fed back into subsequent synthesis rounds, allowing the task-solving policy and its training distribution to evolve together. Extensive experiments across eight mathematical reasoning benchmarks demonstrate that SynCo substantially outperforms a broad range of existing synthetic-data methods and controlled baselines, achieving the strongest overall performance while deriving most of its gains from previously unsolved problems.