Agentic Knowledge-Model Co-Evolution via Consistency Regularization

📄 arXiv: 2610.30790v1 📥 PDF

作者: Sirui Chen, Zhining Liu, Chao Zhang, Jingrui He, Zheng Li

分类: cs.AI

发布日期: 2026-10-22

💡 一句话要点

提出SPLICE框架以解决知识模型共演化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识演化 一致性正则化 自蒸馏 强化学习 大型语言模型 智能代理

📋 核心要点

  1. 现有方法在分析和转化经验时，可能导致知识效用的显著差异，影响任务解决效果。
  2. 本文提出SPLICE框架，通过一致性正则化识别不同分析方式下的共同效用增益，推动知识与模型的共演化。
  3. 实验结果显示，SPLICE在平均准确率上比基线提高了7.1和4.6个百分点，同时减少了输出token数量，具有良好的跨模型迁移能力。

📝 摘要（中文）

大型语言模型（LLM）代理可以通过学习积累的经验而进化。现有方法从经验中提取可重用的外部知识，如技能和记忆，以指导后续任务解决，但不同的分析和转化方式可能导致知识效用的显著差异。受一致性正则化的启发，本文提出SPLICE框架，通过扰动同一经验的分析方式，识别一致的效用增益。知识更新由共同增益引导，结合自蒸馏和强化学习，推动知识的内化与模型的进化。实验表明，SPLICE在多个领域的平均准确率上超越基线，且减少了正确解决方案的输出token数量。

🔬 方法详解

问题定义：本文旨在解决现有知识演化方法在分析同一经验时可能导致的知识效用差异问题。现有方法往往依赖单一分析方式，缺乏对不同视角下知识效用的综合考虑。

核心思路：SPLICE框架通过一致性正则化，识别不同分析方式下的共同效用增益，从而推动知识与模型的共演化。该设计旨在提高知识的重用性和模型的适应性。

技术框架：SPLICE框架包括两个主要模块：首先，通过扰动分析方式生成不同的知识候选；其次，利用共同增益引导知识更新，并结合自蒸馏和强化学习进行模型进化。

关键创新：SPLICE的核心创新在于通过一致性正则化实现知识与模型的共演化，区别于传统方法仅依赖单一分析视角。

关键设计：在设计中，采用了自蒸馏机制来内化演化知识，并使用与一致性效用降级相关的知识作为对比参考，确保知识更新的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SPLICE在多个领域的平均准确率上超越了知识演化和模型训练基线，分别提高了7.1和4.6个百分点。同时，其演化知识使得每个正确解决方案的输出token数量减少了高达44%，并且在不同模型大小和家族间具有良好的迁移能力。

🎯 应用场景

该研究的潜在应用领域包括智能代理、自动化决策系统和机器人学习等。通过提升知识的重用性和模型的适应性，SPLICE框架能够在复杂任务中实现更高效的学习与决策，具有广泛的实际价值和未来影响。

📄 摘要（原文）

LLM agents can evolve by learning from accumulated experience. Existing approaches extract reusable external knowledge, such as skills and memories, from experience to guide subsequent task solving, with some further internalizing this knowledge through model training. However, different ways of analyzing and transforming the same experience can yield knowledge with substantially different utility, even when the resulting guidance appears reasonable. Inspired by consistency regularization, we identify consistent utility gains across different ways of analyzing the same experience, rather than relying on any single way of analyzing it. We introduce SPLICE, a framework for consistency-regularized knowledge-model co-evolution. It constructs evolution views by perturbing how the same experience is analyzed, producing different knowledge candidates. Knowledge updates are then guided by common gain, which accounts for utility gains and their consistency across views. During model evolution, self-distillation internalizes the evolved knowledge alongside reinforcement learning, using knowledge associated with consistent utility degradation as a contrastive reference. The two processes interleave, with model updates driving further knowledge evolution. Experiments across diverse domains show that SPLICE outperforms knowledge evolution and model training baselines by up to 7.1 and 4.6 points in average accuracy, while its evolved knowledge reduces output tokens per correct solution by up to 44% and transfers across model sizes and families.