HERD: Harness-Evolving Recursive Distillation for Continual Learning

📄 arXiv: 2610.31401v1 📥 PDF

作者: Xun Sun, Thanh Thi Nguyen, Thuy-Trang Vu

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-22

备注: 22 pages, 9 figures

💡 一句话要点

提出HERD框架以解决持续学习中的遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 蒸馏训练 知识保留 技能提炼 模型优化

📋 核心要点

  1. 现有的持续学习方法面临灾难性遗忘和可塑性损失，难以在学习新任务时保留旧知识。
  2. HERD框架结合了参数化和非参数化方法的优点，通过蒸馏技术内化经验，提升模型的学习能力。
  3. 在TRACE+17的实验中，HERD在新任务获取上与最强基线相当，同时展现出最低的遗忘率和最佳的能力保留。

📝 摘要（中文）

持续学习要求模型在不断获取新技能和知识的同时，不损害其现有能力。参数化方法面临灾难性遗忘和可塑性损失的问题，而非参数化方法如提示、技能和工具则受限于上下文长度和信息压缩损失。为有效结合两者的优势，本文提出了HERD（Harness-Evolving Recursive Distillation）框架，通过蒸馏将经验内化为累积能力。在工具方面，HERD不断提炼技能以捕捉可重用模式，同时保留高残差示例。在参数方面，HERD通过双锚点进行漂移约束蒸馏，显著减少长期递归运行中的遗忘。在TRACE+17的25阶段任务流中，HERD在固定内存和计算预算下，匹配了最强的参数化基线，在新任务获取中表现出最少的遗忘和最强的通用能力保留。

🔬 方法详解

问题定义：持续学习中，模型在学习新任务时常常会遗忘之前学到的知识，现有的参数化方法和非参数化方法各有局限，导致无法有效应对这一挑战。

核心思路：HERD框架通过结合工具的持续技能提炼与参数的漂移约束蒸馏，旨在高效捕捉可重用模式并内化经验，从而减少遗忘。

技术框架：HERD的整体架构包括两个主要模块：工具模块用于技能提炼和高残差示例保留，参数模块则进行漂移约束蒸馏，确保在新任务学习中保持旧知识。

关键创新：HERD的核心创新在于其双锚点漂移约束蒸馏方法，显著降低了模型在长时间递归学习中的遗忘现象，与传统方法相比，提供了更高的学习效率和知识保留能力。

关键设计：在参数设置上，HERD采用了固定的内存和计算预算，并通过特定的损失函数设计来优化技能提炼和蒸馏过程，确保模型在学习新任务时能够有效保留旧知识。

🖼️ 关键图片

fig_0

📊 实验亮点

在TRACE+17的25阶段任务流中，HERD在固定内存和计算预算下，成功匹配了最强的参数化基线，在新任务获取中表现出最低的遗忘率和最佳的能力保留，展现了其优越的学习性能。

🎯 应用场景

HERD框架在持续学习领域具有广泛的应用潜力，尤其适用于需要不断适应新环境和任务的智能系统，如机器人、自动驾驶和个性化推荐系统。其有效的知识保留能力将推动这些领域的技术进步和应用落地。

📄 摘要（原文）

Continual learning requires a model to keep acquiring new skills and knowledge without compromising its existing capabilities. Parametric methods suffer from catastrophic forgetting and loss of plasticity. Non-parametric methods, such as prompts, skills, and harnesses, leverage in-context learning but are limited by context length and lossy plain-text compression. To effectively combine their complementary strengths, we propose HERD (Harness-Evolving Recursive Distillation), a hybrid continual learning framework that learns efficiently in the harness and internalizes experience into cumulative capabilities via distillation. On the harness side, HERD continually refines its skills to capture reusable patterns, while retaining high-residual examples that the skills fail to capture in a bounded memory. On the parameter side, HERD performs drift-constrained distillation with dual anchors, substantially reducing forgetting over long recursive runs. On the 25-stage task stream of TRACE+17, under fixed memory and compute budgets, HERD matches the strongest parametric baseline in new-task acquisition while exhibiting the least forgetting and the strongest retention of general capabilities.