Ranking and Partitioning of Attention Heads for Sparse and Continual Reinforcement Learning Fine-tuning

📄 arXiv: 2610.21336v1 📥 PDF

作者: Ruizhe Shi, Zaiwen Yang, Qiubo Wang, Banghua Zhu, Maryam Fazel

分类: cs.LG, cs.CL

发布日期: 2026-10-15

备注: 26 pages, comments are welcome

💡 一句话要点

通过注意力头排名与分区提升稀疏与持续强化学习微调效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 语言模型 注意力机制 稀疏学习 持续学习 任务适应性 模型微调

📋 核心要点

  1. 现有的强化学习微调方法在处理稀疏学习和持续学习时面临任务间干扰和训练效率低下的问题。
  2. 论文提出通过梯度范数对注意力头进行排名，选择有效的子集进行训练，并在任务间对头进行分区以减少干扰。
  3. 实验结果显示，调优高排名的头在多个任务上表现优于低排名的头，并且头分区提高了模型对新任务的适应性和保留能力。

📝 摘要（中文）

本研究探讨了通过注意力头的排名与分区来实现语言模型的稀疏与持续强化学习微调。针对稀疏学习，我们通过梯度范数对注意力头进行排名，以识别出可以有效训练的小子集。对于持续学习，我们在任务间对头进行分区，以减少跨任务干扰并保留先前学习的能力。理论上，我们将梯度范数与训练效果相关联，并进一步阐明稀疏、分离的头更新为何能够保持稳定。实证结果表明，在数学、指令跟随和编码任务中，调优排名较高的头始终优于调优排名较低的头，同时常常与更密集的基线相匹配，而头的分区则提高了保留能力，同时保持了对新任务的适应性。

🔬 方法详解

问题定义：本论文旨在解决在稀疏与持续强化学习微调中，现有方法在任务间干扰和训练效率低下的痛点。

核心思路：通过对注意力头进行梯度范数排名，选择出一小部分有效的头进行训练，同时在不同任务间对头进行分区，以减少干扰并保留已有能力。

技术框架：整体流程包括两个主要模块：首先是对注意力头进行梯度范数的计算与排名，其次是根据任务需求对头进行分区，确保每个任务使用不同的头子集。

关键创新：最重要的创新在于将注意力头的稀疏更新与持续学习结合，通过分区策略有效减少了任务间的干扰，这与传统方法的全头更新策略有本质区别。

关键设计：在参数设置上，选择梯度范数作为排名依据，并设计了适应性损失函数以优化头的选择和更新策略。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，调优高排名的注意力头在数学、指令跟随和编码任务上表现出色，性能优于低排名头，且在许多情况下与更密集的基线模型相当。此外，头的分区策略显著提高了模型对新任务的适应性和保留能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人控制和智能助手等。通过提升模型在稀疏与持续学习场景下的表现，能够更好地适应动态变化的任务需求，具有重要的实际价值和未来影响。

📄 摘要（原文）

We study sparse and continual reinforcement learning fine-tuning of language models through attention-head ranking and partitioning. For sparse learning, we rank attention heads by gradient norm to identify a small subset of heads that can be trained effectively. For continual learning, we partition heads across tasks to reduce cross-task interference and preserve previously learned capabilities. Theoretically, we relate gradient norm to training effectiveness, and further characterize why sparse, separated head updates can remain stable. Empirically, across math, instruction-following, and coding tasks, tuning higher-ranked heads consistently outperforms tuning lower-ranked ones while often matching denser baselines, and head partitioning improves retention while preserving adaptation to new tasks.