No Task Vector Is an Island: A Comprehensive Study on the Composability of Task Vectors from On-Policy Distillation

📄 arXiv: 2609.39405v1 📥 PDF

作者: Jingang Zhou, Feiyu Han, Han Zhu, Yuyi Zhou, Ruiyang Zhang, Jian Xu, Sirui Gao, Qingpei Guo, Xu-Yao Zhang

分类: cs.LG

发布日期: 2026-09-30

💡 一句话要点

提出任务向量组合方法以提升强化学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 任务向量 在线策略蒸馏 强化学习 模型合并 多任务学习 参数更新 组合性 非共线性

📋 核心要点

  1. 现有方法在任务向量组合性方面的研究较少，尤其是基于在线策略蒸馏的任务向量如何与强化学习更新互补尚不明确。
  2. 论文提出通过在线策略蒸馏生成的任务向量与强化学习更新相结合，探索其在多个任务中的组合效果。
  3. 实验结果显示，OPD任务向量组合在七个对比中超越了对应的RL组合，且在参数空间分析中显示出显著的非共线性特征。

📝 摘要（中文）

任务向量为通过模型合并来组合学习能力提供了一种简单机制。然而，基于在线策略蒸馏（OPD）生成的任务向量的组合性仍然未得到充分探索。OPD通过教师反馈训练学生，产生的参数更新与教师模型通常通过强化学习（RL）产生的更新不同。本文研究了OPD任务向量是否能够有效补充RL教师更新并在任务间进行组合。实验结果表明，在五个领域和两种模型架构中，OPD和RL任务向量的组合在多个任务中表现优于单独模型，验证了任务向量组合性作为理解和评估后训练更新的独特属性。

🔬 方法详解

问题定义：本文旨在解决基于在线策略蒸馏（OPD）生成的任务向量的组合性问题，现有方法未能充分探讨其与强化学习（RL）更新的互补性和有效性。

核心思路：通过将OPD任务向量与RL教师更新相结合，研究其在不同任务中的组合效果，验证组合性作为理解后训练更新的重要属性。

技术框架：整体架构包括OPD训练阶段、任务向量生成、以及任务向量组合与评估。主要模块包括教师模型、学生模型及其反馈机制。

关键创新：论文的主要创新在于揭示了OPD任务向量与RL更新之间的非共线性，表明即使OPD学生性能较弱，其任务向量组合性仍然优于单独模型。

关键设计：在实验中，采用了不同的参数设置和损失函数，具体细节包括在CODE领域的SMOLLM3-3B模型中进行的方向组合实验，验证了组合方向在全局更新范数下的优越性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，OPD任务向量组合在八个基础合并规则比较中，有七个表现超越了对应的RL组合，且在参数空间分析中，OPD更新的前10%前馈通道能量排名重叠度较低，支持了方向互补性。

🎯 应用场景

该研究的潜在应用领域包括强化学习、机器人控制和多任务学习等。通过有效组合任务向量，能够提升模型在复杂任务中的表现，具有重要的实际价值和未来影响，尤其是在需要快速适应新任务的场景中。

📄 摘要（原文）

Task vectors provide a simple mechanism for composing learned capabilities through model merging. However, the composability of task vectors produced by on-policy distillation (OPD) remains largely unexplored. OPD trains a student using teacher feedback on student-generated trajectories, yielding parameter updates that differ from those produced by the teacher model, usually by reinforcement learning (RL). We therefore ask whether OPD task vectors can complement their RL teacher updates and compose effectively across tasks. Across five domains and two model architectures, we find evidence for both forms of composability. Within a task, merging OPD and RL task vectors can outperform both constituent models, even when the OPD student is weaker than its RL teacher. Across tasks, OPD task-vector compositions achieve higher average scores than corresponding RL compositions in seven of eight backbone-merging-rule comparisons. Parameter-space analyses reveal substantial non-collinearity between OPD and RL updates. Experiment in CODE domain on SMOLLM3-3B shows that the combined direction outperforms either constituent direction at the tested global update norm, supporting directional complementarity in this configuration. Across tasks, OPD updates also show lower overlap among the top-10% feed-forward channels ranked by update energy. Together, these results show that weaker standalone performance does not imply weaker task-vector composability. OPD task vectors can complement stronger RL teacher updates and combine effectively across tasks, highlighting composability as a distinct property for understanding and evaluating post-training updates.