Training-Free Task Vectors for LLM Behavioral Control

📄 arXiv: 2609.09054v1 📥 PDF

作者: Gabriel J. Perin, Lucas Boscaini, André Araujo, Nina S. T. Hirata

分类: cs.LG, cs.AI

发布日期: 2026-09-08

💡 一句话要点

提出无训练任务向量以解决后训练模型编辑的高成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无训练任务向量 后训练模型编辑 大型语言模型 行为控制 激活引导向量

📋 核心要点

  1. 现有方法依赖微调来发现任务向量，导致成本高且实用性差。
  2. 本文提出无训练任务向量（TFTVs），通过前向传播统计计算任务向量方向，无需微调。
  3. 实验结果表明，TFTVs在行为控制任务中表现出更强的特征控制能力，同时保持了较好的效用保存。

📝 摘要（中文）

任务向量通过识别权重空间中的语义方向来实现后训练模型编辑，通常需要依赖微调模型，这使得发现这些方向的过程成本高昂且限制了后训练模型编辑的实用性。为了解决这一局限性，本文提出了一种新方法——无训练任务向量（TFTVs），该方法无需微调即可计算类似任务向量的方向。我们的方法通过仅使用前向传播统计，将激活引导向量映射到秩为一的权重空间编辑，同时满足支持通过加法学习、通过减法遗忘和多次编辑组合的算术性质。实验证明，TFTVs在大型语言模型行为控制任务中能够有效放大、抑制和组合目标行为，同时保持一般知识和问题解决能力。

🔬 方法详解

问题定义：本文旨在解决后训练模型编辑中对微调的依赖问题。现有方法需要通过微调来发现任务向量，导致成本高且效率低下。

核心思路：提出无训练任务向量（TFTVs），该方法通过前向传播统计计算任务向量方向，避免了微调过程，从而降低了成本并提高了实用性。

技术框架：整体流程包括激活引导向量的计算、权重空间编辑的映射以及算术性质的满足。主要模块包括前向传播统计计算和权重空间编辑映射。

关键创新：TFTVs的核心创新在于无需微调即可计算任务向量方向，显著降低了后训练模型编辑的成本。这一方法与传统依赖微调的方法本质上不同。

关键设计：在设计中，使用了前向传播统计来生成激活引导向量，并通过特定的算术性质来支持学习和遗忘的过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TFTVs在行为控制任务中能够有效放大、抑制和组合目标行为，相较于其他编辑和引导基线，TFTVs在特征控制方面表现出更强的能力，同时保持了较好的效用保存，展示了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的后训练编辑、个性化模型调整以及动态行为控制等。通过降低编辑成本，TFTVs可以促进更广泛的模型应用，提升模型在特定任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Task vectors enable post-training model editing by identifying semantically meaningful directions in weight space, typically computed as the difference between a fine-tuned model and its pretrained initialization. However, this reliance on fine-tuning makes discovering such directions costly and limits the practicality of post-training model editing. To address this limitation, we introduce Training-Free Task Vectors (TFTVs), a novel method to compute task-vector-like directions without requiring fine-tuning. Our method maps activation steering vectors to rank-one weight-space edits using only forward-pass statistics, while satisfying arithmetic properties that directly support learning via addition, forgetting via subtraction, and the composition of multiple edits. Empirically, we evaluate TFTVs on large language model behavioral control tasks and show that they consistently amplify, suppress, and compose target behaviors while preserving general knowledge and problem-solving skills. We also validate our method against other editing and steering baselines, experimentally demonstrating that TFTVs achieve stronger trait control with better or competitive utility preservation. We hope our work opens new directions for the community in post-training model editing and broader training-free model control. Code is available on the project website: tftv-llm.github.io.