Fine-tuning Done Right in Model Editing

📄 arXiv: 2509.22072 📥 PDF

作者: Wanli Yang, Rui Tang, Hongyu Zang, Du Su, Qi Cao, Jingang Wang, Huawei Shen, Xueqi Cheng, Fei Sun

分类: cs.CL

发布日期: 2026-02-28

💡 一句话要点

重塑微调：提出LocFT-BF，显著提升模型编辑性能并扩展至更大规模模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型编辑 微调 大型语言模型 局部调优 广度优先 小批量优化

📋 核心要点

  1. 现有模型编辑方法采用深度优先的微调策略，导致过度优化和编辑间的相互干扰，限制了微调在模型编辑中的有效性。
  2. 论文提出LocFT-BF方法，通过恢复广度优先的微调流程和小批量优化，并结合局部调优策略，有效提升模型编辑性能。
  3. 实验结果表明，LocFT-BF在多个LLM和数据集上大幅超越现有方法，并首次实现了对100K编辑和72B参数模型的有效编辑。

📝 摘要（中文）

微调是调整大型语言模型的基础方法，但长期以来被认为对模型编辑无效。本文对此提出质疑，认为现有方法失败并非微调本身固有限制，而是由于其对编辑任务顺序性的不当适应，即采用单次深度优先流程，在处理下一个样本前将每个样本优化至收敛。这种深度优先流程与逐样本更新相结合，过度优化每个编辑并导致编辑间的干扰。实验表明，将微调恢复到标准的广度优先（即基于epoch）流程并采用小批量优化，可显著提高其模型编辑效果。此外，编辑中的微调还受到先前方法中次优调优参数位置的影响。通过对调优位置的系统分析，本文提出了LocFT-BF，一种基于恢复的微调框架构建的简单有效的局部编辑方法。在各种LLM和数据集上的大量实验表明，LocFT-BF的性能大幅优于现有方法。值得注意的是，据我们所知，它是第一个在不牺牲通用能力的情况下，维持10万次编辑和720亿参数模型的方法，比之前的实践提高了10倍。通过澄清一个长期存在的误解并引入有原则的局部调优策略，本文将微调从一个被低估的基线提升为模型编辑的领先方法，为未来的研究奠定了坚实的基础。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）编辑任务中，传统微调方法效果不佳的问题。现有方法通常采用深度优先的微调策略，即针对每个编辑样本进行充分优化后再处理下一个样本。这种策略容易导致过拟合单个编辑，并引入不同编辑之间的相互干扰，从而限制了微调在模型编辑中的应用。

核心思路：论文的核心思路是重新审视微调方法在模型编辑中的应用方式。作者认为，深度优先的微调策略是导致性能不佳的关键原因。因此，他们提出恢复标准的广度优先（epoch-based）微调流程，并结合小批量优化，以减少过拟合和编辑间的干扰。此外，论文还通过系统分析调优参数的位置，提出了局部调优策略，进一步提升编辑效果。

技术框架：LocFT-BF方法的技术框架主要包含以下几个步骤：1）恢复广度优先的微调流程，即在整个数据集上进行多个epoch的训练；2）采用小批量优化，减少对单个编辑样本的过度拟合；3）进行调优位置分析，确定最佳的参数调优位置；4）基于上述分析，实现局部调优策略，仅更新模型的部分参数。

关键创新：论文的关键创新在于：1）纠正了长期以来对微调在模型编辑中效果不佳的误解，证明通过合理的调整，微调可以成为一种有效的模型编辑方法；2）提出了LocFT-BF方法，通过恢复广度优先的微调流程和小批量优化，并结合局部调优策略，显著提升了模型编辑的性能；3）首次实现了对大规模LLM（72B参数）和大量编辑（100K）的有效编辑。

关键设计：LocFT-BF的关键设计包括：1）广度优先的微调流程：采用标准的epoch-based训练方式，在整个编辑数据集上进行多次迭代；2）小批量优化：使用小批量数据进行参数更新，避免对单个编辑样本的过度拟合；3）局部调优策略：通过分析不同参数位置对编辑效果的影响，选择最佳的参数子集进行调优，减少对模型其他部分的干扰。具体的参数选择和损失函数设置等细节未在摘要中详细说明，属于未知信息。

📊 实验亮点

LocFT-BF方法在多个LLM和数据集上取得了显著的性能提升，大幅优于现有方法。值得注意的是，该方法首次实现了对10万次编辑和720亿参数模型的有效编辑，比之前的实践提高了10倍，同时保持了模型的通用能力。这些实验结果充分证明了LocFT-BF方法的有效性和可扩展性。

🎯 应用场景

该研究成果可广泛应用于需要对大型语言模型进行精确修改的场景，例如修复模型中的错误知识、更新模型的事实信息、调整模型的行为偏好等。其潜在应用领域包括智能客服、知识图谱更新、内容生成等。该方法能够有效提升模型编辑的效率和准确性，降低维护成本，并为未来更精细化的模型控制和定制化提供技术支撑。

📄 摘要（原文）

Fine-tuning, a foundational method for adapting large language models, has long been considered ineffective for model editing. Here, we challenge this belief, arguing that the reported failure arises not from the inherent limitation of fine-tuning itself, but from adapting it to the sequential nature of the editing task, a single-pass depth-first pipeline that optimizes each sample to convergence before moving on. While intuitive, this depth-first pipeline coupled with sample-wise updating over-optimizes each edit and induces interference across edits. Our controlled experiments reveal that simply restoring fine-tuning to the standard breadth-first (i.e., epoch-based) pipeline with mini-batch optimization substantially improves its effectiveness for model editing. Moreover, fine-tuning in editing also suffers from suboptimal tuning parameter locations inherited from prior methods. Through systematic analysis of tuning locations, we derive LocFT-BF, a simple and effective localized editing method built on the restored fine-tuning framework. Extensive experiments across diverse LLMs and datasets demonstrate that LocFT-BF outperforms state-of-the-art methods by large margins. Notably, to our knowledge, it is the first to sustain 100K edits and 72B-parameter models,10 x beyond prior practice, without sacrificing general capabilities. By clarifying a long-standing misconception and introducing a principled localized tuning strategy, we advance fine-tuning from an underestimated baseline to a leading method for model editing, establishing a solid foundation for future research.