Form Over Content In Gradient-Based Data Attribution Methods

📄 arXiv: 2609.19589v1 📥 PDF

作者: Sunwoo Kim, Seokwon Jung, Sohyung Kim, Seong Joon Oh, Alice Oh

分类: cs.CL, cs.AI

发布日期: 2026-09-17

💡 一句话要点

提出基于梯度相似性的格式优先于内容的数据归因方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据归因 梯度相似性 语言模型 任务语义 答案格式 模型选择 鲁棒性

📋 核心要点

  1. 现有的基于梯度相似性的数据归因方法在测量内容时存在争议，难以明确其真正的有效性。
  2. 本文通过独立变化任务和答案格式，提出了一种新的实验设计，以验证梯度对齐的影响因素。
  3. 实验结果表明，梯度对齐更依赖于答案格式，且在不同模型规模和家族中保持一致性，强调了方法的可靠性。

📝 摘要（中文）

基于梯度相似性的数据归因方法广泛应用于分析和选择大型语言模型的训练数据，但其实际测量内容存在争议。部分研究认为其识别任务相关技能，而另一些则指出表面形式是主要因素。本文通过独立变化任务和答案格式，解决了这一争议。研究发现，梯度对齐更依赖于答案格式，而非任务语义，建议在数据选择时考虑格式与任务的独立性，以提高方法的鲁棒性和可靠性。

🔬 方法详解

问题定义：本文旨在解决基于梯度相似性的数据归因方法在测量内容时的争议，现有方法未能有效区分任务语义与答案格式的影响。

核心思路：通过独立变化任务和答案格式，验证梯度对齐是否受答案格式的影响，进而揭示现有方法的局限性。

技术框架：研究设计了不同答案格式的基准测试，确保数据集可以在不共享格式或任务的情况下进行比较，分析梯度对齐的情况。

关键创新：提出了在数据选择中考虑格式与任务独立性的观点，强调梯度归因方法更关注格式相似性而非任务语义，具有重要的理论与实践意义。

关键设计：在实验中，使用了不同的答案格式对比，分析了LESS方法的选择结果，发现目标选择过度代表了目标自身的答案格式，揭示了格式对梯度归因的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基准对之间共享答案格式时，梯度对齐强度达到0.4，而在不同答案格式下则几乎无对齐（接近0.0）。这一发现从预训练初期到后期训练均保持一致，表明格式对梯度归因的影响显著。

🎯 应用场景

该研究为大型语言模型的训练数据选择提供了新的视角，尤其在指令调优等领域具有重要应用价值。通过强调格式与任务的独立性，未来的研究可以更有效地设计数据选择策略，提高模型的泛化能力和鲁棒性。

📄 摘要（原文）

Data attribution methods using gradient similarity are widely used to analyze and select training data for large language models, but what gradient similarity actually measures is debated. Some interpret it as identifying task-relevant skills, while other work reports that surface form is the main factor. We resolve this debate for supervised fine-tuning examples by varying task and answer format independently. Specifically, we render benchmarks in different answer formats, such that datasets can share a task without a format or a format without a task. We find that gradient alignment follows the answer format, as benchmark pairs sharing an answer format align strongly (disattenuated cosine near 0.4), while same benchmarks rendered with different answer format classes show no alignment (near 0.0). We demonstrate that this ordering holds from the earliest pretraining checkpoints through post-training, and across model scales and families. We then analyze the released selections of LESS, a gradient-based data selection method for instruction tuning, and find that each target's selections over-represent the target's own answer format. Hence, we demonstrate that gradient-based attribution methods track format similarity more than task semantics, meaning that such methods, as well as the semantic interpretation of the gradient, should be tested on data where answer format and task vary independently for greater robustness and reliability.