From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models

📄 arXiv: 2604.25167v1 📥 PDF

作者: Ling Shi, Xinwei Wu, Xiaohu Zhao, Hao Wang, Heng Liu, Yangyang Liu, Linlong Xu, Longyue Wang, Deyi Xiong, Weihua Luo

分类: cs.AI

发布日期: 2026-04-28

💡 一句话要点

提出IGDS框架，利用可解释性指导大语言模型的数据选择，提升模型性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 可解释性 数据选择 微调 特征工程

📋 核心要点

  1. 现有方法难以将大语言模型内部的可解释性特征转化为实际的模型优化行动，存在显著差距。
  2. IGDS框架通过频率召回和干预过滤识别因果任务特征，并选择能最大化激活这些特征的数据进行微调。
  3. 实验表明，IGDS在数学推理任务上，使用更少数据超越了全数据集微调，并优于现有数据选择基线。

📝 摘要（中文）

本文提出了一种名为Interpretability-Guided Data Selection (IGDS) 的新框架，旨在弥合大语言模型(LLM)中机制可解释性工具（如稀疏自编码器SAE）所揭示的内部特征与模型优化之间的差距。IGDS的核心假设是：由模型内部任务特征引导的数据选择是一种有效的训练策略。该框架首先通过频率召回和干预过滤识别因果任务特征，然后选择“特征共振数据”，以最大限度地激活这些任务特征进行微调。在Gemma-2、LLaMA-3.1和Qwen3模型上，对数学推理、摘要和翻译任务进行了验证。实验表明，IGDS具有卓越的数据效率：在数学任务上，使用50%的数据时，IGDS在Gemma-2-2B上的性能超过了全数据集微调17.4%，并且优于专注于数据质量和多样性的基线方法。分析证实了特征放大与任务性能提升之间存在很强的正相关关系。IGDS提供了一个直接有效的框架，通过利用LLM的内部机制来增强其性能，验证了核心假设。

🔬 方法详解

问题定义：现有的大语言模型优化方法，通常依赖于大规模数据集的训练或微调。然而，并非所有数据都对特定任务有益，且全量数据训练成本高昂。如何高效地选择对特定任务有益的数据，并利用这些数据提升模型性能，是本文要解决的核心问题。现有方法通常侧重于数据质量或多样性，而忽略了模型内部特征与数据之间的关联性。

核心思路：本文的核心思路是，利用模型内部的可解释性特征来指导数据选择。具体来说，通过识别模型中与特定任务相关的神经元或特征，并选择能够最大程度激活这些特征的数据进行训练，从而提高模型在该任务上的性能。这种方法的核心在于，它将数据选择与模型的内部机制联系起来，使得数据选择更具针对性和有效性。

技术框架：IGDS框架包含以下几个主要阶段：1) 特征识别：利用频率召回和干预过滤等方法，识别模型中与特定任务相关的因果任务特征。2) 数据选择：基于识别出的任务特征，选择能够最大程度激活这些特征的数据，即“特征共振数据”。3) 模型微调：使用选择出的数据对模型进行微调，提升模型在特定任务上的性能。

关键创新：IGDS框架的关键创新在于，它将可解释性分析与数据选择相结合，提出了一种新的数据选择范式。与传统的数据选择方法相比，IGDS能够更有效地选择对特定任务有益的数据，从而提高模型的训练效率和性能。

关键设计：在特征识别阶段，采用了频率召回和干预过滤两种方法，以确保识别出的特征与任务相关且具有因果性。在数据选择阶段，设计了一种“特征共振”的度量方式，用于衡量数据对任务特征的激活程度。在模型微调阶段，使用了标准的微调技术，并针对不同任务和模型进行了参数调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IGDS在数学推理任务上表现出色，使用50%的数据在Gemma-2-2B模型上超越了全数据集微调17.4%，并优于现有数据质量和多样性基线。实验结果表明，特征放大与任务性能提升之间存在显著的正相关关系，验证了IGDS框架的有效性。

🎯 应用场景

IGDS框架具有广泛的应用前景，可用于各种大语言模型的优化，尤其是在资源受限的情况下。例如，可以利用IGDS框架选择少量高质量数据，对模型进行快速微调，以适应特定领域的任务。此外，IGDS框架还可以用于模型诊断，通过分析模型内部的特征激活情况，发现模型存在的潜在问题。

📄 摘要（原文）

While mechanistic interpretability tools like Sparse Autoencoders (SAEs) can uncover meaningful features within Large Language Models (LLMs), a critical gap remains in transforming these insights into practical actions for model optimization. We bridge this gap with the hypothesis that data selection guided by a model's internal task features is a effective training strategy. Inspired by this, we propose Interpretability-Guided Data Selection (IGDS), a framework that first identifies these causal task features through frequency recall and interventional filtering, then selects ``Feature-Resonant Data'' that maximally activates task features for fine-tuning. We validate IGDS on mathematical reasoning, summarization, and translation tasks within Gemma-2, LLaMA-3.1, and Qwen3 models. Our experiments demonstrate exceptional data efficiency: on the Math task, IGDS surpasses full-dataset fine-tuning by a remarkable 17.4% on Gemma-2-2B while using only 50% of the data, and outperforms established baselines focused on data quality and diversity. Analysis confirms a strong positive correlation between feature amplification and task performance improvement. IGDS thus provides a direct and effective framework to enhance LLMs by leveraging their internal mechanisms, validating our core hypothesis.