CircuitSeer: Mining High-Quality Data by Probing Mathematical Reasoning Circuits in LLMs

📄 arXiv: 2510.18470v2 📥 PDF

作者: Shaobo Wang, Yongliang Miao, Yuancheng Liu, Qianli Ma, Ning Liao, Linfeng Zhang

分类: cs.AI

发布日期: 2025-10-21 (更新: 2025-10-23)

备注: 14 pages, 5 figures

💡 一句话要点

CircuitSeer：通过探查LLM数学推理电路挖掘高质量数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据选择 推理电路 注意力机制 数学推理

📋 核心要点

  1. 现有数据选择方法依赖外部模型或启发式，成本高且效果不佳，难以有效提升LLM推理能力。
  2. CircuitSeer通过分析LLM内部推理电路，量化数据对关键电路的影响，从而选择高质量数据。
  3. 实验表明，使用CircuitSeer选择的少量数据微调模型，即可显著提升推理性能，优于全量数据训练。

📝 摘要（中文）

大型语言模型（LLM）展现了令人印象深刻的推理能力，但扩展其性能通常依赖于计算成本高昂的大规模推理数据集。现有的数据选择方法旨在筛选出更小、更高质量的子集，但通常依赖于代价高昂的外部模型或不透明的启发式方法。本文将重点从外部启发式方法转移到模型的内部机制。研究发现，复杂的推理任务会持续激活注意力头的稀疏、专门的子集，形成核心推理电路。基于此，提出了一种新颖的数据选择方法CircuitSeer，通过测量数据对这些关键电路的影响来量化数据的推理复杂性。在4个模型和9个数据集上的大量实验证明了CircuitSeer的优越性。值得注意的是，在CircuitSeer选择的仅10%的数据上微调Qwen2.5-Math-7B，与在完整数据集上训练相比，平均Pass@1指标提高了1.4个百分点，突显了其效率和有效性。

🔬 方法详解

问题定义：现有的大型语言模型训练依赖于海量的推理数据集，这带来了巨大的计算成本。现有的数据选择方法，例如基于外部模型或启发式规则的方法，往往计算开销大，且选择的数据质量难以保证，无法有效提升模型的推理能力。因此，如何高效地从大规模数据集中选择出高质量的子集，以更低的成本训练出更强的推理模型，是一个亟待解决的问题。

核心思路：该论文的核心思路是，并非所有数据对模型的推理能力提升都有同等贡献。复杂的推理任务会在LLM内部激活特定的、稀疏的注意力头子集，形成核心的“推理电路”。通过分析数据对这些关键电路的影响，可以量化数据的推理复杂性，从而筛选出对模型推理能力提升最有价值的数据。这种方法避免了对外部模型的依赖，直接从模型内部机制出发，更加高效和精准。

技术框架：CircuitSeer方法主要包含以下几个阶段：1) 推理电路识别：通过分析模型在推理任务上的激活模式，识别出关键的注意力头子集，即推理电路。2) 数据影响量化：对于每个数据样本，计算其对推理电路的影响程度。具体来说，可以通过测量数据样本激活推理电路的强度，或者测量数据样本对推理电路参数的影响。3) 数据选择：根据数据的影响程度，选择Top-K个数据样本作为高质量的训练子集。

关键创新：CircuitSeer的关键创新在于，它将数据选择问题与模型内部的推理机制联系起来。与传统的基于外部启发式或模型的方法不同，CircuitSeer直接分析模型内部的“推理电路”，并根据数据对这些电路的影响来选择数据。这种方法更加精准和高效，能够选择出对模型推理能力提升最有价值的数据。

关键设计：论文中可能涉及的关键设计包括：1) 如何定义和识别“推理电路”？可能使用注意力头的激活强度、梯度等指标来衡量。2) 如何量化数据对推理电路的影响？可能使用KL散度、互信息等方法来衡量数据激活推理电路的程度。3) 如何选择Top-K数据？可能使用贪心算法、排序算法等方法来选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Qwen2.5-Math-7B模型上，使用CircuitSeer选择的10%数据进行微调，在平均Pass@1指标上获得了1.4个百分点的提升，超过了使用全量数据训练的效果。这一结果表明，CircuitSeer能够高效地选择出高质量的训练数据，显著提升模型的推理性能。

🎯 应用场景

CircuitSeer可应用于各种需要大规模数据训练的LLM推理任务，例如数学问题求解、代码生成、逻辑推理等。通过该方法，可以在保证模型性能的同时，显著降低训练成本，加速LLM的开发和部署。此外，该方法还可以用于分析LLM的内部推理机制，帮助研究人员更好地理解LLM的工作原理。

📄 摘要（原文）

Large language models (LLMs) have demonstrated impressive reasoning capabilities, but scaling their performance often relies on massive reasoning datasets that are computationally expensive to train on. Existing data selection methods aim to curate smaller, high-quality subsets but often rely on costly external models or opaque heuristics. In this work, we shift the focus from external heuristics to the model's internal mechanisms. We find that complex reasoning tasks consistently activate a sparse, specialized subset of attention heads, forming core reasoning circuits. Building on this insight, we propose CircuitSeer, a novel data selection method that quantifies the reasoning complexity of data by measuring its influence on these crucial circuits. Extensive experiments on 4 models and 9 datasets demonstrate CircuitSeer's superiority. Notably, fine-tuning Qwen2.5-Math-7B on just 10% of data selected by our method achieves a 1.4-point gain in average Pass@1 over training on the full dataset, highlighting its efficiency and effectiveness.