MAP4CS: A Multi-dimensional Data Pruning Framework for Efficient Code Retriever Fine-tuning

📄 arXiv: 2610.11727v1 📥 PDF

作者: Yuxuan Chen, Mingwei Liu, Guangsheng Ou, Zekai Zhang, Zike Li, Yanlin Wang, Pelin Zheng

分类: cs.SE, cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出MAP4CS以解决代码检索器微调中的数据冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码检索 数据修剪 多维特征 自适应优化 软件工程 自然语言处理

📋 核心要点

  1. 现有方法在处理大量代码库时面临噪声和冗余问题，导致微调效果不佳。
  2. MAP4CS通过多维数据修剪，结合语法、语义和分布特征，识别高质量数据子集。
  3. 实验结果显示，MAP4CS在仅用5%训练数据的情况下，性能可与全数据集微调相媲美，甚至更优。

📝 摘要（中文）

Retrieval-Augmented Generation (RAG)已成为软件工程中增强大型语言模型（LLMs）领域知识的基石。然而，由于大量代码语料库中固有的噪声和冗余，适应检索器以应对不断变化的代码库仍然具有挑战性。标准的全语料微调计算成本高，且常因低质量样本的负迁移导致性能不佳。为了解决这些挑战，本文提出了MAP4CS（多维意识修剪框架），通过整合语法结构、语义多样性和分布表示，识别出高质量核心子集，并通过严格的基于规则的过滤管道进行处理。实验表明，MAP4CS在仅使用5%训练数据的情况下，始终优于随机抽样基线，验证了数据中心AI中的“少即是多”假设。

🔬 方法详解

问题定义：本文旨在解决在不断变化的代码库中，如何有效适应检索器的问题。现有方法在全语料微调时，计算成本高且容易受到低质量样本的负面影响。

核心思路：MAP4CS的核心思路是通过多维度的意识修剪，识别出一个小而高质量的核心数据子集，以减少冗余和噪声，从而提高微调效果。

技术框架：MAP4CS的整体架构包括数据选择、特征提取和规则过滤三个主要模块。首先，通过分析语法结构和语义多样性来筛选数据，然后应用基于规则的过滤管道进一步精炼数据集。

关键创新：MAP4CS的主要创新在于其自适应优化机制，能够自动去重和去噪，构建出一个既具有词汇多样性又信息密集的训练语料库。这与传统方法的静态数据选择形成鲜明对比。

关键设计：在技术细节上，MAP4CS采用了多维特征表示，结合了语法和语义分析，确保所选数据的高质量和代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MAP4CS在仅使用5%的训练数据时，性能超过随机抽样基线，并与全数据集微调的效果相当，甚至更优。这验证了“少即是多”的假设，展示了该方法在数据选择上的有效性。

🎯 应用场景

MAP4CS框架在软件工程、代码检索和自然语言处理等领域具有广泛的应用潜力。通过提高代码检索器的微调效率，该方法能够帮助开发者更快地获取领域特定知识，提升软件开发的智能化水平，未来可能对代码生成和自动化测试等领域产生深远影响。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) has become a cornerstone in software engineering for enhancing Large Language Models (LLMs) with domain-specific knowledge. However, adapting retrievers to evolving code repositories remains challenging due to the noise and redundancy inherent in massive code corpora. Standard fine-tuning on the full corpus is computationally expensive and often leads to sub-optimal performance due to negative transfer from low-quality samples. Conversely, simple random sampling fails to guarantee data representativeness. To address these challenges, we propose MAP4CS (Multi-dimensional Awareness Pruning for Code Search), an adaptive data pruning framework. MAP4CS identifies a small, high-quality core subset by integrating syntactic structure, semantic diversity, and distributional representation, followed by a rigorous rule-based filtering pipeline. Extensive experiments on two large-scale datasets demonstrate that MAP4CS consistently outperforms random sampling baselines using only 5% of the training data. Remarkably, it achieves performance comparable to, or even superior to, fine-tuning on the full dataset, validating the ''less is more'' hypothesis in data-centric AI. Furthermore, linguistic analysis reveals an adaptive optimization mechanism: MAP4CS automatically functions as a de-duplicator for redundant corpora and a denoiser for chaotic ones, constructing a training corpus that is both lexically diverse and information-dense.