Uncovering Intrinsic Capabilities: A Paradigm for Data Curation in Vision-Language Models

📄 arXiv: 2510.00040v1 📥 PDF

作者: Junjie Li, Ziao Wang, Jianghong Ma, Xiaofeng Zhang

分类: cs.CV, cs.AI

发布日期: 2025-09-27

💡 一句话要点

提出能力归因数据精选框架CADC，提升视觉-语言模型指令调优效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 指令调优 数据精选 内在能力 课程学习

📋 核心要点

  1. 现有指令调优方法依赖启发式策略，忽略了视觉-语言模型内在能力，导致数据缩减时性能下降。
  2. CADC框架通过分析梯度学习轨迹，无监督地发现模型内在能力，并据此进行数据精选和课程设计。
  3. 实验表明，CADC仅使用5%的数据即可超越全数据训练，验证了内在能力在模型学习中的重要性。

📝 摘要（中文）

大型视觉-语言模型(VLMs)在基准测试中表现出色，但通过指令调优控制其行为仍然困难。减少指令调优数据集的预算通常会导致性能下降，因为启发式策略将模型视为黑盒，忽略了控制学习的潜在能力。我们引入了能力归因数据精选(CADC)框架，该框架将精选从特定于任务的启发式方法转变为内在能力分析。CADC以无监督的方式从基于梯度的学习轨迹中发现内在能力，通过影响估计将训练数据归因于这些能力，并通过平衡选择和分阶段排序来精选能力感知课程。这会将黑盒指令调优转换为可控的、能力驱动的过程。仅使用原始数据的5%，CADC在多模态基准测试中就超过了全数据训练。这些结果验证了内在能力作为模型学习的基本构建块，并将CADC确立为指令数据精选的原则范例。

🔬 方法详解

问题定义：现有视觉-语言模型指令调优方法通常将模型视为黑盒，采用启发式策略进行数据选择，忽略了模型内在的学习能力。当训练数据量减少时，这些方法容易导致性能回退，无法充分利用有限的数据资源。因此，如何有效地利用少量数据进行指令调优，挖掘并利用模型的内在能力，是一个亟待解决的问题。

核心思路：CADC的核心思路是将数据精选从任务特定的启发式方法转变为内在能力分析。通过分析模型在训练过程中的梯度变化，无监督地发现模型内在的学习能力，并将训练数据与这些能力关联起来。然后，根据这些能力，有针对性地选择和排序训练数据，构建能力感知的课程，从而实现高效的指令调优。

技术框架：CADC框架包含三个主要阶段：1) 能力发现：通过分析模型在训练过程中的梯度信息，利用无监督学习方法（具体方法未知）发现模型内在的学习能力。2) 数据归因：利用影响函数估计（Influence Function Estimation）将训练数据与发现的能力关联起来，确定每个数据样本对不同能力的贡献程度。3) 课程精选：根据数据与能力的关联关系，采用平衡选择和分阶段排序策略，构建能力感知的训练课程。平衡选择保证每个能力都有足够的代表性数据，分阶段排序则根据能力的难易程度逐步引入数据。

关键创新：CADC的关键创新在于将数据精选与模型的内在能力联系起来，不再依赖于任务特定的启发式方法。通过分析梯度信息，无监督地发现模型内在的学习能力，并据此进行数据选择和课程设计，从而实现了更高效的指令调优。这种方法能够更好地利用有限的数据资源，避免了因数据缩减而导致的性能下降。

关键设计：论文中提到使用梯度信息进行能力发现，并使用影响函数估计进行数据归因，但具体的能力发现方法和影响函数估计的实现细节未知。课程精选阶段采用了平衡选择和分阶段排序策略，但具体的选择和排序算法细节未知。这些细节的实现可能会影响CADC的性能。

📊 实验亮点

CADC框架仅使用原始数据的5%，在多模态基准测试中就超越了全数据训练的性能。这表明CADC能够更有效地利用数据资源，挖掘模型的内在能力，从而实现更高效的指令调优。具体的性能提升数据和对比基线未知。

🎯 应用场景

CADC框架可应用于各种视觉-语言模型的指令调优，尤其是在数据资源有限的情况下。该方法能够有效提升模型的泛化能力和指令遵循能力，降低训练成本。未来，CADC可以扩展到其他模态的模型，例如语音-语言模型，并应用于机器人控制、智能助手等领域。

📄 摘要（原文）

Large vision-language models (VLMs) achieve strong benchmark performance, but controlling their behavior through instruction tuning remains difficult. Reducing the budget of instruction tuning dataset often causes regressions, as heuristic strategies treat models as black boxes and overlook the latent capabilities that govern learning. We introduce Capability-Attributed Data Curation (CADC), a framework that shifts curation from task-specific heuristics to intrinsic capability analysis. CADC discovers intrinsic capabilities in an unsupervised manner from gradient-based learning trajectories, attributes training data to these capabilities via influence estimation, and curates capability-aware curricula through balanced selection and staged sequencing. This transforms black-box instruction tuning into a controllable, capability-driven process. With as little as 5% of the original data, CADC surpasses full-data training on multimodal benchmarks. These results validate intrinsic capabilities as the fundamental building blocks of model learning and establish CADC as a principle paradigm for instruction data curation.