A Novel Adaptive Fine-Tuning Algorithm for Multimodal Models: Self-Optimizing Classification and Selection of High-Quality Datasets in Remote Sensing

📄 arXiv: 2409.13345v1 📥 PDF

作者: Yi Ren, Tianyi Zhang, Zhixiong Han, Weibin Li, Zhiyang Wang, Wenbo Ji, Chenhao Qin, Chenbin Liang, Licheng Jiao

分类: cs.CV, cs.AI

发布日期: 2024-09-20

💡 一句话要点

提出自适应微调算法，用于遥感多模态模型的高质量数据集选择与优化。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 遥感图像 自适应微调 数据选择 模型优化 泛化能力 MiniBatchKMeans

📋 核心要点

  1. 现有遥感多模态模型训练依赖大量数据，计算成本高昂，且数据质量参差不齐，影响模型性能。
  2. 提出一种自适应微调算法，通过语义聚类和泛化能力评估，自动选择高质量数据集进行训练。
  3. 实验表明，使用该算法选择的三分之一数据集训练的模型，性能接近全量数据，训练时间显著减少。

📝 摘要（中文）

本文提出了一种用于多模态大模型的自适应微调算法。该算法的核心步骤包括两个阶段的截断。首先，将大量数据投影到语义向量空间，并使用MiniBatchKMeans算法进行自动聚类。这种分类确保了每个簇内的数据具有高度的语义相似性。接下来，处理每个簇中的数据，计算多模态大模型向量空间中原始数据和扰动数据之间的平移差异。该差异作为数据的泛化度量。基于此度量，选择具有高泛化潜力的训练数据。该算法被应用于在两张3090 GPU上，使用三分之一的GeoChat多模态遥感数据集训练InternLM-XComposer2-VL-7B模型。结果表明，该算法优于当前最优的基线方法。实验验证表明，使用优化选择的三分之一数据集训练的模型，与使用完整数据集训练的模型相比，在各种遥感指标上的性能仅下降1%。该方法在显著保留通用能力的同时，将训练时间减少了68.2%。此外，该模型在UCMerced和AID评估数据集上分别获得了89.86和77.19的分数，超过GeoChat数据集5.43和5.16分。在LRBEN评估数据集上仅下降了0.91分。

🔬 方法详解

问题定义：遥感领域的多模态大模型训练面临数据量大、计算资源需求高的问题。同时，遥感数据的质量参差不齐，直接使用全量数据进行训练会引入噪声，影响模型的泛化能力和性能。因此，如何在保证模型性能的前提下，减少训练数据量，并选择高质量的数据进行训练，是本文要解决的核心问题。

核心思路：本文的核心思路是通过数据选择来提高训练效率和模型性能。具体而言，首先对数据进行语义聚类，保证簇内数据的相似性；然后，通过计算原始数据和扰动数据在模型向量空间的平移差异，评估数据的泛化能力，选择具有高泛化潜力的样本进行训练。这样既能减少训练数据量，又能保证训练数据的质量，从而提高模型的训练效率和性能。

技术框架：该算法主要包含两个阶段：数据分类和数据选择。 1. 数据分类：将遥感数据投影到语义向量空间，使用MiniBatchKMeans算法进行自动聚类，确保每个簇内的数据具有高度的语义相似性。 2. 数据选择：计算每个簇中原始数据和扰动数据在多模态大模型向量空间的平移差异，作为数据的泛化度量。基于此度量，选择具有高泛化潜力的训练数据。

关键创新：该算法的关键创新在于提出了一种基于模型向量空间平移差异的泛化能力评估方法。传统的数据选择方法通常依赖于人工标注或预定义的规则，而本文提出的方法能够自动地从数据中学习泛化能力，并选择具有高泛化潜力的样本。这种方法能够更好地适应不同数据集和模型的特点，提高数据选择的准确性和效率。

关键设计： 1. 语义向量空间：使用预训练的多模态大模型提取遥感数据的语义特征，构建语义向量空间。 2. MiniBatchKMeans算法：使用MiniBatchKMeans算法对语义向量进行聚类，设置合适的簇数量。 3. 扰动数据生成：对原始数据进行轻微扰动，例如添加噪声或进行图像增强。 4. 平移差异计算：计算原始数据和扰动数据在模型向量空间的平移差异，作为泛化能力度量。 5. 数据选择策略：根据泛化能力度量，选择Top-K的样本进行训练。

📊 实验亮点

实验结果表明，使用该算法选择的三分之一数据集训练的InternLM-XComposer2-VL-7B模型，在各种遥感指标上的性能仅下降1%，训练时间减少了68.2%。在UCMerced和AID数据集上，模型性能分别提升了5.43和5.16分，在LRBEN数据集上仅下降了0.91分。这些结果表明，该算法能够在显著减少训练数据量和计算成本的同时，保持甚至提升模型的性能。

🎯 应用场景

该研究成果可应用于遥感图像智能解译、地物分类、变化检测等领域。通过减少训练数据量和提高数据质量，可以降低遥感模型训练的计算成本，加速模型部署，并提升模型在实际应用中的性能和泛化能力。该方法还可推广到其他多模态数据的训练和优化，具有广泛的应用前景。

📄 摘要（原文）

We propose an adaptive fine-tuning algorithm for multimodal large models. The core steps of this algorithm involve two stages of truncation. First, the vast amount of data is projected into a semantic vector space, and the MiniBatchKMeans algorithm is used for automated clustering. This classification ensures that the data within each cluster exhibit high semantic similarity. Next, we process the data in each cluster, calculating the translational difference between the original and perturbed data in the multimodal large model's vector space. This difference serves as a generalization metric for the data. Based on this metric, we select the data with high generalization potential for training. We applied this algorithm to train the InternLM-XComposer2-VL-7B model on two 3090 GPUs using one-third of the GeoChat multimodal remote sensing dataset. The results demonstrate that our algorithm outperforms the state-of-the-art baselines. various baselines. The model trained on our optimally chosen one-third dataset, based on experimental validation, exhibited only 1% reduction in performance across various remote sensing metrics compared to the model trained on the full dataset. This approach significantly preserved general-purpose capabilities while reducing training time by 68.2%. Furthermore, the model achieved scores of 89.86 and 77.19 on the UCMerced and AID evaluation datasets, respectively, surpassing the GeoChat dataset by 5.43 and 5.16 points. It only showed a 0.91-point average decrease on the LRBEN evaluation dataset.