Corrupted but Not Broken: Understanding and Mitigating the Negative Impacts of Corrupted Data in Visual Instruction Tuning
作者: Yunhao Gou, Hansi Yang, Zhili Liu, Kai Chen, Yihan Zeng, Lanqing Hong, Zhenguo Li, Qun Liu, Bo Han, James T. Kwok, Yu Zhang
分类: cs.CV
发布日期: 2025-02-18 (更新: 2025-05-27)
💡 一句话要点
提出一种针对视觉指令微调中数据损坏的鲁棒训练方法，提升多模态大语言模型性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉指令微调 数据损坏 鲁棒训练 数据清洗 参数选择 模型优化
📋 核心要点
- 现有视觉指令微调方法易受数据损坏的影响，如幻觉、错误响应等，导致模型性能下降。
- 论文提出一种鲁棒的训练范式，核心思想是利用模型自身区分干净和损坏样本的能力，从而进行有效训练。
- 实验表明，该方法显著优于现有缓解数据损坏影响的策略，提升了多模态大语言模型的性能。
📝 摘要（中文）
视觉指令微调(VIT)旨在增强多模态大语言模型(MLLM)，但其有效性常受到损坏数据集的影响，这些数据集存在幻觉内容、错误响应和OCR质量差等问题。以往解决这些挑战的方法主要集中于通过高质量数据收集或基于规则的过滤来改进数据集，但这些方法成本高昂或范围有限。本文对损坏数据对MLLM的影响进行了系统研究，发现虽然损坏数据会降低模型性能，但这种不利影响在很大程度上是可逆的，MLLM是“损坏但未损坏”。具体而言，我们发现禁用一小部分参数几乎可以完全恢复性能。此外，损坏的MLLM本身就具有区分干净样本和损坏样本的能力，从而无需外部干预即可进行数据集清理。基于这些见解，我们引入了一种鲁棒的训练范式，该范式显著超越了现有的缓解损坏数据影响的策略。
🔬 方法详解
问题定义：视觉指令微调（VIT）旨在提升多模态大语言模型（MLLM）的能力，但实际应用中，训练数据常常包含噪声和错误，例如幻觉内容、不正确的回答以及低质量的OCR结果。这些损坏的数据会显著降低MLLM的性能。现有方法主要依赖于高质量数据收集或规则过滤，但这些方法成本高昂且适用范围有限。
核心思路：论文的核心思路是发现并利用MLLM自身对数据质量的感知能力。研究表明，即使在损坏的数据上训练，MLLM仍然保留区分干净和损坏样本的能力。通过挖掘这种内在能力，可以设计出更有效的训练策略，从而减轻数据损坏带来的负面影响。论文认为MLLM是“损坏但未损坏”的，即模型本身具有恢复性能的潜力。
技术框架：论文提出的鲁棒训练范式主要包含以下几个阶段：1) 损坏数据检测：利用MLLM自身的能力，对训练数据进行评估，区分干净和损坏的样本。具体方法未知。2) 参数选择性更新：根据数据质量，选择性地更新模型参数。研究发现，禁用一小部分参数可以显著恢复性能。具体如何选择这些参数未知。3) 鲁棒训练：使用经过筛选和加权的数据，进行鲁棒的训练，从而提高模型在噪声环境下的泛化能力。
关键创新：论文的关键创新在于发现了MLLM自身具有区分数据质量的能力，并基于此设计了一种新的训练范式。与传统的数据清洗或规则过滤方法不同，该方法充分利用了模型自身的知识，从而更加高效和灵活。此外，选择性参数更新也是一个创新点，通过禁用一小部分参数来恢复性能，这表明模型中存在一些对噪声数据敏感的关键参数。
关键设计：论文中关于损坏数据检测、参数选择性更新和鲁棒训练的具体技术细节未知。例如，如何量化数据质量？如何选择需要禁用的参数？如何设计鲁棒的损失函数？这些都是未来研究可以深入探索的方向。
🖼️ 关键图片
📊 实验亮点
论文通过实验证明，即使在存在大量损坏数据的情况下，通过禁用一小部分参数，MLLM的性能可以几乎完全恢复。此外，提出的鲁棒训练范式显著优于现有的数据清洗和过滤方法，在多个基准测试中取得了更好的结果。具体的性能提升数据未知。
🎯 应用场景
该研究成果可广泛应用于多模态大语言模型的训练和优化，尤其是在数据质量难以保证的场景下。例如，可以用于提升视觉问答、图像描述等任务的性能，并降低对高质量标注数据的依赖。此外，该方法还可以应用于其他类型的模型和数据，具有一定的通用性。
📄 摘要（原文）
Visual Instruction Tuning (VIT) aims to enhance Multimodal Large Language Models (MLLMs), yet its effectiveness is often compromised by corrupted datasets with issues such as hallucinated content, incorrect responses, and poor OCR quality. Previous approaches to address these challenges have focused on refining datasets through high-quality data collection or rule-based filtering that can be costly or limited in scope. In this paper, we conduct a systematic investigation into the impact of corrupted data on MLLMs and discover that, although corrupted data degrade model performance, such adverse effects are largely reversible, and MLLMs are {\bf corrupted but not broken}. Specifically, we find that disabling a small subset of parameters can almost fully restore performance. Moreover, corrupted MLLMs inherently possess the capability to differentiate between clean and corrupted samples, facilitating dataset cleaning without external intervention. Building on these insights, we introduce a corruption-robust training paradigm that significantly surpasses existing strategies for mitigating the effects of corrupted data.