Cascaded Self-Evaluation Augmented Training for Lightweight Multimodal LLMs

📄 arXiv: 2501.05662v2 📥 PDF

作者: Zheqi Lv, Wenkai Wang, Jiawei Wang, Shengyu Zhang, Fei Wu

分类: cs.CL, cs.AI

发布日期: 2025-01-10 (更新: 2025-03-16)

💡 一句话要点

提出级联自评估增强训练Cas-SEAT，提升轻量级多模态LLM的推理和自评估能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 自评估 思维链推理 级联训练 数据过滤 轻量级模型 模型训练

📋 核心要点

  1. EMLLMs在CoT推理中自评估能力不足，原因是推理过程简化和下游微调导致能力下降。
  2. 提出Cas-SEAT方法，将长提示分解为级联短提示，并混合CoT推理和自评估数据。
  3. 实验表明，Cas-SEAT在多个数据集上平均提升22.16%，DDF有效降低了训练资源消耗。

📝 摘要（中文）

高效多模态大语言模型(EMLLMs)可以通过思维链(CoT)推理来提高性能，但在CoT推理过程中，它们的自评估能力较差。这是因为它们倾向于简化推理过程，并且自评估能力在下游任务微调期间会下降。为了解决这个问题，论文提出了自评估增强训练(SEAT)，它使用更强大的EMLLMs来评估CoT推理数据，然后使用评估数据来训练EMLLMs。然而，由于EMLLMs在处理长token输入输出序列时面临困难，并且自评估能力作为CoT推理的基础会下降，SEAT方法并未得到充分应用。因此，论文进一步提出了级联自评估增强训练(Cas-SEAT)，它将长提示转换为级联短提示，每个提示专注于特定任务。此外，混合CoT推理和自评估数据，以保留其CoT推理能力，同时增强EMLLMs的自评估能力。论文还进行了双层数据过滤(DDF)，包括源数据过滤和标记数据过滤，使用人工选择和MLLMs进行过滤。Cas-SEAT和DDF协同工作，以提高EMLLMs的性能。实验表明，Cas-SEAT在多个数据集上实现了平均22.16%的改进，并且DDF显著降低了训练的资源消耗。

🔬 方法详解

问题定义：现有高效多模态大语言模型(EMLLMs)在进行思维链(CoT)推理时，自评估能力较弱。主要痛点在于模型倾向于简化推理过程，并且在下游任务微调过程中，自评估能力会进一步下降，导致模型无法准确判断自身推理的正确性。

核心思路：论文的核心思路是通过更强大的EMLLMs来评估CoT推理数据，并利用这些评估数据来训练目标EMLLMs，从而增强其自评估能力。为了解决EMLLMs处理长序列的困难，将长提示分解为多个短提示，逐个进行评估和训练。同时，混合CoT推理数据和自评估数据，以保持模型的推理能力。

技术框架：整体框架包含以下几个主要阶段：1) 使用更强大的EMLLM生成CoT推理过程；2) 使用更强大的EMLLM对生成的CoT推理过程进行自评估；3) 将长提示分解为级联短提示；4) 混合CoT推理数据和自评估数据；5) 使用双层数据过滤(DDF)筛选高质量数据；6) 使用筛选后的数据训练目标EMLLM。

关键创新：最重要的技术创新点在于级联自评估增强训练(Cas-SEAT)方法，它将长提示分解为多个短提示，每个提示专注于一个特定的子任务，从而降低了EMLLMs处理长序列的难度。此外，混合CoT推理数据和自评估数据，可以同时提升模型的推理能力和自评估能力。双层数据过滤(DDF)则保证了训练数据的质量。与直接使用长提示进行训练相比，Cas-SEAT更适合轻量级EMLLMs。

关键设计：Cas-SEAT的关键设计包括：1) 如何将长提示分解为合适的短提示，需要根据具体任务进行设计；2) 如何平衡CoT推理数据和自评估数据的比例，以达到最佳的训练效果；3) DDF中，如何选择合适的过滤标准和过滤模型，以保证数据质量的同时，避免过度过滤。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Cas-SEAT方法在多个数据集上实现了平均22.16%的性能提升，证明了该方法的有效性。此外，双层数据过滤(DDF)显著降低了训练所需的资源消耗，使得轻量级多模态LLM的训练更加高效。这些结果表明，Cas-SEAT和DDF是提升轻量级多模态LLM性能的有效手段。

🎯 应用场景

该研究成果可应用于各种需要多模态信息理解和推理的场景，例如智能客服、自动驾驶、医疗诊断等。通过提升轻量级多模态LLM的推理和自评估能力，可以降低部署成本，提高响应速度，并增强系统的可靠性和安全性。未来，该方法有望进一步扩展到更多领域，例如教育、金融等。

📄 摘要（原文）

Efficient Multimodal Large Language Models (EMLLMs) can improve performance through Chain-of-Thought (CoT) reasoning, but they have poor self-evaluation capabilities during the CoT reasoning process. This is due to their tendency to simplify the reasoning process and the degradation of self-evaluation ability during downstream task fine-tuning. To address this, we intuitively propose \textit{Self-Evaluation Augmented Training (SEAT)}, which uses more powerful EMLLMs to evaluate CoT reasoning data. The evaluation data is then used to train EMLLMs. However, due to the difficulties EMLLMs face with processing long token input-output sequences, and the degradation of self-evaluation ability as a basis for CoT reasoning, the SEAT method is not fully adapted. Therefore, we further propose \textit{Cascaded Self-Evaluation Augmented Training (Cas-SEAT)}, which converts long prompts into cascaded short prompts, each focusing on a specific task. Additionally, we mix CoT reasoning and self-evaluation data to preserve its CoT reasoning ability while enhancing the self-evaluation capability of EMLLMs. We also conduct \textit{Double-level Data Filtering (DDF)}, which includes source data filtering and labeled data filtering, using both manual selection and MLLMs for filtering. Cas-SEAT and DDF work together to improve the performance of EMLLMs. Experiments show that Cas-SEAT achieves an average improvement of 22.16% across multiple datasets, and DDF significantly reduces the resource consumption of training