Diving into Self-Evolving Training for Multimodal Reasoning

📄 arXiv: 2412.17451v3 📥 PDF

作者: Wei Liu, Junlong Li, Xiwen Zhang, Fan Zhou, Yu Cheng, Junxian He

分类: cs.CL, cs.AI, cs.CV, cs.LG

发布日期: 2024-12-23 (更新: 2025-06-06)

备注: ICML 2025, Project Page: https://mstar-lmm.github.io

💡 一句话要点

提出M-STAR框架，通过自进化训练提升多模态推理性能并缓解饱和问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 自进化训练 强化学习 性能饱和 奖励模型

📋 核心要点

  1. 多模态推理任务缺乏高质量的思维链数据，且自进化训练在多模态领域的有效性有待探索。
  2. 受强化学习启发，论文从训练方法、奖励模型和提示变化三个关键因素出发，优化自进化训练。
  3. 提出的M-STAR框架通过自动平衡机制缓解性能饱和问题，并在多个基准测试中取得了性能提升。

📝 摘要（中文）

自进化训练是一种关键方法，通过模型迭代地从自身输出中学习来解决复杂推理任务，尤其是在高质量思维链数据稀缺的情况下。然而，它在多模态推理（比纯文本推理更复杂）中的有效性仍未得到充分探索，并且对该训练范式中关键因素的理解仍然有限。此外，这种训练方法的一个核心挑战是性能饱和，这阻碍了进一步的改进和可扩展性。受强化学习（RL）的启发，本文通过RL的视角重新构建了多模态推理的自进化训练，确定了三个关键因素：训练方法、奖励模型和提示变化。通过系统分析，我们建立了相对最优的设计原则，显著增强了多模态推理能力。此外，深入研究训练动态，我们发现了饱和的根源，并提出了一种新的自动平衡机制来缓解这一限制。基于这些见解，我们提出了M-STAR（用于推理的多模态自进化训练）框架，该框架在不同大小的模型和不同的基准测试中实现了持续的性能提升。所有资源均已公开。

🔬 方法详解

问题定义：论文旨在解决多模态推理任务中，由于高质量思维链数据稀缺以及自进化训练方法本身存在的性能饱和问题，导致模型推理能力难以提升的难题。现有方法在多模态领域的探索不足，且缺乏对自进化训练关键因素的深入理解。

核心思路：论文的核心思路是将多模态推理的自进化训练过程重新建模为强化学习问题，通过优化训练方法、奖励模型和提示变化这三个关键因素，来提升模型的推理能力并缓解性能饱和。这种设计借鉴了强化学习的探索和利用机制，鼓励模型探索更有效的推理路径。

技术框架：M-STAR框架包含以下主要模块：1) 数据生成模块：利用模型自身生成多模态推理的思维链数据。2) 奖励模型：评估生成数据的质量，并为模型提供反馈。3) 训练模块：根据奖励模型的反馈，优化模型的推理策略。4) 自动平衡机制：动态调整训练过程中的探索和利用，以缓解性能饱和。

关键创新：论文最重要的技术创新点在于将强化学习的理念引入到多模态自进化训练中，并提出了自动平衡机制来解决性能饱和问题。与传统的自进化训练方法相比，M-STAR框架能够更有效地探索和利用数据，从而提升模型的推理能力。

关键设计：论文的关键设计包括：1) 针对多模态数据的奖励模型设计，需要考虑图像、文本等多种模态的信息。2) 提示变化策略，通过改变输入提示来鼓励模型探索不同的推理路径。3) 自动平衡机制的具体实现，例如动态调整探索的概率或奖励的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

M-STAR框架在多个多模态推理基准测试中取得了显著的性能提升。实验结果表明，M-STAR能够有效缓解性能饱和问题，并在不同大小的模型上实现一致的性能增益。具体性能数据和对比基线信息请参考论文原文。

🎯 应用场景

该研究成果可应用于智能问答、视觉推理、机器人导航等领域。通过提升多模态推理能力，可以使AI系统更好地理解和处理复杂场景，从而实现更智能的人机交互和决策支持。未来，该方法有望扩展到更多模态和更复杂的推理任务中。

📄 摘要（原文）

Self-evolving trainin--where models iteratively learn from their own outputs--has emerged as a key approach for complex reasoning tasks, addressing the scarcity of high-quality chain-of-thought data. However, its effectiveness in multimodal reasoning, a domain more intricate than text-only reasoning, remains underexplored, and the understanding of critical factors in this training paradigm remains limited. Furthermore, a central challenge for this training method is performance saturation, which impedes further improvements and scalability. Inspired by reinforcement learning (RL), in this paper, we reframe self-evolving training for multimodal reasoning through the lens of RL, identifying three pivotal factors: Training Method, Reward Model, and Prompt Variation. Through systematic analysis, we establish relatively optimal design principles that significantly enhance multimodal reasoning capabilities. Moreover, delving deeper into training dynamics, we uncover the roots of saturation and propose a new automatic balancing mechanism to mitigate this limitation. Building on these insights, we propose M-STAR (Multimodal Self-evolving Training for Reasoning), a framework that achieves consistent performance gains across models of varying sizes and diverse benchmarks. All resources are made publicly available at https://mstar-lmm.github.io.