MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization

📄 arXiv: 2510.08540v2 📥 PDF

作者: Xiangyu Zhao, Junming Lin, Tianhao Liang, Yifan Zhou, Wenhao Chai, Yuzhe Gu, Weiyun Wang, Kai Chen, Gen Luo, Wenwei Zhang, Junchi Yan, Hua Yang, Haodong Duan, Xue Yang

分类: cs.CV

发布日期: 2025-10-09 (更新: 2025-10-11)

💡 一句话要点

MM-HELIX：通过整体平台和自适应混合策略优化提升多模态长链反思推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 长链推理 反思推理 强化学习 自适应优化 指令微调 大型语言模型

📋 核心要点

  1. 现有多模态大语言模型在长链反思推理能力不足，难以解决需要迭代思考和回溯的复杂现实问题。
  2. 提出自适应混合策略优化(AHPO)，动态统一离线监督和在线优化，使模型在奖励稀疏时学习专家数据，熟练后独立探索。
  3. 在MM-HELIX基准测试中，AHPO使Qwen2.5-VL-7B模型准确率提升18.6%，并在通用数学和逻辑任务中平均性能提升5.7%。

📝 摘要（中文）

当前的多模态大型语言模型(MLLM)在数学和逻辑等推理任务中表现出一定的能力，但它们在长链反思推理方面的能力仍未被充分探索，而长链反思推理是解决复杂现实世界问题的先决条件。本文首先进行了一项广泛的实证研究来评估这种能力。利用精心设计的数据合成引擎，我们构建了MM-HELIX，这是一个多模态基准，包含1260个样本，涵盖42个具有挑战性的合成任务，这些任务需要迭代思考和回溯。在该基准上的实验结果表明，现有的MLLM在长链反思推理方面存在显著的性能缺陷。为了解决这个限制，我们生成了后训练数据，并进一步探索了利用这些数据的学习范式。我们首先开发了Step-Elicited Response Generation流程，以创建MM-HELIX-100K，这是一个大规模数据集，包含10万个高质量的反思推理轨迹，用于指令调整阶段。鉴于标准的强化学习在复杂任务中由于稀疏的奖励信号和监督微调后的灾难性遗忘而失败，我们提出了一种自适应混合策略优化(AHPO)，这是一种新颖的训练策略，它将离线监督和在线优化动态地统一到一个阶段。这种策略使模型能够在奖励稀疏时从专家数据中学习，并在熟练后进行独立的探索。当应用于Qwen2.5-VL-7B基线时，我们的方法在MM-HELIX基准上实现了+18.6%的准确率提升，并在一般的数学和逻辑任务上表现出强大的泛化能力，平均性能提升+5.7%。我们的工作表明，MLLM中的反思推理可以有效地学习和泛化，为开发更强大的MLLM铺平了道路。

🔬 方法详解

问题定义：现有MLLM在长链反思推理能力上存在明显不足，无法有效解决需要迭代思考和回溯的复杂任务。标准的强化学习方法在复杂任务中面临奖励稀疏和灾难性遗忘的问题，难以有效训练模型。

核心思路：论文的核心思路是提出一种自适应混合策略优化（AHPO）方法，该方法能够动态地结合离线监督学习和在线强化学习的优势。通过离线监督学习，模型可以从专家数据中学习到初步的推理能力，克服奖励稀疏的问题。通过在线强化学习，模型可以在实际任务中进行探索，进一步提升推理能力，并避免灾难性遗忘。

技术框架：整体框架包含数据合成、指令微调和自适应混合策略优化三个主要阶段。首先，利用数据合成引擎构建多模态基准MM-HELIX。然后，使用Step-Elicited Response Generation流程生成高质量的反思推理轨迹数据集MM-HELIX-100K，用于指令微调。最后，采用AHPO方法对模型进行训练，该方法动态地调整离线监督和在线优化的比例。

关键创新：AHPO是论文最重要的技术创新点。它与传统的强化学习方法不同，能够根据模型的学习状态自适应地调整训练策略。当模型处于学习初期，奖励信号稀疏时，AHPO侧重于离线监督学习，利用专家数据进行指导。当模型具备一定的推理能力后，AHPO侧重于在线强化学习，鼓励模型进行自主探索。

关键设计：AHPO的关键设计在于动态调整离线监督和在线优化的比例。具体来说，论文设计了一个自适应系数，该系数根据模型的表现动态变化。当模型表现较差时，自适应系数较高，离线监督学习的权重较大。当模型表现较好时，自适应系数较低，在线强化学习的权重较大。此外，论文还设计了特定的奖励函数，用于指导在线强化学习过程。

📊 实验亮点

实验结果表明，提出的AHPO方法在MM-HELIX基准测试中，使Qwen2.5-VL-7B模型的准确率提升了18.6%。此外，该方法在通用数学和逻辑任务上也表现出强大的泛化能力，平均性能提升了5.7%。这些结果表明，AHPO能够有效提升MLLM的长链反思推理能力，并具有良好的泛化性能。

🎯 应用场景

该研究成果可应用于需要复杂推理和决策的领域，例如智能客服、自动驾驶、医疗诊断等。通过提升MLLM的长链反思推理能力，可以使其更好地理解和解决现实世界中的复杂问题，从而提高自动化水平和决策质量。未来，该技术有望推动人工智能在更广泛领域的应用。

📄 摘要（原文）

While current Multimodal Large Language Models (MLLMs) have demonstrated proficiency in reasoning tasks such as mathematics and logic, their capacity for long-chain reflective reasoning, a prerequisite for solving complex real-world problems, remains largely underexplored. In this work, we first conduct an extensive empirical investigation to evaluate this capability. Leveraging a carefully designed data synthesis engine, we construct MM-HELIX, a multimodal benchmark consisting 1,260 samples of 42 challenging synthetic tasks that require iterative thinking and backtracking. Empirical results on this benchmark reveal that existing MLLMs exhibit significant performance deficits in long-chain reflective reasoning. To address this limitation, we generate post-training data and further explore learning paradigms for exploiting such data. We first develop the Step-Elicited Response Generation pipeline to create MM-HELIX-100K, a large-scale dataset of 100k high-quality, reflective reasoning traces for instruction-tuning stage. Given that standard Reinforcement Learning fails on complex tasks due to sparse reward signals and catastrophic forgetting after Supervised Fine-Tuning, we propose Adaptive Hybrid Policy Optimization (AHPO), a novel training strategy that dynamically unifies offline supervision and online optimization into a single stage. This strategy enables the model to learn from expert data when rewards are sparse and conduct independent exploration once proficient. When applied to the Qwen2.5-VL-7B baseline, our method achieves a +18.6\% accuracy improvement on MM-HELIX benchmark and demonstrates strong generalization with a +5.7\% average performance gain on general mathematic and logic tasks. Our work demonstrate that reflective reasoning in MLLMs can be effectively learned and generalized, paving the way for developing more capable MLLMs.