R-4B: Incentivizing General-Purpose Auto-Thinking Capability in MLLMs via Bi-Mode Annealing and Reinforce Learning

📄 arXiv: 2508.21113v2 📥 PDF

作者: Qi Yang, Bolin Ni, Shiming Xiang, Han Hu, Houwen Peng, Jie Jiang

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-08-28 (更新: 2025-09-02)

备注: 20 pages, 14 figures, 5 tables

💡 一句话要点

R-4B：通过双模退火和强化学习，激励MLLM的通用自动思考能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 自适应思考 双模退火 强化学习 策略优化 计算效率 视觉推理

📋 核心要点

  1. 现有MLLM在处理简单问题时，其逐步思考能力显得冗余，导致效率低下，这是核心问题。
  2. R-4B通过双模退火使模型具备思考和非思考两种能力，并使用双模策略优化来提升决策的准确性。
  3. 实验表明，R-4B在多个基准测试中达到SOTA，性能优于Qwen2.5-VL-7B，且计算成本低于更大模型。

📝 摘要（中文）

多模态大型语言模型(MLLM)具备逐步思考能力，在复杂推理问题上表现出色。然而，对于无需复杂推理即可解决的简单问题，这种思考过程是冗余的。为了解决这种低效问题，我们提出了R-4B，一种自动思考MLLM，它可以根据问题的复杂性自适应地决定何时进行思考。R-4B的核心思想是利用双模退火赋予模型思考和非思考两种能力，并应用双模策略优化(BPO)来提高模型在确定是否激活思考过程时的准确性。具体来说，我们首先在一个精心策划的、涵盖各种主题的数据集上训练模型，该数据集包含思考和非思考模式的样本。然后在改进的GRPO框架下进行第二阶段的训练，在该框架中，策略模型被迫为每个输入查询生成来自两种模式的响应。实验结果表明，R-4B在25个具有挑战性的基准测试中取得了最先进的性能。在大多数任务中，它优于Qwen2.5-VL-7B，并在推理密集型基准测试中实现了与更大的模型(如Kimi-VL-A3B-Thinking-2506 (16B))相当的性能，同时计算成本更低。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型（MLLM）在处理不同复杂度问题时效率低下的问题。现有MLLM通常采用固定的逐步思考模式，即使对于简单问题也会进行不必要的推理，造成计算资源的浪费。因此，如何让MLLM能够根据问题复杂度自适应地选择是否进行思考是本研究要解决的核心问题。

核心思路：论文的核心思路是赋予MLLM同时具备“思考”和“非思考”两种模式的能力，并训练模型能够根据输入问题的复杂度，自动选择合适的模式。这种自适应选择机制可以避免在简单问题上进行冗余的推理，从而提高整体效率。论文通过双模退火和双模策略优化来实现这一目标。

技术框架：R-4B的训练过程分为两个阶段。第一阶段，模型在一个包含思考和非思考模式样本的混合数据集上进行训练，通过双模退火技术，使模型同时具备两种模式的能力。第二阶段，模型在改进的GRPO（Generalized Policy Optimization）框架下进行训练，该框架强制策略模型为每个输入查询生成来自两种模式的响应，并通过奖励机制来优化策略模型，使其能够更准确地选择合适的模式。

关键创新：R-4B的关键创新在于其自适应思考机制，该机制允许模型根据问题复杂度动态选择是否进行推理。与传统的固定思考模式的MLLM相比，R-4B能够更有效地利用计算资源，并在保证性能的同时降低计算成本。双模退火和双模策略优化是实现这一创新的关键技术手段。

关键设计：在双模退火阶段，论文设计了一个特殊的损失函数，用于平衡思考和非思考模式的学习。在双模策略优化阶段，论文改进了GRPO框架，使其能够更好地处理两种模式的选择问题。具体的奖励函数设计和策略梯度更新方法未知，需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

R-4B在25个具有挑战性的基准测试中取得了最先进的性能。在大多数任务中，它优于Qwen2.5-VL-7B，并在推理密集型基准测试中实现了与更大的模型(如Kimi-VL-A3B-Thinking-2506 (16B))相当的性能，同时计算成本更低。这表明R-4B在效率和性能之间取得了良好的平衡。

🎯 应用场景

R-4B的自适应思考能力使其在各种需要多模态理解和推理的应用场景中具有广泛的应用前景，例如智能问答、图像描述、视觉推理等。该研究可以降低MLLM的计算成本，使其更容易部署在资源受限的设备上，并提高用户体验。未来，该技术可以进一步扩展到其他类型的AI模型，以实现更高效、更智能的人工智能系统。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) equipped with step-by-step thinking capabilities have demonstrated remarkable performance on complex reasoning problems. However, this thinking process is redundant for simple problems solvable without complex reasoning. To address this inefficiency, we propose R-4B, an auto-thinking MLLM, which can adaptively decide when to think based on problem complexity. The central idea of R-4B is to empower the model with both thinking and non-thinking capabilities using bi-mode annealing, and apply Bi-mode Policy Optimization (BPO) to improve the model's accuracy in determining whether to activate the thinking process. Specifically, we first train the model on a carefully curated dataset spanning various topics, which contains samples from both thinking and non-thinking modes. Then it undergoes a second phase of training under an improved GRPO framework, where the policy model is forced to generate responses from both modes for each input query. Experimental results show that R-4B achieves state-of-the-art performance across 25 challenging benchmarks. It outperforms Qwen2.5-VL-7B in most tasks and achieves performance comparable to larger models such as Kimi-VL-A3B-Thinking-2506 (16B) on reasoning-intensive benchmarks with lower computational cost.