Skywork-R1V3 Technical Report

📄 arXiv: 2507.06167v3 📥 PDF

作者: Wei Shen, Jiangbo Pei, Yi Peng, Xuchen Song, Yang Liu, Jian Peng, Haofeng Sun, Yunzhuo Hao, Peiyu Wang, Jianhao Zhang, Yahui Zhou

分类: cs.CL, cs.CV

发布日期: 2025-07-08 (更新: 2025-07-10)

💡 一句话要点

Skywork-R1V3：通过强化学习将文本LLM推理能力迁移至视觉语言模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态推理 强化学习 跨模态对齐 大型语言模型

📋 核心要点

  1. 现有VLM模型在视觉推理能力上存在不足，难以有效利用LLM的强大推理能力。
  2. Skywork-R1V3通过后训练强化学习框架，将LLM的推理能力迁移到VLM，提升视觉推理性能。
  3. 实验表明，Skywork-R1V3在MMMU基准上取得了SOTA结果，性能显著提升至76.0%。

📝 摘要（中文）

本文介绍了Skywork-R1V3，一种先进的开源视觉语言模型（VLM），它开创了一种新的视觉推理方法。其关键创新在于有效地将纯文本大型语言模型（LLM）的推理技能转移到视觉任务中。Skywork-R1V3的强大性能主要源于我们精心设计的后训练强化学习（RL）框架，该框架有效地激活并增强了模型的推理能力，而无需额外的持续预训练。通过这个框架，我们进一步揭示了连接器模块在实现多模态推理模型鲁棒的跨模态对齐方面的根本作用。此外，我们引入了一种独特的推理能力指标，即关键推理token的熵，已被证明对RL训练期间的检查点选择非常有效。Skywork-R1V3在MMMU上取得了最先进的结果，从64.3%显著提高到76.0%，这一性能与入门级人类能力相匹配。值得注意的是，我们的RL驱动的后训练方法使得即使是38B参数的模型也能与顶级的闭源VLM相媲美。该实现成功地将数学推理转移到其他与主题相关的推理任务中。我们还包括对课程学习和强化微调策略的分析，以及对多模态推理的更广泛讨论。Skywork-R1V3代表了多模态推理的重大飞跃，展示了RL作为推进开源VLM能力的强大引擎。

🔬 方法详解

问题定义：现有视觉语言模型（VLM）在复杂视觉推理任务中表现不足，无法充分利用大型语言模型（LLM）强大的推理能力。现有方法通常需要大量的预训练数据和计算资源，且推理能力提升有限。

核心思路：Skywork-R1V3的核心思路是利用强化学习（RL）框架，在VLM的后训练阶段，激活并增强模型的推理能力，从而将LLM的推理能力迁移到VLM中。这种方法避免了额外的持续预训练，降低了计算成本。

技术框架：Skywork-R1V3的技术框架主要包括以下几个部分：1) 预训练的VLM模型；2) 连接器模块，用于跨模态对齐；3) 强化学习框架，用于优化模型的推理能力；4) 基于关键推理token熵的检查点选择机制。整个流程首先使用预训练的VLM模型作为基础，然后通过连接器模块实现视觉和语言特征的对齐，最后使用强化学习框架对模型进行微调，提升推理能力。

关键创新：Skywork-R1V3最重要的技术创新点在于使用强化学习框架进行后训练，从而有效地将LLM的推理能力迁移到VLM中。此外，该论文还提出了一个独特的推理能力指标，即关键推理token的熵，用于在RL训练期间选择最佳检查点。

关键设计：在强化学习框架中，奖励函数的设计至关重要，需要仔细考虑如何激励模型进行正确的推理。此外，连接器模块的设计也需要保证能够有效地实现跨模态对齐。关键推理token熵的计算方法也需要仔细选择，以保证其能够准确地反映模型的推理能力。具体的参数设置和网络结构等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Skywork-R1V3在MMMU基准测试中取得了76.0%的准确率，相比之前的64.3%有了显著提升，达到了入门级人类水平。即使是38B参数的模型，其性能也能与顶级的闭源VLM相媲美。该研究表明，通过强化学习进行后训练是一种有效提升VLM推理能力的方法。

🎯 应用场景

Skywork-R1V3在多模态推理方面取得了显著进展，可应用于智能问答、图像理解、视觉导航等领域。该研究有助于提升机器人在复杂环境中的感知和决策能力，并为开发更智能的AI系统奠定基础。未来，该技术有望在教育、医疗、工业等领域发挥重要作用。

📄 摘要（原文）

We introduce Skywork-R1V3, an advanced, open-source vision-language model (VLM) that pioneers a new approach to visual reasoning. Its key innovation lies in effectively transferring reasoning skills from text-only Large Language Models (LLMs) to visual tasks. The strong performance of Skywork-R1V3 primarily stems from our elaborate post-training RL framework, which effectively activates and enhances the model's reasoning ability, without the need for additional continue pre-training. Through this framework, we further uncover the fundamental role of the connector module in achieving robust cross-modal alignment for multimodal reasoning models. In addition, we introduce a unique indicator of reasoning capability, the entropy of critical reasoning tokens, which has proven highly effective for checkpoint selection during RL training. Skywork-R1V3 achieves state-of-the-art results on MMMU, significantly improving from 64.3% to 76.0%. This performance matches entry-level human capabilities. Remarkably, our RL-powered post-training approach enables even the 38B parameter model to rival top closed-source VLMs. The implementation successfully transfers mathematical reasoning to other subject-related reasoning tasks. We also include an analysis of curriculum learning and reinforcement finetuning strategies, along with a broader discussion on multimodal reasoning. Skywork-R1V3 represents a significant leap in multimodal reasoning, showcasing RL as a powerful engine for advancing open-source VLM capabilities.