MM-R5: MultiModal Reasoning-Enhanced ReRanker via Reinforcement Learning for Document Retrieval
作者: Mingjun Xu, Jinhan Dong, Jue Hou, Zehui Wang, Sihang Li, Zhifeng Gao, Renxin Zhong, Hengxing Cai
分类: cs.AI, cs.CL, cs.CV
发布日期: 2025-06-14 (更新: 2025-06-22)
🔗 代码/项目: GITHUB
💡 一句话要点
提出MM-R5，通过强化学习增强多模态文档检索的推理重排序能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态文档检索 重排序 强化学习 推理增强 监督式微调
📋 核心要点
- 现有方法在多模态文档重排序方面仍有不足，缺乏有效的训练策略和显式的推理过程。
- MM-R5通过监督式微调和强化学习两个阶段训练，增强模型指令遵循能力和推理质量。
- 实验表明，MM-R5在MMDocIR基准测试中取得了SOTA性能，recall@1提升超过4%。
📝 摘要（中文）
多模态文档检索系统能够跨越文本、图像和布局进行信息访问，在文档问答、报告分析和交互式内容摘要等领域具有重要意义。重排序器通过对检索到的候选文档进行重新排序来提高检索精度。然而，目前的多模态重排序方法仍有待探索，在训练策略和整体有效性方面仍有很大的改进空间。此外，缺乏显式的推理过程使得进一步分析和优化这些方法变得困难。本文提出了MM-R5，一种通过强化学习增强多模态推理的文档检索重排序器，旨在为多模态重排序任务提供更有效和可靠的解决方案。MM-R5的训练分为两个阶段：监督式微调（SFT）和强化学习（RL）。在SFT阶段，我们专注于提高指令遵循能力，并引导模型生成完整和高质量的推理链。为此，我们引入了一种新的数据构建策略，以生成丰富、高质量的推理数据。在RL阶段，我们设计了一个特定于任务的奖励框架，包括为多模态候选文档定制的重排序奖励和基于复合模板的奖励，以进一步提高推理质量。我们在MMDocIR（一个具有挑战性的跨领域公共基准）上进行了大量实验。MM-R5在大多数指标上实现了最先进的性能，并在其余指标上取得了与更大模型相当的结果。此外，与最佳的仅检索方法相比，MM-R5将recall@1提高了4%以上。这些结果验证了我们基于推理增强的训练流程的有效性。
🔬 方法详解
问题定义：论文旨在解决多模态文档检索中重排序器性能不足的问题。现有方法缺乏有效的训练策略，难以进行显式推理，导致重排序效果不佳，无法充分利用多模态信息。
核心思路：论文的核心思路是通过引入推理增强的训练流程，利用监督式微调和强化学习，使模型能够生成高质量的推理链，从而更有效地进行多模态文档的重排序。这种方法旨在弥补现有方法在推理能力上的不足。
技术框架：MM-R5的整体框架包含两个主要阶段：监督式微调（SFT）和强化学习（RL）。在SFT阶段，模型通过指令遵循数据进行微调，学习生成推理链。在RL阶段，模型通过与环境交互，根据任务特定的奖励函数进行优化，进一步提升重排序性能和推理质量。
关键创新：论文的关键创新在于将强化学习引入多模态文档重排序任务，并设计了针对该任务的奖励框架。此外，论文还提出了一种新的数据构建策略，用于生成高质量的推理数据，从而提升模型的推理能力。
关键设计：在SFT阶段，使用了精心设计的指令数据，引导模型生成完整的推理链。在RL阶段，设计了包括重排序奖励和基于模板的推理质量奖励的复合奖励函数。重排序奖励旨在优化重排序结果，而推理质量奖励则鼓励模型生成更清晰、更合理的推理过程。具体的网络结构和参数设置在论文中有详细描述，但摘要中未明确提及。
🖼️ 关键图片
📊 实验亮点
MM-R5在MMDocIR基准测试中取得了显著的性能提升，在大多数指标上达到了SOTA水平，并在剩余指标上与更大的模型表现相当。与最佳的仅检索方法相比，MM-R5的recall@1指标提升超过4%，验证了推理增强训练流程的有效性。
🎯 应用场景
该研究成果可应用于文档问答系统、报告分析、交互式内容摘要等领域，提升信息检索的准确性和效率。通过增强多模态信息的理解和推理能力，可以为用户提供更精准、更全面的信息服务，具有广泛的应用前景。
📄 摘要（原文）
Multimodal document retrieval systems enable information access across text, images, and layouts, benefiting various domains like document-based question answering, report analysis, and interactive content summarization. Rerankers improve retrieval precision by reordering retrieved candidates. However, current multimodal reranking methods remain underexplored, with significant room for improvement in both training strategies and overall effectiveness. Moreover, the lack of explicit reasoning makes it difficult to analyze and optimize these methods further. In this paper, We propose MM-R5, a MultiModal Reasoning-Enhanced ReRanker via Reinforcement Learning for Document Retrieval, aiming to provide a more effective and reliable solution for multimodal reranking tasks. MM-R5 is trained in two stages: supervised fine-tuning (SFT) and reinforcement learning (RL). In the SFT stage, we focus on improving instruction-following and guiding the model to generate complete and high-quality reasoning chains. To support this, we introduce a novel data construction strategy that produces rich, high-quality reasoning data. In the RL stage, we design a task-specific reward framework, including a reranking reward tailored for multimodal candidates and a composite template-based reward to further refine reasoning quality. We conduct extensive experiments on MMDocIR, a challenging public benchmark spanning multiple domains. MM-R5 achieves state-of-the-art performance on most metrics and delivers comparable results to much larger models on the remaining ones. Moreover, compared to the best retrieval-only method, MM-R5 improves recall@1 by over 4%. These results validate the effectiveness of our reasoning-enhanced training pipeline. Our code is available at https://github.com/i2vec/MM-R5 .