Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal Embeddings

📄 arXiv: 2602.13823v2 📥 PDF

作者: Haonan Jiang, Yuji Wang, Yongjie Zhu, Xin Lu, Wenyu Qin, Meng Wang, Pengfei Wan, Yansong Tang

分类: cs.CV

发布日期: 2026-02-14 (更新: 2026-02-21)

备注: Correcting errors and improving organizational logic

💡 一句话要点

提出Embed-RL框架以解决多模态嵌入中的推理驱动问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态嵌入 强化学习 推理优化 证据可追溯性 跨模态检索

📋 核心要点

  1. 现有生成嵌入方法的推理CoT主要局限于文本分析，无法有效支持目标检索。
  2. 本文提出的EG-RL框架通过嵌入引导优化推理器，生成与嵌入任务对齐的证据可追溯性CoT。
  3. 在MMEB-V2和UVRB基准上，提出的框架在有限计算资源下超越了现有的嵌入模型，提升了跨模态语义一致性。

📝 摘要（中文）

利用多模态大语言模型（MLLMs）在通用多模态嵌入（UME）中已成为解决多样化跨模态任务的关键。近期研究表明，结合生成性思维链（CoT）推理能够显著提升任务特定表示。然而，现有生成嵌入方法的推理CoT主要局限于文本分析，与目标检索无关。为此，本文提出了一种推理驱动的UME框架，整合了嵌入引导的强化学习（EG-RL），优化推理器生成证据可追溯性CoT（T-CoT）。我们的贡献包括：设计EG-RL框架，确保生成的CoT与嵌入任务对齐；引入T-CoT，提取关键多模态线索；在有限计算资源下，框架在MMEB-V2和UVRB基准上超越了先前的嵌入模型。

🔬 方法详解

问题定义：本文旨在解决现有生成嵌入方法中推理CoT与目标检索之间的脱节问题，导致多模态嵌入质量不足。

核心思路：通过引入嵌入引导的强化学习（EG-RL），优化推理器生成证据可追溯性CoT（T-CoT），确保生成的推理与嵌入任务紧密相关。

技术框架：整体架构包括三个主要模块：嵌入器、推理器和EG-RL优化机制。嵌入器提供任务相关的输入，推理器生成CoT，EG-RL则通过反馈优化推理过程。

关键创新：最重要的创新在于引入了T-CoT，能够提取多模态线索并聚焦于检索相关元素，显著提升了模型的匹配能力和泛化能力。

关键设计：在参数设置上，EG-RL框架通过明确的监督信号来引导推理器，损失函数设计上强调了生成CoT与嵌入任务的对齐，网络结构则采用了适应性调整以适应多模态输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MMEB-V2和UVRB基准上，提出的Embed-RL框架在有限计算资源下超越了现有的嵌入模型，提升幅度显著，展示了推理优化对多模态嵌入质量的积极影响。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、跨模态信息检索和多模态内容生成等。通过提升多模态嵌入的质量，能够在复杂场景中实现更高效的信息检索和理解，具有重要的实际价值和未来影响。

📄 摘要（原文）

Leveraging Multimodal Large Language Models (MLLMs) has become pivotal for advancing Universal Multimodal Embeddings (UME) in addressing diverse cross-modal tasks. Recent studies demonstrate that incorporating generative Chain-of-Thought (CoT) reasoning can substantially enhance task-specific representations compared to discriminative methods. However, the generated reasoning CoTs of existing generative embedding methods are limited to the textual analysis of queries and are irrelevant to the retrieval of the targets. To address these limitations, we propose a reasoning-driven UME framework that integrates Embedder-Guided Reinforcement Learning (EG-RL) to optimize the Reasoner to produce evidential Traceability CoT (T-CoT). Our key contributions are threefold: (1) We design an EG-RL framework where the Embedder provides explicit supervision to the Reasoner, ensuring the generated CoT traces are aligned with embedding tasks. (2) We introduce T-CoT, which extracts critical multimodal cues to focus on retrieval-relevant elements and provides multimodal inputs for the Embedder. (3) With limited computational resources, our framework outperforms the pioneering embedding model on both MMEB-V2 and UVRB benchmarks. The integration of multimodal evidence in structured reasoning, paired with retrieval-oriented alignment, effectively strengthens cross-modal semantic consistency and boosts the fine-grained matching capability of the model as well as the generalization across complex scenarios. Our work demonstrates that targeted reasoning optimization can significantly improve multimodal embedding quality, providing a practical and efficient solution for reasoning-driven UME development.