Bridging the Semantic-Utility Gap in Multimodal RAG via Generator-in-the-Loop Alignment

📄 arXiv: 2609.08188v1 📥 PDF

作者: Zhan-Lun Chang, Dong-Jun Han, Seyyedali Hosseinalipour, Mung Chiang, Christopher G. Brinton

分类: cs.AI, cs.IR

发布日期: 2026-09-08

备注: Submitted to IEEE Transactions on Artificial Intelligence

💡 一句话要点

提出生成器循环对齐框架以解决多模态RAG中的语义效用差距问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态RAG 生成器循环对齐 视觉语言模型 答案监督 低秩适应 偏好对齐 信息检索

📋 核心要点

  1. 现有的检索增强生成方法主要关注语义相似性，导致生成器无法有效利用相关文档，造成答案效用不足。
  2. 本文提出的生成器循环对齐框架通过两阶段流程，利用生成的文本段落作为检索查询，提升了文档的相关性和答案的准确性。
  3. 在VQA-X和A-OKVQA数据集上的实验表明，所提框架在多种对齐损失和池大小设置下均优于现有基线，显示出显著的性能提升。

📝 摘要（中文）

视觉语言模型（VLMs）通过检索增强生成（RAG）获得外部证据的优势。然而，标准的检索器和重排序器优化的是语义相似性，而非答案效用，导致了偏好差距。为此，本文提出了一种两阶段的生成器循环对齐框架，旨在无需人工文档级相关性注释的情况下，缩小这一差距。该框架通过生成假设文本段落作为检索查询，结合低秩适应的交叉编码器重排序器，利用答案监督的偏好对进行微调。实验结果表明，该框架在多个基准测试中表现优异，验证了答案级生成反馈作为偏好对齐的有效监督信号。

🔬 方法详解

问题定义：本文旨在解决多模态RAG中存在的语义效用差距问题。现有方法主要优化语义相似性，导致生成器无法有效利用相关文档，从而影响答案的准确性。

核心思路：提出的生成器循环对齐框架通过两阶段的流程设计，第一阶段生成假设文本段落作为检索查询，第二阶段利用低秩适应的交叉编码器重排序器进行微调，从而提升答案的生成质量。

技术框架：整体框架分为两个主要阶段：第一阶段，VLM根据图像-查询对生成文本段落，作为密集文本检索的查询；第二阶段，使用答案监督的偏好对对交叉编码器进行微调，以优化重排序器的性能。

关键创新：最重要的创新在于引入生成器反馈作为监督信号，结合多种对齐损失函数（如对比损失、成对直接偏好优化和监督微调），有效缩小了语义与效用之间的差距。

关键设计：在重排序器的微调过程中，采用低秩适应（LoRA）技术，利用冻结的VLM生成的答案标签进行偏好对的挖掘，确保了生成器引导信号的有效性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提框架在VQA-X和A-OKVQA数据集上，相较于排名顺序、随机和REPLUG风格的基线方法，均表现出显著的性能提升，尤其在不同对齐损失和池大小设置下，验证了答案级生成反馈的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像检索和多模态交互等。通过提升生成器对文档的利用效率，能够显著提高用户在信息检索和交互中的体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Vision-language models (VLMs) augmented with retrieval-augmented generation (RAG) benefit from access to external evidence. However, standard retrievers and rerankers optimize for semantic similarity rather than answer utility, creating a preference gap: documents that appear relevant may not help the generator produce a correct answer. Motivated by this, we propose a two-stage generator-in-the-loop alignment framework that closes this gap without human document-level relevance annotations. Our framework consists of two stages: in Stage 1, a VLM generates a hypothetical text passage from the image-query pair, which is used as the retrieval query for dense text search, bridging the image-to-text modality gap. In Stage 2, a cross-encoder reranker adapted with low-rank adaptation (LoRA) is fine-tuned using answer-supervised preference pairs mined from the frozen VLM: given the dataset answer label, a candidate document is labeled positive if the VLM produces the correct answer when given that document as context, and negative otherwise. This generator-guided signal is compatible with multiple alignment loss functions, including contrastive (triplet) loss, pairwise direct preference optimization (DPO), and supervised fine-tuning (SFT), and supports periodic re-mining to refresh preference pairs as the reranker improves. Experiments on VQA-X and A-OKVQA with Qwen3.5-2B and Qwen3-VL-4B-Instruct show that our proposed framework consistently outperforms rank-order, random, and REPLUG-style likelihood baselines under various alignment losses and pool size settings, suggesting that answer-level generator feedback is an effective supervision signal for preference alignment.