MERGE: Multi-LLM Ensemble for Retrieval via Generative Enrichment

📄 arXiv: 2609.37574v1 📥 PDF

作者: Tzu-I Ho, Yung-Yu Shih, Shang-Yu Su, Dongzhe Wang, Yun-Nung Chen

分类: cs.IR, cs.CL

发布日期: 2026-09-29

备注: 9 pages, 4 tables, 1 figure. Preprint

💡 一句话要点

提出MERGE框架以提升信息检索中的查询扩展效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 大型语言模型 查询扩展 自动提示优化 多模型集成

📋 核心要点

  1. 现有的信息检索方法依赖单一LLM，受限于训练数据和架构偏见，扩展效果不稳定。
  2. MERGE框架通过集成多个LLM生成候选扩展，并使用更大的LLM进行合成，提升查询扩展的效果。
  3. 在五个BEIR基准上，MERGE显著提高了BM25的nDCG@10，提升幅度达到+2.1到+14.9点。

📝 摘要（中文）

大型语言模型（LLMs）在信息检索（IR）中被广泛用于丰富用户查询，以弥补标准检索器如BM25与目标语料库之间的词汇差距。然而，单一LLM受限于其训练数据和架构偏见，且其扩展行为依赖于手工设计的提示，难以扩展且成本高昂。本文提出MERGE（多LLM集成用于生成丰富检索），一个两阶段框架：三个异构的7-8B开源LLM独立生成候选扩展，随后一个更大的LLM将其生成合成成单一查询。为使提示工程在集成中可扩展，本文将任务驱动的自动提示优化（APO）循环集成到两个阶段中。实验表明，MERGE在五个BEIR基准上显著提升BM25的nDCG@10，且在使用紧凑的开源模型的情况下，性能与强大的LLM基础的查询扩展基线相匹配或超越。

🔬 方法详解

问题定义：本文旨在解决单一LLM在信息检索中查询扩展的局限性，现有方法在扩展效果和可扩展性上存在不足。

核心思路：MERGE框架通过集成多个异构LLM生成候选扩展，并利用一个更大的LLM进行合成，旨在提高查询扩展的质量和效率。

技术框架：MERGE框架分为两个阶段：第一阶段，三个7-8B的开源LLM独立生成候选扩展；第二阶段，一个更大的LLM将这些候选扩展合成一个查询。同时，集成了任务驱动的自动提示优化（APO）循环，以提高提示工程的可扩展性。

关键创新：与传统的提示优化方法不同，MERGE的APO循环通过候选扩展的下游检索性能进行评分，并通过小型比赛选择最佳提示，确保优化过程的有效性和稳定性。

关键设计：在APO循环中，当前冠军提示与优化器提出的草稿进行小型比赛，直到冠军连续两轮胜出；历史增强变体将最近的比赛轨迹反馈给优化器，以进一步优化提示。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

MERGE在五个BEIR基准上显著提升BM25的nDCG@10，提升幅度从+2.1到+14.9点，且在使用紧凑的开源模型的情况下，性能与强大的LLM基础的查询扩展基线相匹配或超越，验证了其有效性。

🎯 应用场景

MERGE框架在信息检索领域具有广泛的应用潜力，能够有效提升查询扩展的质量，适用于搜索引擎、问答系统和推荐系统等场景。未来，该方法可扩展到更多的自然语言处理任务中，进一步推动智能检索技术的发展。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used to enrich user queries in information retrieval (IR) so that a standard retriever such as BM25 can bridge vocabulary gaps with the target corpus. Any single LLM, however, is limited by its training data and architectural biases, and its enrichment behavior depends on hand-crafted prompts that must be re-engineered for each new model -- an expensive and poorly scalable process. We present MERGE (Multi-LLM Ensemble for Retrieval via Generative Enrichment), a two-stage framework: three heterogeneous 7-8B open-source LLMs independently produce candidate expansions, and a larger LLM generatively synthesizes them into a single query. To make prompt engineering scalable across the ensemble, we integrate a task-grounded Automatic Prompt Optimization (APO) loop into both stages. Unlike APO methods that judge candidates with an LLM evaluator, our loop scores each candidate by its downstream retrieval performance and runs a small tournament between the current champion prompt and optimizer-proposed drafts, terminating once the champion survives two consecutive rounds; a history-augmented variant additionally feeds the recent tournament trajectory back to the optimizer. MERGE is retriever-agnostic and issues a single BM25 pass with no rank fusion, no supervised document expansion, and no re-indexing. On five BEIR benchmarks (NQ, SciFact, FiQA, Touche-2020, DBPedia), MERGE improves BM25 nDCG@10 over the original queries by +2.1 to +14.9 points and matches or outperforms strong LLM-based query-expansion baselines despite using only compact open-source models. Ablations confirm that the Stage-2 ensemble beats any single Stage-1 LLM, and that task-grounded APO converts large seed-prompt regressions into consistent gains without hand-tuning.