Tracing and Taming Hallucinated Terms via Subsequence-Association Filtering and Breadth-Aware Selection for LLM Query Expansion

📄 arXiv: 2610.13810v1 📥 PDF

作者: Amit Kumar Jaiswal, Sagar Uprety, Prayag Tiwari

分类: cs.IR, cs.CL

发布日期: 2026-10-09

💡 一句话要点

提出SAFE-QE以解决大语言模型的幻觉术语问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 查询扩展 幻觉术语 大语言模型 信息检索 自然语言处理 机器学习

📋 核心要点

  1. 现有方法将幻觉术语视为需过滤的干扰，缺乏对其出现原因的深入理解和处理标准。
  2. 提出SAFE-QE方法，通过子序列关联过滤和广度感知选择，有效识别和降低幻觉术语的影响。
  3. 在TREC和BEIR基准测试中，SAFE-QE在保持排名质量的同时，显著减少了无支持术语的数量。

📝 摘要（中文）

大语言模型（LLMs）作为查询扩展术语的标准来源，常常会产生幻觉，注入不存在的实体和无关术语，增加排名噪声并影响检索效果。现有方法如语料库基础、相互验证和偏好对齐将幻觉术语视为需过滤的干扰，而缺乏对术语出现原因的机制性解释和保留数量的原则性标准。本文提出了一种训练无关、检索器无关的子序列关联过滤和广度感知查询扩展方法（SAFE-QE），通过对候选扩展术语进行评分，标记出缺乏支持的幻觉术语，并在保持一致性和覆盖度之间进行权衡。实验结果表明，SAFE-QE在nDCG@10上与生成和语料库引导的扩展方法无显著差异，但每个查询注入的无支持术语显著减少。

🔬 方法详解

问题定义：本文旨在解决大语言模型在查询扩展中产生的幻觉术语问题。现有方法未能有效区分幻觉术语与有效术语，导致检索效果下降。

核心思路：SAFE-QE方法通过分析术语在不同查询上下文中的再现性，识别出缺乏支持的幻觉术语，并进行下调权重，从而提高查询扩展的质量。

技术框架：该方法包括候选术语评分、幻觉术语标记和基于覆盖度的术语选择三个主要模块。首先，对候选术语进行评分，然后标记出幻觉术语，最后在伪相关集上进行覆盖度最大化选择。

关键创新：引入了子序列关联过滤机制，基于术语的跨上下文再现性进行评分，显著提高了对幻觉术语的识别能力，与现有方法相比具有更高的准确性和稳定性。

关键设计：采用了基于伪相关集的覆盖度约束最大化策略，确保选择的术语在保持广度的同时具有一致性，此外还引入了幻觉扩展术语率作为评估指标。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，SAFE-QE在nDCG@10上的表现与生成和语料库引导的扩展方法无显著差异，同时每个查询注入的无支持术语数量显著减少，从4.3个降至27.8个（Query2doc）和57.5个（HyDE），表明该方法在保持排名质量的同时有效降低了幻觉术语的影响。

🎯 应用场景

该研究的潜在应用领域包括信息检索、自然语言处理和智能问答系统等。通过提高查询扩展的质量，SAFE-QE能够显著提升检索系统的性能，减少无关信息的干扰，未来可能对搜索引擎和智能助手的优化产生深远影响。

📄 摘要（原文）

Large language models (LLMs) are now a standard source of query expansion terms but they hallucinate. They inject non existent entities and off-topic terms that add ranking noise and can hurt strong retrievers. Existing remedies such as corpus grounding, mutual verification and preference alignment treat hallucinated terms as an undifferentiated nuisance to be filtered by agreement heuristics, without a mechanistic account of why a given term appears or a principled criterion for how many terms to keep. We propose Subsequence-Association Filtered, breadth-aware query expansion (SAFE-QE), a training-free, retriever agnostic method that draws on the subsequence-association account of hallucination. We score each candidate expansion term by its corpus conditioned cross-context reproducibility, terms that reappear under randomised query contexts yet lack support in the pseudo-relevant set are flagged as products of dominant hallucinatory associations and down-weighted. Drawing on the characterisation of language generation as a trade-off between consistency (no hallucination) and breadth (coverage), we cast term selection as constrained coverage maximisation over the pseudo-relevant set, keeping a set that is approximately broad but consistent and stable across resampling. We also introduce the Hallucinated Expansion Term Rate, a query side faithfulness metric that counts injected expansion terms no relevant document supports. We evaluate our approach on benchmarked TREC and BEIR collections. Our SAFE-QE is statistically indistinguishable from generative and corpus-steered expansion on nDCG@10 while injecting fewer unsupported terms 4.3 per query against 27.8 for Query2doc and 57.5 for HyDE and on a strong learned sparse retriever, where every expansion method regresses. Faithfulness is therefore available at no measurable cost in ranking quality.