InteGround: On the Evaluation of Verification and Retrieval Planning in Integrative Grounding

📄 arXiv: 2509.16534v1 📥 PDF

作者: Cheng Jiayang, Qianqian Zhuang, Haoran Li, Chunkit Chan, Xin Liu, Lin Qiu, Yangqiu Song

分类: cs.CL, cs.AI

发布日期: 2025-09-20

备注: Accepted to EMNLP 2025 Findings

💡 一句话要点

InteGround：提出综合性知识融合评估框架，用于评估LLM在复杂推理场景下的知识检索与验证能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识融合 大型语言模型 检索规划 知识验证 证据推理

📋 核心要点

  1. 现有知识融合方法在处理复杂、需要综合多个证据的查询时存在不足，难以满足实际需求。
  2. 论文提出“综合性知识融合”概念，侧重于评估LLM在检索和验证多个相互依赖的证据以支持假设查询的能力。
  3. 实验表明，LLM在信息不完整时倾向于使用内部知识，无向规划会降低性能，而前提归纳和自我反思能提升融合质量。

📝 摘要（中文）

为了使大型语言模型（LLMs）能够进行可靠的预测，将其与外部知识源相结合是一种很有前景的方法。虽然现有的知识融合方法在处理简单查询时表现良好，但许多实际的信息需求需要综合多个证据。我们提出了“综合性知识融合”——即检索和验证多个相互依赖的证据以支持假设查询的挑战。为了系统地研究这个问题，我们重新利用了来自四个领域的数据来评估综合性知识融合能力。我们的研究揭示了两个关键发现：首先，在知识融合验证中，虽然LLMs对冗余证据具有鲁棒性，但当信息不完整时，它们倾向于使用内部知识进行合理化。其次，在检查检索规划策略时，我们发现无向规划会因引入噪声而降低性能，而前提归纳由于其逻辑约束而成为一种有前景的方法。此外，LLMs的零样本自我反思能力始终能提高知识融合质量。这些见解为开发更有效的综合性知识融合系统提供了有价值的方向。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在复杂推理场景下，需要综合多个相互依赖的证据进行知识检索和验证的问题。现有方法在处理此类问题时，往往难以有效地检索到所有相关信息，并且容易受到噪声信息的影响，导致推理结果不准确。

核心思路：论文的核心思路是系统性地评估LLMs在“综合性知识融合”任务中的表现，通过分析LLMs在不同策略下的表现，揭示其在知识检索和验证方面的优势和不足，从而为开发更有效的知识融合系统提供指导。论文特别关注了检索规划策略和LLMs的自我反思能力。

技术框架：论文构建了一个评估框架，该框架基于四个领域的数据集，用于评估LLMs在综合性知识融合任务中的表现。该框架主要包含两个阶段：知识检索阶段和知识验证阶段。在知识检索阶段，LLMs需要根据查询检索相关的证据；在知识验证阶段，LLMs需要根据检索到的证据验证假设的真伪。论文还研究了不同的检索规划策略，例如无向规划和前提归纳。

关键创新：论文的关键创新在于提出了“综合性知识融合”这一概念，并构建了一个系统性的评估框架来研究LLMs在该任务中的表现。此外，论文还发现了LLMs在知识融合验证中存在的一些问题，例如在信息不完整时倾向于使用内部知识，以及无向规划会降低性能。

关键设计：论文的关键设计包括：1) 重新利用了来自四个领域的数据集，以评估LLMs在不同领域的综合性知识融合能力；2) 研究了不同的检索规划策略，例如无向规划和前提归纳，以评估其对知识融合性能的影响；3) 评估了LLMs的零样本自我反思能力对知识融合质量的影响。

📊 实验亮点

实验结果表明，LLMs在知识融合验证中对冗余证据具有鲁棒性，但在信息不完整时倾向于使用内部知识。无向规划会降低性能，而前提归纳是一种有前景的方法。LLMs的零样本自我反思能力始终能提高知识融合质量。这些发现为改进知识融合系统提供了重要指导。

🎯 应用场景

该研究成果可应用于问答系统、智能助手、决策支持系统等领域，提升LLM在复杂推理场景下的准确性和可靠性。通过优化知识检索和验证策略，可以减少LLM对内部知识的依赖，提高其在开放域环境中的适应性，并最终提升用户体验。

📄 摘要（原文）

Grounding large language models (LLMs) in external knowledge sources is a promising method for faithful prediction. While existing grounding approaches work well for simple queries, many real-world information needs require synthesizing multiple pieces of evidence. We introduce "integrative grounding" -- the challenge of retrieving and verifying multiple inter-dependent pieces of evidence to support a hypothesis query. To systematically study this problem, we repurpose data from four domains for evaluating integrative grounding capabilities. Our investigation reveals two critical findings: First, in groundedness verification, while LLMs are robust to redundant evidence, they tend to rationalize using internal knowledge when information is incomplete. Second, in examining retrieval planning strategies, we find that undirected planning can degrade performance through noise introduction, while premise abduction emerges as a promising approach due to its logical constraints. Additionally, LLMs' zero-shot self-reflection capabilities consistently improve grounding quality. These insights provide valuable direction for developing more effective integrative grounding systems.