InteGround: On the Evaluation of Verification and Retrieval Planning in Integrative Grounding

📄 arXiv: 2509.16534v1 📥 PDF

作者: Cheng Jiayang, Qianqian Zhuang, Haoran Li, Chunkit Chan, Xin Liu, Lin Qiu, Yangqiu Song

分类: cs.CL, cs.AI

发布日期: 2025-09-20

备注: Accepted to EMNLP 2025 Findings

💡 一句话要点

InteGround：提出综合性知识整合评估框架，解决LLM在复杂推理中证据检索与验证难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识整合 大型语言模型 证据检索 可信度验证 检索规划

📋 核心要点

  1. 现有知识整合方法在简单查询上表现良好，但难以处理需要综合多条证据的复杂推理任务。
  2. 论文提出“综合性知识整合”概念，通过检索和验证多个相互依赖的证据来支持假设查询。
  3. 实验表明，无向规划会降低性能，前提归纳方法更有效，且LLM的自反思能力能提升整合质量。

📝 摘要（中文）

本文提出了“综合性知识整合”（integrative grounding）的概念，旨在评估大型语言模型（LLMs）在需要整合多个相互依赖的证据以支持假设查询时的检索和验证能力。作者从四个领域重新构建数据，用于系统性地研究这一问题。研究结果表明：在可信度验证方面，LLMs对冗余证据具有鲁棒性，但在信息不完整时倾向于使用内部知识进行合理化；在检索规划策略方面，无向规划会因引入噪声而降低性能，而前提归纳（premise abduction）由于其逻辑约束而成为一种有前景的方法。此外，LLMs的零样本自反思能力始终能提高知识整合的质量。这些发现为开发更有效的综合性知识整合系统提供了有价值的方向。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在处理需要整合多个相互依赖的证据才能回答的复杂查询时，证据检索和验证能力不足的问题。现有方法在处理简单查询时表现良好，但无法有效处理需要综合多个知识片段的复杂推理场景，导致LLMs容易产生幻觉或给出不准确的答案。

核心思路：论文的核心思路是系统性地评估LLMs在“综合性知识整合”方面的能力，即检索和验证多个相互依赖的证据以支持假设查询。通过构建一个评估框架，分析LLMs在证据检索、验证和推理过程中的表现，从而发现现有方法的不足之处，并为改进方法提供指导。

技术框架：论文通过重新组织来自四个不同领域的数据集来构建评估框架。该框架包含两个主要任务：1) 可信度验证：评估LLMs判断给定证据是否支持假设查询的能力；2) 检索规划：评估不同的检索策略对LLMs性能的影响。论文研究了不同的检索规划策略，包括无向规划和前提归纳，并探索了LLMs的零样本自反思能力对知识整合质量的影响。

关键创新：论文的关键创新在于提出了“综合性知识整合”这一概念，并构建了一个用于评估LLMs在该任务上的能力的框架。此外，论文还发现前提归纳是一种有前景的检索策略，并且LLMs的零样本自反思能力可以提高知识整合的质量。这些发现为未来的研究提供了新的方向。

关键设计：论文的关键设计包括：1) 从四个领域（具体领域未知，论文未明确说明）重新构建数据集，以覆盖不同类型的知识和推理模式；2) 设计了可信度验证和检索规划两个任务，以全面评估LLMs的知识整合能力；3) 探索了不同的检索策略，并分析了它们对LLMs性能的影响；4) 研究了LLMs的零样本自反思能力，并评估了它对知识整合质量的提升效果。具体的参数设置、损失函数、网络结构等技术细节未知，论文中没有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs对冗余证据具有鲁棒性，但在信息不完整时倾向于使用内部知识进行合理化。无向规划会因引入噪声而降低性能，而前提归纳是一种有前景的检索策略。LLMs的零样本自反思能力始终能提高知识整合的质量。具体性能数据和提升幅度未知，论文中没有给出详细的数值结果。

🎯 应用场景

该研究成果可应用于问答系统、信息检索、智能助手等领域，提升LLM在复杂推理场景下的准确性和可靠性。通过改进知识整合能力，可以减少LLM产生幻觉，提高其在实际应用中的可信度，例如在医疗诊断、金融分析等需要高度准确性的领域。

📄 摘要（原文）

Grounding large language models (LLMs) in external knowledge sources is a promising method for faithful prediction. While existing grounding approaches work well for simple queries, many real-world information needs require synthesizing multiple pieces of evidence. We introduce "integrative grounding" -- the challenge of retrieving and verifying multiple inter-dependent pieces of evidence to support a hypothesis query. To systematically study this problem, we repurpose data from four domains for evaluating integrative grounding capabilities. Our investigation reveals two critical findings: First, in groundedness verification, while LLMs are robust to redundant evidence, they tend to rationalize using internal knowledge when information is incomplete. Second, in examining retrieval planning strategies, we find that undirected planning can degrade performance through noise introduction, while premise abduction emerges as a promising approach due to its logical constraints. Additionally, LLMs' zero-shot self-reflection capabilities consistently improve grounding quality. These insights provide valuable direction for developing more effective integrative grounding systems.