GRACE: Graph-Grounded Reflective Agent Copilot Engine for Expert-in-the-Loop Knowledge Expansion

📄 arXiv: 2609.04442v1 📥 PDF

作者: John Seon Keun Yi, Joshua R. Minot, Dokyun Lee

分类: cs.CL, cs.AI

发布日期: 2026-09-03

备注: AKBC Workshop @ EMNLP 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出GRACE框架以解决语言模型生成虚假信息问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图基础学习 知识扩展 专家验证 语言模型 信息检索 不确定性量化

📋 核心要点

  1. 现有的检索增强生成方法在处理高风险环境中的语言模型时，容易生成缺乏依据的虚假信息，且难以有效追踪证据关系。
  2. GRACE框架通过将LLM的响应分解为原子声明，并与可信知识先验在加权二分图中进行关联，从而实现对声明的有效分类和验证。
  3. 实验结果显示，GRACE在多个语言模型上表现优越，其知识库在检索任务中超越了传统RAG方法，且有效选择了需专家验证的边界知识。

📝 摘要（中文）

在高风险环境中部署的大型语言模型常常生成看似合理但缺乏依据的陈述。传统的检索增强生成（RAG）管道无法有效解决这一问题，因为它们仅检索孤立的段落，未能跟踪跨文档的证据关系或量化不确定性。本文提出GRACE（图基础反思代理助手引擎），该框架将LLM的响应分解为原子声明，并通过加权二分图将其与可信知识先验进行关联。边权编码了每个声明与先验的接近程度，从而实现加权中心性分析，分类声明为“有依据”、“被驳斥”或“边界”。这种分类不仅识别幻觉，还识别模型知识边界上的新颖或有争议的声明。我们在多个语言模型和涵盖一般及领域特定知识的数据集上评估了GRACE，结果表明我们的知识库作为检索的可靠基础，超越了RAG基线。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在高风险环境中生成缺乏依据的虚假信息的问题。现有的检索增强生成方法（RAG）无法有效追踪跨文档的证据关系，且对不确定性的量化能力有限。

核心思路：GRACE框架的核心思路是将LLM的响应分解为原子声明，并通过加权二分图将这些声明与可信的知识先验进行关联。通过边权的设计，能够有效地进行声明的分类和验证，从而减少幻觉现象。

技术框架：GRACE的整体架构包括三个主要模块：原子声明提取、加权二分图构建和专家验证机制。首先，从LLM的响应中提取原子声明；然后，构建加权二分图以关联声明与知识先验；最后，基于不确定性进行专家验证。

关键创新：GRACE的主要创新在于引入了加权二分图结构和Return on Attention（RoA）目标，通过优先级加权的不确定性来决定是否将声明推迟到专家审核，从而实现了知识的动态扩展。

关键设计：在GRACE中，边权的设置基于声明与知识先验的接近程度，采用加权中心性分析来分类声明。RoA目标的设计确保了只有在声明的不确定性超过验证成本时，才会推送给专家审核，从而优化了资源的分配。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GRACE在多个语言模型上表现优越，其知识库在检索任务中超越了传统RAG方法，提升幅度显著。特别是在边界知识的选择上，RoA框架有效地识别出需专家验证的高价值声明，优化了验证过程。

🎯 应用场景

GRACE框架在多个领域具有广泛的应用潜力，尤其是在医疗、法律和金融等高风险环境中，可以有效提高大型语言模型的可靠性和准确性。通过引入专家验证机制，GRACE能够在动态知识扩展中保持信息的真实性，未来可能推动智能助手和决策支持系统的发展。

📄 摘要（原文）

Large language models deployed in high-stakes settings frequently generate plausible but ungrounded claims. Standard retrieval-augmented generation (RAG) pipelines offer limited remedy, since they retrieve isolated passages without tracking cross-document evidence relationships or quantifying uncertainty. We introduce GRACE (Graph-grounded Reflective Agent Copilot Engine), a framework that deconstructs LLM responses into atomic claims and grounds them against trusted knowledge priors within a weighted bipartite graph. Edge weights encode the closeness of each claim to the priors, enabling weighted centrality analysis that classifies claims as Grounded, Refuted, or Boundary. Such classification identifies not just hallucinations but also novel or contested claims at the frontier of the model's knowledge. To efficiently allocate human or agent resources, we formulate a Return on Attention (RoA) objective that defers a claim to expert review only when its priority-weighted uncertainty exceeds the cost of verification. Claims verified by experts are promoted to new evidence anchors, closing a validator-LLM evolutionary loop that expands the knowledge base across iterations. We evaluate GRACE across multiple language models and on datasets spanning both general and domain-specific knowledge. Our results show that our knowledge base serves as a reliable foundation for retrieval that outperforms RAG baselines, and that the RoA framework efficiently selects valuable boundary knowledge for expert verification. These findings demonstrate that graph-structured representations combined with expert-in-the-loop verification can mitigate hallucination at the system level rather than at the generation level. Code available at https://github.com/johnsk95/grace_code