CONSISTRE: A Unified Consistency-Aware Framework for Document-Level Relation Extraction with Large Language Models

📄 arXiv: 2607.24312v1 📥 PDF

作者: Mingxuan Sun

分类: cs.CL

发布日期: 2026-07-27

备注: 13 pages, 2 figures. Submitted to IEEE/ACM Transactions on Audio, Speech, and Language Processing

💡 一句话要点

提出CONSISTRE框架以解决文档级关系抽取中的一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档级关系抽取 一致性建模 知识蒸馏 强化学习 大型语言模型

📋 核心要点

  1. 现有方法在文档级关系抽取中，预测三元组时常独立进行，导致违反基本关系约束，输出结果不一致。
  2. 本文提出CONSISTRE框架，通过推理时的约束感知提示和训练时的知识蒸馏，提升关系抽取的一致性和可靠性。
  3. 实验结果显示，推理轨道在黑箱LLMs上达到了竞争性F1分数，而训练轨道显著提升了开源模型的性能，降低了推理成本。

📝 摘要（中文）

文档级关系抽取（DocRE）旨在从扩展上下文中提取多个实体之间的关系，并保持预测三元组的一致性。尽管大型语言模型（LLMs）在信息抽取中展现出卓越的推理能力，但其对每个候选三元组的独立预测可能违反基本的关系约束，如传递性、对称性和功能唯一性，导致输出结果矛盾且不可靠。为此，本文提出了CONSISTRE，一个统一的一致性感知框架，通过两个互补的轨道来解决这一限制。第一个轨道在推理时针对黑箱LLMs，结合约束感知提示、基于约束的验证和迭代自我反思来优化预测。第二个轨道通过知识蒸馏和强化学习将一致性知识注入较小的开源模型。实验结果表明，这两个轨道均优于基线，推理轨道在使用现成黑箱LLMs时达到了竞争性的F1分数，而训练轨道则显著缩小了7-8B开源模型与最先进的专有LLMs之间的差距。

🔬 方法详解

问题定义：本文解决文档级关系抽取中的一致性问题，现有方法在处理多实体关系时，往往忽视了关系之间的基本约束，导致输出结果矛盾和不可靠。

核心思路：提出CONSISTRE框架，通过两个轨道分别在推理和训练阶段引入一致性知识，优化关系抽取的结果，确保预测的可靠性和一致性。

技术框架：框架分为两个主要轨道：推理轨道针对黑箱LLMs，结合约束感知提示、验证和自我反思；训练轨道通过知识蒸馏将一致性知识注入开源模型，采用强化学习进行优化。

关键创新：最重要的创新在于将一致性建模引入到关系抽取中，显著提高了模型的输出可靠性，克服了传统方法的局限性。

关键设计：在推理轨道中，采用约束感知提示和迭代自我反思机制；在训练轨道中，通过监督微调和复合奖励进行GRPO对齐，优化提取性能与关系一致性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，推理轨道在使用黑箱LLMs时达到了竞争性的F1分数，而训练轨道则显著缩小了7-8B开源模型与最先进专有LLMs之间的性能差距，且推理成本大幅降低，显示出该框架的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括信息检索、知识图谱构建和智能问答系统等。通过提升文档级关系抽取的准确性和一致性，能够为多种自然语言处理任务提供更可靠的基础，推动相关技术的发展和应用。未来，该框架可能在更广泛的领域中得到应用，提升自动化信息处理的能力。

📄 摘要（原文）

Document-level relation extraction (DocRE) aims to extract relations among multiple entities across extended contexts while maintaining consistency across predicted triples. Although large language models (LLMs) show remarkable reasoning capabilities in information extraction, their predictions are typically generated independently for each candidate triple and may violate fundamental relational constraints such as transitivity, symmetry, and functional uniqueness, leading to contradictory and unreliable outputs. We propose CONSISTRE, a unified consistency-aware framework for DocRE that addresses this limitation through two complementary tracks. The first operates at inference time for black-box LLMs, combining constraint-aware prompting, constraint-based verification, and iterative self-reflection to refine predictions without task-specific fine-tuning. The second injects consistency knowledge into smaller open-source models via a knowledge distillation and reinforcement learning pipeline: reasoning traces from a powerful teacher are distilled into a student via supervised fine-tuning, followed by GRPO alignment using a composite reward that jointly optimizes extraction performance and relational consistency. Together, the two tracks cover both API-accessible and locally deployable scenarios under a unified consistency formulation. Experiments on DocRED show that both tracks outperform their baselines, with the inference-time track achieving competitive F1 using off-the-shelf black-box LLMs and the training-time track substantially narrowing the gap between 7--8B open-source models and state-of-the-art proprietary LLMs at a fraction of their inference cost. Ablation studies confirm that explicit consistency modeling mitigates relational contradictions and enhances the reliability of LLM-based DocRE across both deployment paradigms.