Improving Implicit Discourse Relation Recognition with Natural Language Explanations from LLMs

📄 arXiv: 2602.21763v1 📥 PDF

作者: Heng Wang, Changxing Wu

分类: cs.CL

发布日期: 2026-02-25

备注: AAAI26'0ral

💡 一句话要点

利用大语言模型解释增强隐式篇章关系识别

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐式篇章关系识别 大语言模型 自然语言解释 分类生成框架 可解释性 知识蒸馏 篇章理解

📋 核心要点

  1. 隐式篇章关系识别(IDRR)依赖深度语义理解，缺乏显式篇章标记，现有方法仅预测关系，缺乏解释。
  2. 利用大语言模型(LLM)的推理能力，生成自然语言解释，并将其提炼到轻量级IDRR模型中。
  3. 提出分类-生成框架，联合进行关系预测和解释生成，实验表明该方法显著提高了IDRR性能和可解释性。

📝 摘要（中文）

隐式篇章关系识别(IDRR)是一项具有挑战性的任务，因为它需要在没有显式篇章标记的情况下进行深度语义理解。现有方法的另一个局限性是仅预测关系而不提供任何支持性解释。最近，大型语言模型(LLM)在深度语言理解和自然语言解释生成方面都表现出强大的推理能力。本文提出了一种简单而有效的方法，将LLM的推理能力提炼到轻量级IDRR模型中，以提高性能和可解释性。具体来说，我们首先提示LLM为每个训练实例生成以其黄金标签为条件的解释。然后，我们引入了一种新颖的分类-生成框架，该框架共同执行关系预测和解释生成，并利用LLM生成的解释进行额外监督来训练它。我们的框架是即插即用的，可以轻松地与大多数现有IDRR模型集成。在PDTB上的实验结果表明，我们的方法显着提高了IDRR性能，而人工评估进一步证实了生成的解释增强了模型的可解释性。此外，我们在情感分类和自然语言推理上验证了我们方法的通用性。

🔬 方法详解

问题定义：隐式篇章关系识别(IDRR)旨在识别文本中隐含的篇章关系，例如因果、对比等。现有方法主要依赖于深度学习模型直接预测关系，但缺乏对预测结果的解释，难以理解模型推理过程，且性能提升遇到瓶颈。

核心思路：利用大型语言模型(LLM)强大的语言理解和生成能力，为每个训练样本生成自然语言解释，作为模型推理过程的显式表达。然后，通过训练一个分类-生成模型，使其不仅能预测关系，还能生成相应的解释，从而提高模型的性能和可解释性。

技术框架：该方法包含两个主要阶段：1) LLM解释生成阶段：使用预训练的LLM，例如GPT-3，根据给定的文本和黄金标签，生成解释文本。2) 分类-生成模型训练阶段：构建一个联合模型，同时进行关系分类和解释生成。该模型以文本作为输入，输出关系标签和解释文本。训练过程中，使用交叉熵损失函数优化关系分类，使用序列生成损失函数（例如，负对数似然）优化解释生成，并利用LLM生成的解释作为监督信号。

关键创新：该方法的核心创新在于将LLM的推理能力融入到IDRR模型中，通过生成自然语言解释来增强模型的可解释性。与现有方法相比，该方法不仅能预测关系，还能提供解释，有助于理解模型的推理过程。此外，该方法采用分类-生成框架，将关系分类和解释生成联合优化，提高了模型的性能。

关键设计：在LLM解释生成阶段，使用特定的prompt来引导LLM生成高质量的解释。在分类-生成模型训练阶段，可以使用不同的模型架构，例如Transformer模型，来实现关系分类和解释生成。损失函数的设计至关重要，需要平衡关系分类和解释生成的优化目标。此外，还可以使用不同的解码策略，例如beam search，来生成更流畅的解释文本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PDTB数据集上的实验结果表明，该方法显著提高了IDRR的性能。与现有基线模型相比，该方法在准确率和F1值上均取得了显著提升。人工评估结果表明，生成的解释具有较高的质量，能够有效地解释模型的推理过程，增强模型的可解释性。此外，该方法在情感分类和自然语言推理任务上也取得了良好的效果，验证了其通用性。

🎯 应用场景

该研究成果可应用于智能文本分析、对话系统、信息抽取等领域。通过提供对篇章关系的解释，可以帮助用户更好地理解文本内容，提高人机交互的自然性和可信度。未来，该方法可以扩展到其他自然语言处理任务，例如情感分析、文本摘要等，以提高模型的可解释性和泛化能力。

📄 摘要（原文）

Implicit Discourse Relation Recognition (IDRR) remains a challenging task due to the requirement for deep semantic understanding in the absence of explicit discourse markers. A further limitation is that existing methods only predict relations without providing any supporting explanations. Recent advances in large language models (LLMs) have shown strong reasoning capabilities in both deep language understanding and natural language explanation generation. In this work, we propose a simple yet effective approach to distill the reasoning capabilities of LLMs into lightweight IDRR models to improve both performance and interpretability. Specifically, we first prompt an LLM to generate explanations for each training instance conditioned on its gold label. Then, we introduce a novel classification-generation framework that jointly performs relation prediction and explanation generation, and train it with the additional supervision of LLM-generated explanations. Our framework is plug-and-play, enabling easy integration with most existing IDRR models. Experimental results on PDTB demonstrate that our approach significantly improves IDRR performance, while human evaluation further confirms that the generated explanations enhance model interpretability. Furthermore, we validate the generality of our approach on sentiment classification and natural language inference