Cross-Refine: Improving Natural Language Explanation Generation by Learning in Tandem

📄 arXiv: 2409.07123v2 📥 PDF

作者: Qianli Wang, Tatiana Anikina, Nils Feldhus, Simon Ostermann, Sebastian Möller, Vera Schmitt

分类: cs.CL, cs.LG

发布日期: 2024-09-11 (更新: 2024-12-02)

备注: Accepted at COLING 2025; long paper

💡 一句话要点

提出Cross-Refine框架，通过生成器-评论家协同学习提升自然语言解释生成质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言解释 大型语言模型 协同学习 生成器-评论家 可解释性

📋 核心要点

  1. 现有方法生成的自然语言解释(NLEs)质量不高，大型语言模型(LLM)难以一次性生成最佳解释。
  2. Cross-Refine框架模仿人类学习过程，利用两个LLM分别作为生成器和评论家，协同改进NLEs。
  3. 实验结果表明，Cross-Refine优于Self-Refine，且在较弱的LLM上也能有效工作，无需额外训练数据。

📝 摘要（中文）

自然语言解释(NLEs)对于阐明大型语言模型(LLM)决策背后的推理至关重要。许多技术已经被开发出来，利用LLM生成NLEs。然而，与人类一样，LLM可能无法在第一次尝试时就产生最佳的NLEs。受到人类学习过程的启发，我们引入了Cross-Refine，它采用角色建模，部署两个LLM分别作为生成器和评论家。生成器输出第一个NLE，然后利用评论家提供的反馈和建议来改进这个初始解释。Cross-Refine不需要任何监督训练数据或额外的训练。我们通过自动和人工评估，在三个NLP任务中使用三个最先进的开源LLM验证了Cross-Refine。我们选择Self-Refine作为基线，它只利用自我反馈来改进解释。自动评估和用户研究的结果表明，Cross-Refine优于Self-Refine。同时，Cross-Refine可以在不太强大的LLM上有效地执行，而Self-Refine只在使用ChatGPT时产生强大的结果。此外，我们进行了一项消融研究，以评估反馈和建议的重要性。它们都在改进解释方面发挥着重要作用。我们进一步在英语和德语的双语数据集上评估了Cross-Refine。

🔬 方法详解

问题定义：论文旨在解决大型语言模型生成的自然语言解释(NLEs)质量不高的问题。现有方法，如Self-Refine，依赖于模型自身的反馈进行改进，但这种自我改进可能存在局限性，无法充分挖掘模型的潜力。因此，如何更有效地提升NLEs的质量是一个重要的研究问题。

核心思路：论文的核心思路是模仿人类学习过程中的互相学习和反馈机制。通过引入一个独立的“评论家”角色，对生成器产生的NLEs进行评估和提出改进建议，从而引导生成器生成更准确、更合理的解释。这种“生成器-评论家”的协同学习方式能够更有效地提升NLEs的质量。

技术框架：Cross-Refine框架包含两个主要模块：生成器和评论家。生成器首先根据输入数据生成一个初始的NLE。然后，评论家对该NLE进行评估，并提供反馈和改进建议。生成器接收到评论家的反馈后，根据这些反馈对初始NLE进行改进，生成最终的解释。整个过程可以迭代多次，直到生成满意的解释。框架不需要额外的训练数据，可以直接应用于预训练的LLM。

关键创新：Cross-Refine的关键创新在于引入了“评论家”角色，实现了生成器和评论家之间的协同学习。与Self-Refine相比，Cross-Refine能够利用外部的知识和视角来评估和改进NLEs，从而避免了自我改进的局限性。此外，Cross-Refine不需要额外的训练数据，可以直接应用于现有的LLM，具有很强的实用性。

关键设计：Cross-Refine的关键设计包括：(1) 如何设计评论家的prompt，使其能够有效地评估NLEs并提供有用的反馈；(2) 如何将评论家的反馈融入到生成器的改进过程中，使其能够有效地利用这些反馈来提升NLEs的质量；(3) 如何控制迭代次数，以在保证NLEs质量的同时，避免过长的推理时间。论文中具体使用的prompt和迭代次数等参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Cross-Refine在三个NLP任务上均优于Self-Refine。尤其是在使用较弱的LLM时，Cross-Refine的优势更加明显。消融实验表明，反馈和建议在改进解释方面都发挥着重要作用。此外，Cross-Refine在英语和德语的双语数据集上均表现良好，表明其具有一定的跨语言适应性。具体的性能提升数据未知。

🎯 应用场景

Cross-Refine框架可应用于各种需要自然语言解释的场景，例如：医疗诊断、金融风控、法律咨询等。通过提供高质量的解释，可以增强用户对模型决策的信任度，提高模型的可解释性和透明度，从而促进人工智能技术的广泛应用。

📄 摘要（原文）

Natural language explanations (NLEs) are vital for elucidating the reasoning behind large language model (LLM) decisions. Many techniques have been developed to generate NLEs using LLMs. However, like humans, LLMs might not always produce optimal NLEs on first attempt. Inspired by human learning processes, we introduce Cross-Refine, which employs role modeling by deploying two LLMs as generator and critic, respectively. The generator outputs a first NLE and then refines this initial explanation using feedback and suggestions provided by the critic. Cross-Refine does not require any supervised training data or additional training. We validate Cross-Refine across three NLP tasks using three state-of-the-art open-source LLMs through automatic and human evaluation. We select Self-Refine (Madaan et al., 2023) as the baseline, which only utilizes self-feedback to refine the explanations. Our findings from automatic evaluation and a user study indicate that Cross-Refine outperforms Self-Refine. Meanwhile, Cross-Refine can perform effectively with less powerful LLMs, whereas Self-Refine only yields strong results with ChatGPT. Additionally, we conduct an ablation study to assess the importance of feedback and suggestions. Both of them play an important role in refining explanations. We further evaluate Cross-Refine on a bilingual dataset in English and German.