Listen to the Context: Towards Faithful Large Language Models for Retrieval Augmented Generation on Climate Questions

📄 arXiv: 2505.15633v1 📥 PDF

作者: David Thulke, Jakob Kemmler, Christian Dugast, Hermann Ney

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-05-21

备注: Accepted at the ClimateNLP 2025 Workshop at ACL

💡 一句话要点

针对气候问题，提出ClimateGPT Faithful+，提升检索增强生成中大语言模型的忠实度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 大语言模型 气候科学 忠实度评估 指令微调

📋 核心要点

  1. 检索增强生成（RAG）虽然能缓解大语言模型的事实性幻觉，但模型输出是否忠实于检索到的段落仍是挑战。
  2. 通过指令微调ClimateGPT，并剔除训练数据中不忠实的子集，从而提升模型在气候问题上的忠实度。
  3. 实验结果表明，优化后的ClimateGPT Faithful+在自动评估指标下，忠实度从30%显著提升至57%。

📝 摘要（中文）

本文旨在提升检索增强生成（RAG）中大语言模型在气候问题上的应用效果，解决模型输出与检索段落不一致的问题。通过RAG，研究人员、政策制定者和公众可以更便捷地访问气候相关的长篇技术文档。研究重点在于评估不同模型在此场景下的忠实度。通过对ClimateGPT进行指令微调，并排除训练数据中不忠实的子集，最终得到ClimateGPT Faithful+。根据自动评估指标，ClimateGPT Faithful+在支持原子声明方面的忠实度从30%提升至57%。

🔬 方法详解

问题定义：论文旨在解决检索增强生成（RAG）框架下，大语言模型在处理气候科学相关问题时，输出内容与检索到的上下文不一致，即“不忠实”的问题。现有方法虽然利用检索到的段落作为上下文来减少幻觉，但无法保证模型完全基于这些段落生成答案。

核心思路：论文的核心思路是通过指令微调（instruction fine-tuning）来训练一个更忠实于检索上下文的大语言模型。具体而言，通过识别并排除训练数据中导致模型产生不忠实输出的子集，从而提升模型的整体忠实度。

技术框架：论文主要包含以下几个阶段：1) 使用检索增强生成框架，将气候相关的文档输入大语言模型；2) 评估不同模型的忠实度，开发自动评估指标；3) 对ClimateGPT进行指令微调，构建ClimateGPT Faithful+；4) 通过实验验证ClimateGPT Faithful+的忠实度提升。

关键创新：论文的关键创新在于识别并排除了训练数据中导致模型产生不忠实输出的子集。这种数据清洗方法能够有效地提升模型的忠实度，而无需修改模型的架构或训练目标。此外，论文还提出了一个自动评估模型忠实度的指标，为后续研究提供了参考。

关键设计：论文的关键设计包括：1) 自动评估指标的设计，用于衡量模型输出与检索上下文的一致性；2) 指令微调数据集的构建，特别是如何识别和排除不忠实的训练样本；3) ClimateGPT Faithful+的具体训练策略，包括学习率、batch size等超参数的设置。

📊 实验亮点

实验结果表明，通过排除不忠实的训练数据子集，ClimateGPT Faithful+在支持原子声明方面的忠实度从30%提升至57%。这一显著提升表明，数据清洗对于提升RAG框架下大语言模型的性能至关重要。该研究为构建更可靠、更值得信赖的大语言模型提供了有价值的经验。

🎯 应用场景

该研究成果可应用于气候科学、环境政策等领域，帮助研究人员、政策制定者和公众更有效地利用海量气候数据。通过提升大语言模型在RAG中的忠实度，可以减少错误信息的传播，提高决策的科学性和可靠性。未来，该方法可推广到其他专业领域，例如医学、法律等。

📄 摘要（原文）

Large language models that use retrieval augmented generation have the potential to unlock valuable knowledge for researchers, policymakers, and the public by making long and technical climate-related documents more accessible. While this approach can help alleviate factual hallucinations by relying on retrieved passages as additional context, its effectiveness depends on whether the model's output remains faithful to these passages. To address this, we explore the automatic assessment of faithfulness of different models in this setting. We then focus on ClimateGPT, a large language model specialised in climate science, to examine which factors in its instruction fine-tuning impact the model's faithfulness. By excluding unfaithful subsets of the model's training data, we develop ClimateGPT Faithful+, which achieves an improvement in faithfulness from 30% to 57% in supported atomic claims according to our automatic metric.