Fine-tuning Large Language Models for Improving Factuality in Legal Question Answering

📄 arXiv: 2501.06521v1 📥 PDF

作者: Yinghao Hu, Leilei Gan, Wenyi Xiao, Kun Kuang, Fei Wu

分类: cs.CL

发布日期: 2025-01-11

备注: 18 pages, 8 figures, to be published in COLING 2025

💡 一句话要点

提出HIPO方法，微调大语言模型以提升法律问答的事实性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律问答 大语言模型 幻觉缓解 微调 直接偏好优化 行为克隆 难样本学习

📋 核心要点

  1. 大语言模型在法律问答中存在幻觉问题，生成不准确或虚假信息，影响其可靠性。
  2. 论文提出HIPO方法，结合行为克隆和难样本感知的迭代直接偏好优化，减少幻觉。
  3. 实验结果表明，该方法在多个指标上均有提升，包括法规相关性和法律主张真实性。

📝 摘要（中文）

幻觉，即生成不正确或捏造的信息，仍然是大语言模型（LLMs）中的一个关键挑战，尤其是在法律问答（QA）等高风险领域。为了降低法律QA中的幻觉率，我们首先引入了一个名为LegalHalBench的基准，并提出了三个自动指标来评估LLMs回答法律问题时常见的幻觉。然后，我们提出了一种幻觉缓解方法，该方法集成了行为克隆和一种新颖的Hard Sample-aware Iterative Direct Preference Optimization（HIPO）。我们进行了广泛的真实数据实验，以验证我们方法的有效性。我们的结果表明，在各种指标上都有显著的改进，包括新提出的非幻觉法规率、法规相关性率、法律主张真实性，以及传统的指标，如METEOR、BERTScore、ROUGE-L和胜率。

🔬 方法详解

问题定义：现有的大语言模型在法律问答领域容易产生幻觉，即生成与事实不符或捏造的信息。这在高风险的法律领域是不可接受的。现有的方法难以有效区分和处理导致幻觉的难样本，从而限制了模型的事实性。

核心思路：论文的核心思路是通过行为克隆学习专家的行为，并利用难样本感知的迭代直接偏好优化（HIPO）来进一步提升模型的事实性。HIPO的目的是让模型能够更好地学习从专家数据中区分和纠正幻觉，从而提高生成答案的真实性和可靠性。

技术框架：整体框架包含以下几个主要步骤：1) 构建法律问答幻觉评估基准LegalHalBench；2) 使用行为克隆初始化模型，使其初步具备法律问答能力；3) 利用HIPO方法，通过迭代优化，使模型更好地学习专家的偏好，减少幻觉的产生。

关键创新：最重要的技术创新点在于HIPO方法，它是一种难样本感知的迭代直接偏好优化算法。与传统的直接偏好优化方法不同，HIPO更加关注那些容易导致幻觉的难样本，通过对这些样本进行更精细的优化，从而更有效地减少幻觉的产生。此外，LegalHalBench基准的构建也为评估法律问答中的幻觉提供了一个标准化的平台。

关键设计：HIPO的关键设计包括：1) 难样本的识别机制，例如通过模型预测置信度或与专家答案的差异来判断；2) 针对难样本的损失函数加权，使得模型更加关注这些样本；3) 迭代优化策略，通过多轮训练，逐步提升模型的事实性。具体的损失函数和网络结构细节在论文中可能未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的HIPO方法在LegalHalBench基准上取得了显著的性能提升。具体而言，在非幻觉法规率、法规相关性率和法律主张真实性等指标上均有明显改善。此外，在传统的METEOR、BERTScore和ROUGE-L等指标上也表现出竞争力，证明了该方法在提升法律问答事实性方面的有效性。具体的提升幅度需要参考论文中的实验数据。

🎯 应用场景

该研究成果可应用于智能法律咨询、法律文书校对、法律知识库构建等领域。通过提高法律问答系统的准确性和可靠性，可以为律师、法官和普通民众提供更优质的法律服务，并降低法律风险。未来，该技术有望与法律知识图谱等技术结合，构建更智能化的法律服务平台。

📄 摘要（原文）

Hallucination, or the generation of incorrect or fabricated information, remains a critical challenge in large language models (LLMs), particularly in high-stake domains such as legal question answering (QA). In order to mitigate the hallucination rate in legal QA, we first introduce a benchmark called LegalHalBench and three automatic metrics to evaluate the common hallucinations when LLMs answer legal questions. We then propose a hallucination mitigation method that integrates behavior cloning and a novel Hard Sample-aware Iterative Direct Preference Optimization (HIPO). We conduct extensive real-data experiments to validate the effectiveness of our approach. Our results demonstrate remarkable improvements in various metrics, including the newly proposed Non-Hallucinated Statute Rate, Statute Relevance Rate, Legal Claim Truthfulness, as well as traditional metrics such as METEOR, BERTScore, ROUGE-L, and win rates.