Mining the Explainability and Generalization: Fact Verification Based on Self-Instruction

📄 arXiv: 2405.12579v2 📥 PDF

作者: Guangyao Lu, Yulin Liu

分类: cs.CL

发布日期: 2024-05-21 (更新: 2024-05-23)

💡 一句话要点

提出基于自指令微调的事实核查方法，兼顾准确性、可解释性和泛化性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 事实核查 自指令学习 对比学习 DPO微调 可解释性 LLM 数据增强

📋 核心要点

  1. 现有基于商业LLM的事实核查方法虽然可解释性高，但准确率不如传统微调，且存在数据安全问题。
  2. 论文提出一种基于自指令的微调方法，通过数据增强和改进的DPO微调，平衡准确性、可解释性和泛化性。
  3. 实验表明，该方法在FEVEROUS和HOVER数据集上，准确率与传统微调相当甚至更高，并能生成流畅的解释文本。

📝 摘要（中文）

本文提出了一种基于自指令的微调方法用于事实核查，旨在平衡准确性和可解释性。该方法包括数据增强和改进的DPO微调两部分。数据增强部分首先指示模型基于claim-evidence对和标签生成正向和负向解释，然后根据自定义的难度标准对数据集进行采样。改进的DPO微调部分则利用生成的数据样本对模型进行微调。我们在具有挑战性的事实核查数据集FEVEROUS和HOVER上，对最小规模的LLaMA-7B模型进行了微调，并与四种微调方法和三种少样本学习方法进行了比较。实验结果表明，该方法不仅保持了与传统微调方法相当甚至更高的准确性，而且生成了流畅的解释文本，并表现出较高的泛化性能。该方法首次利用自监督学习进行事实核查，并在微调LLM中创新性地结合了对比学习和改进的DPO。

🔬 方法详解

问题定义：论文旨在解决基于大型语言模型的事实核查任务中，准确性、可解释性和数据安全之间的平衡问题。现有方法，特别是依赖商业LLM的方法，虽然提供了较好的可解释性，但在准确率上不如传统的微调方法，并且存在数据泄露的风险。因此，需要一种既能保证准确率，又能提供可解释性，同时避免数据安全隐患的解决方案。

核心思路：论文的核心思路是利用自指令学习，让模型自己生成用于训练的数据，从而避免对外部数据的过度依赖。通过让模型生成claim-evidence对的解释，并利用这些解释进行对比学习，可以提高模型对事实的理解能力和推理能力。同时，结合改进的DPO（Direct Preference Optimization）微调方法，可以更好地引导模型学习人类的偏好，从而生成更准确、更可信的答案。

技术框架：该方法主要包含两个阶段：数据增强和改进的DPO微调。在数据增强阶段，首先使用LLM生成claim-evidence对的正向和负向解释。然后，根据自定义的难度标准对生成的数据进行采样，构建训练数据集。在改进的DPO微调阶段，使用生成的数据集对LLM进行微调，目标是让模型学习生成更准确、更可信的答案。

关键创新：该方法的主要创新点在于：1) 首次将自监督学习应用于事实核查任务；2) 创新性地将对比学习和改进的DPO结合起来，用于微调LLM。通过自监督学习，模型可以从自身生成的数据中学习，从而减少对外部数据的依赖。通过对比学习，模型可以更好地区分正向和负向的解释，从而提高准确率。通过改进的DPO，模型可以更好地学习人类的偏好，从而生成更可信的答案。

关键设计：在数据增强阶段，论文设计了自定义的难度标准，用于对生成的数据进行采样。这些标准可能包括解释的长度、复杂度、与claim-evidence的相关性等。在改进的DPO微调阶段，论文可能对DPO的损失函数进行了修改，以更好地适应事实核查任务的特点。具体的损失函数和参数设置在论文中应该有详细的描述。

📊 实验亮点

实验结果表明，该方法在FEVEROUS和HOVER数据集上取得了与传统微调方法相当甚至更高的准确率。更重要的是，该方法能够生成流畅且具有解释性的文本，这对于提高用户对事实核查结果的信任度至关重要。此外，该方法还表现出良好的泛化性能，表明其在不同领域和数据集上具有广泛的应用潜力。

🎯 应用场景

该研究成果可应用于新闻媒体、社交平台等领域，用于自动识别和验证信息的真实性，减少虚假信息的传播。此外，该方法还可以扩展到其他需要可解释性和数据安全性的自然语言处理任务中，例如医疗诊断、金融风控等。未来，该方法有望成为构建可信人工智能系统的重要组成部分。

📄 摘要（原文）

Fact-checking based on commercial LLMs has become mainstream. Although these methods offer high explainability, it falls short in accuracy compared to traditional fine-tuning approaches, and data security is also a significant concern. In this paper, we propose a self-instruction based fine-tuning approach for fact-checking that balances accuracy and explainability. Our method consists of Data Augmentation and Improved DPO fine-tuning. The former starts by instructing the model to generate both positive and negative explanations based on claim-evidence pairs and labels, then sampling the dataset according to our customized difficulty standards. The latter employs our proposed improved DPO to fine-tune the model using the generated samples. We fine-tune the smallest-scale LLaMA-7B model and evaluate it on the challenging fact-checking datasets FEVEROUS and HOVER, utilizing four fine-tuning methods and three few-shot learning methods for comparison. The experiments demonstrate that our approach not only retains accuracy comparable to, or even surpassing, traditional fine-tuning methods, but also generates fluent explanation text. Moreover, it also exhibit high generalization performance. Our method is the first to leverage self-supervised learning for fact-checking and innovatively combines contrastive learning and improved DPO in fine-tuning LLMs, as shown in the experiments.