SI-FACT: Mitigating Knowledge Conflict via Self-Improving Faithfulness-Aware Contrastive Tuning

📄 arXiv: 2509.10208v1 📥 PDF

作者: Shengqiang Fu

分类: cs.CL, cs.AI

发布日期: 2025-09-12

💡 一句话要点

提出SI-FACT框架，通过自提升的忠实感知对比学习缓解大语言模型中的知识冲突问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 知识冲突 对比学习 自指令学习 上下文忠实性

📋 核心要点

  1. 大语言模型在知识密集型任务中面临知识冲突问题，即模型倾向于使用内部知识而非上下文信息，导致生成不忠实的回应。
  2. SI-FACT框架通过自指令机制自动生成高质量的对比学习数据，包括正负样本，从而降低了人工标注成本。
  3. 实验结果表明，SI-FACT模型在上下文召回率上优于现有方法，并显著降低了对内部记忆的依赖，提升了模型忠实性。

📝 摘要（中文）

大型语言模型在知识密集型任务中，由于知识冲突，即倾向于依赖内部参数知识而非提供的上下文，常常生成不忠实的回应。为了解决这个问题，我们提出了一种新颖的自提升框架，即自提升忠实感知对比学习（SI-FACT）。该框架使用自指令机制，允许基础LLM自动生成高质量、结构化的对比学习数据，包括锚样本、语义等价的正样本和模拟不忠实场景的负样本。这种方法显著降低了手动标注的成本。随后，应用对比学习来训练模型，使其在表征空间中拉近忠实回应，推远不忠实回应。在知识冲突评估基准ECARE KRE和COSE KRE上的实验表明，基于Llama3 8B Instruct的SI-FACT模型比最佳基线方法提高了6.2%的上下文召回率，同时显著降低了对内部记忆的依赖。结果表明，SI-FACT在增强LLM的上下文忠实性方面提供了强大的有效性和高数据效率，为构建更主动和值得信赖的语言模型提供了一条实用的途径。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在知识密集型任务中由于知识冲突而产生不忠实回应的问题。现有方法通常依赖大量人工标注数据，成本高昂，且难以有效区分忠实和不忠实的回应。

核心思路：论文的核心思路是利用自指令机制，让模型自身生成对比学习数据，包括锚样本、正样本（语义等价的忠实回应）和负样本（模拟不忠实场景的回应）。通过对比学习，模型学习区分忠实和不忠实的回应，从而提高上下文忠实性。

技术框架：SI-FACT框架包含两个主要阶段：数据生成阶段和对比学习训练阶段。在数据生成阶段，利用自指令机制，通过精心设计的prompt，让基础LLM生成对比学习数据。在对比学习训练阶段，使用对比损失函数，拉近锚样本和正样本的距离，推远锚样本和负样本的距离。

关键创新：最重要的技术创新点在于利用自指令机制自动生成对比学习数据，避免了大量人工标注，降低了成本，并提高了数据效率。此外，通过模拟不忠实场景生成负样本，能够更有效地训练模型区分忠实和不忠实的回应。

关键设计：论文使用了基于Llama3 8B Instruct的模型作为基础LLM。在对比学习中，使用了InfoNCE损失函数，通过调整温度参数来控制正负样本之间的区分度。自指令prompt的设计是关键，需要保证生成的正样本语义等价且忠实于上下文，负样本模拟不忠实场景。

📊 实验亮点

实验结果表明，基于Llama3 8B Instruct的SI-FACT模型在ECARE KRE和COSE KRE知识冲突评估基准上，比最佳基线方法提高了6.2%的上下文召回率。同时，模型对内部记忆的依赖显著降低，表明SI-FACT能够有效增强LLM的上下文忠实性。

🎯 应用场景

该研究成果可应用于需要高度上下文忠实性的知识密集型任务，例如问答系统、信息检索、文档摘要等。通过提高语言模型的忠实性，可以增强用户对模型的信任度，并减少错误信息的传播。未来，该方法可以推广到其他语言模型和任务中，构建更可靠和值得信赖的人工智能系统。

📄 摘要（原文）

Large Language Models often generate unfaithful responses in knowledge intensive tasks due to knowledge conflict,that is,a preference for relying on internal parametric knowledge rather than the provided context.To address this issue,we propose a novel self improving framework,Self Improving Faithfulness Aware Contrastive Tuning.The framework uses a self instruct mechanism that allows the base LLM to automatically generate high quality,structured contrastive learning data,including anchor samples,semantically equivalent positive samples,and negative samples simulating unfaithful scenarios.This approach significantly reduces the cost of manual annotation.Subsequently,contrastive learning is applied to train the model,enabling it to pull faithful responses closer and push unfaithful responses farther apart in the representation space.Experiments on knowledge conflict evaluation benchmarks ECARE KRE and COSE KRE show that the SI FACT model based on Llama3 8B Instruct improves the Contextual Recall Rate by 6.2% over the best baseline method,while significantly reducing dependence on internal memory.The results indicate that SI FACT provides strong effectiveness and high data efficiency in enhancing the contextual faithfulness of LLMs,offering a practical pathway toward building more proactive and trustworthy language models.