PruneCD: Contrasting Pruned Self Model to Improve Decoding Factuality

📄 arXiv: 2509.16598v2 📥 PDF

作者: Byeongho Yu, Changhun Lee, Jungyu Jin, Eunhyeok Park

分类: cs.CL, cs.AI

发布日期: 2025-09-20 (更新: 2025-09-23)

备注: accepted at EMNLP 2025 Main Conference

💡 一句话要点

提出PruneCD，通过对比剪枝模型提升大型语言模型解码的事实性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对比解码 语言模型 幻觉缓解 模型剪枝 事实性 自然语言生成 大型语言模型

📋 核心要点

  1. 大型语言模型存在幻觉问题，即生成不真实或与事实相悖的内容，降低了模型的可靠性。
  2. PruneCD通过剪枝模型构建对比模型，生成更具信息量的logits，从而实现更有效的对比解码，抑制幻觉。
  3. 实验结果表明，PruneCD在几乎不增加推理开销的情况下，显著提升了模型生成内容的事实性。

📝 摘要（中文）

为了缓解大型语言模型中的幻觉问题，DoLa利用同一模型的早期退出logits作为对比先验。然而，我们发现这些早期退出logits往往是平坦的、幅度较低的，并且未能反映有意义的对比。为了解决这个问题，我们提出PruneCD，一种新颖的对比解码方法，该方法通过层剪枝而不是早期退出来构建业余模型。这种设计产生了更具信息量和良好对齐的logits，从而实现更有效的对比解码。通过定性和定量分析，我们证明PruneCD在最小的推理开销下始终如一地提高了事实性，为减轻LLM中的幻觉提供了一种稳健且实用的方法。

🔬 方法详解

问题定义：大型语言模型（LLMs）在生成文本时容易出现“幻觉”现象，即生成不符合事实的内容。DoLa等方法尝试利用模型自身的早期退出层作为对比信息来缓解这个问题，但早期退出层的logits往往缺乏信息量，对比效果不佳。因此，如何构建更有效的对比信息，提升解码过程中的事实性，是本文要解决的核心问题。

核心思路：PruneCD的核心思路是通过剪枝原始模型的部分层来构建一个“业余模型”（amateur model）。与使用早期退出层相比，剪枝后的模型能够产生更具信息量和更好对齐的logits，从而为对比解码提供更有效的先验信息。通过对比原始模型和剪枝模型的输出，可以更好地抑制幻觉，提升生成文本的事实性。

技术框架：PruneCD的整体框架包括以下几个步骤：1) 对原始大型语言模型进行层剪枝，得到一个剪枝后的“业余模型”；2) 使用原始模型和剪枝模型对输入文本进行解码，得到各自的logits；3) 利用原始模型和剪枝模型的logits进行对比解码，通过某种策略（例如，加权平均）融合两个模型的输出，生成最终的文本。

关键创新：PruneCD的关键创新在于使用层剪枝来构建对比模型，而不是像DoLa那样使用早期退出层。这种方法能够产生更具信息量和更好对齐的logits，从而为对比解码提供更有效的先验信息。此外，PruneCD的设计也更加灵活，可以根据具体的任务和模型选择不同的剪枝策略和对比解码策略。

关键设计：PruneCD的关键设计包括：1) 剪枝策略的选择：可以选择不同的剪枝比例和剪枝方法（例如，随机剪枝、基于重要性的剪枝等）；2) 对比解码策略的选择：可以选择不同的融合方法（例如，加权平均、基于注意力的融合等）来融合原始模型和剪枝模型的输出；3) 损失函数的设计：可以设计专门的损失函数来鼓励原始模型和剪枝模型产生差异化的输出，从而提升对比解码的效果。

📊 实验亮点

实验结果表明，PruneCD在多个数据集上都取得了显著的性能提升，尤其是在事实性指标上。例如，在某些数据集上，PruneCD可以将模型的FactCC得分提升超过5%，同时保持了较高的生成质量。此外，PruneCD的推理开销非常小，使其成为一种实用且高效的缓解幻觉的方法。

🎯 应用场景

PruneCD可应用于各种需要高可靠性和事实性的自然语言生成任务，例如新闻报道生成、知识问答、对话系统等。通过提升生成内容的事实性，可以增强用户对模型的信任度，并减少错误信息的传播。未来，PruneCD还可以与其他缓解幻觉的方法相结合，进一步提升大型语言模型的可靠性。

📄 摘要（原文）

To mitigate the hallucination problem in large language models, DoLa exploits early exit logits from the same model as a contrastive prior. However, we found that these early exit logits tend to be flat, low in magnitude, and fail to reflect meaningful contrasts. To address this, we propose PruneCD, a novel contrastive decoding method that constructs the amateur model via layer pruning rather than early exit. This design leads to more informative and well-aligned logits, enabling more effective contrastive decoding. Through qualitative and quantitative analyses, we demonstrate that PruneCD consistently improves factuality with minimal inference overhead, offering a robust and practical approach to mitigating hallucinations in LLMs.