Does Alignment Tuning Really Break LLMs' Internal Confidence?

📄 arXiv: 2409.00352v2 📥 PDF

作者: Hongseok Oh, Wonseok Hwang

分类: cs.CL, cs.LG

发布日期: 2024-08-31 (更新: 2025-02-08)

备注: Presented at the BlackboxNLP Workshop at EMNLP 2024 (Poster)

💡 一句话要点

研究对齐调整如何影响LLM内部置信度校准，揭示校准退化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对齐调整 置信度校准 校准退化 指令遵循

📋 核心要点

  1. 现有LLM校准方法在对齐调整后可能失效，导致模型置信度降低，影响实际应用。
  2. 论文深入分析对齐调整对LLM校准的影响，涵盖多个维度，探究校准退化的根本原因。
  3. 研究发现对齐过程始终损害校准，强调需谨慎评估模型置信度，并开发兼顾指令遵循和校准的算法。

📝 摘要（中文）

大型语言模型（LLM）取得了显著进展，但其在现实世界中的应用需要可靠的校准。本研究对LLM的校准退化进行了全面分析，涵盖四个维度：模型、校准指标、任务和置信度提取方法。初步分析表明，对齐和校准之间的关系并非总是权衡关系，但在更严格的分析条件下，我们发现对齐过程始终会损害校准。这突显了以下需求：（1）在测量模型置信度和校准误差时需要采取谨慎的方法；（2）未来研究应关注能够帮助LLM在不牺牲任何一方的情况下实现指令遵循和校准的算法。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在经过对齐调整（Alignment Tuning）后，其内部置信度校准（Calibration）是否会受到影响。现有方法在对LLM进行对齐调整以提升指令遵循能力时，可能会损害模型的置信度校准，导致模型输出的概率分布与实际准确率不符，从而影响模型在实际应用中的可靠性。

核心思路：论文的核心思路是通过多维度的实验分析，深入探究对齐调整对LLM校准的影响。具体而言，论文从模型、校准指标、任务和置信度提取方法四个维度入手，系统地评估LLM在对齐调整前后的校准性能变化，从而揭示对齐调整与校准之间的关系。

技术框架：论文采用实验分析的方法，主要流程包括：1）选择不同的LLM模型；2）选取不同的校准指标，例如Expected Calibration Error (ECE)；3）设计不同的任务，以覆盖不同的应用场景；4）采用不同的置信度提取方法，例如Softmax概率；5）对比LLM在对齐调整前后的校准性能，分析对齐调整对校准的影响。

关键创新：论文的关键创新在于对LLM校准退化问题进行了全面的多维度分析，揭示了对齐调整与校准之间的复杂关系。与以往研究不同，论文不仅关注对齐调整对校准的整体影响，还深入分析了不同模型、校准指标、任务和置信度提取方法对校准退化的影响差异，从而为后续研究提供了更细致的指导。

关键设计：论文的关键设计包括：1）选取具有代表性的LLM模型，例如不同规模、不同架构的模型；2）采用多种校准指标，以全面评估模型的校准性能；3）设计多样化的任务，以覆盖不同的应用场景；4）采用多种置信度提取方法，以评估不同方法对校准性能的影响；5）采用严格的实验控制，以确保实验结果的可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

研究发现，在更严格的分析条件下，对齐过程始终会损害LLM的校准性能。通过对比对齐调整前后LLM在不同任务上的ECE等指标，发现对齐调整会导致校准误差显著增加。该结果强调了在评估LLM置信度时需要采取谨慎的方法，并为未来研究提供了明确的方向。

🎯 应用场景

该研究成果可应用于提升LLM在各个领域的可靠性，例如医疗诊断、金融风控等。通过深入理解对齐调整对校准的影响，可以开发更有效的对齐算法，使LLM在具备优秀指令遵循能力的同时，保持良好的校准性能，从而提高LLM在实际应用中的可信度。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable progress, but their real-world application necessitates reliable calibration. This study conducts a comprehensive analysis of calibration degradation of LLMs across four dimensions: models, calibration metrics, tasks, and confidence extraction methods. Initial analysis showed that the relationship between alignment and calibration is not always a trade-off, but under stricter analysis conditions, we found the alignment process consistently harms calibration. This highlights the need for (1) a careful approach when measuring model confidences and calibration errors and (2) future research into algorithms that can help LLMs to achieve both instruction-following and calibration without sacrificing either.