Training Large Language Models for Self-Explanation Faithfulness

📄 arXiv: 2607.21090v1 📥 PDF

作者: Yeoktatt Cheah, María Pérez-Ortiz, Noah Y. Siegel, Oana-Maria Camburu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-07-23

备注: To appear at the ICLR 2026 Workshop on Representational Alignment (Re-Align), 10 pages (long paper)

💡 一句话要点

提出强化学习方法以优化自我解释的可信度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我解释 可信度优化 强化学习 大型语言模型 决策透明性 模型微调 Phi-CCT指标

📋 核心要点

  1. 现有方法主要集中于评估自我解释的可信度，缺乏直接优化模型生成可信自我解释的机制。
  2. 本文提出通过强化学习直接优化自我解释的可信度，利用修改后的可信度指标作为训练目标。
  3. 实验显示，经过强化学习微调的模型在Phi-CCT指标上显著提升，且在不同干预类型间存在一定的迁移能力。

📝 摘要（中文）

本文提出了一种强化学习方法，旨在直接优化自我解释的可信度，即模型生成的推理与其内部决策过程的准确反映程度。现有研究主要集中在评估可信度或使用推理时提示框架来改善大型语言模型（LLM）的自我解释的可操作性，但缺乏直接优化模型参数以生成可信自我解释的机制。我们通过将现有的可信度指标修改为强化学习训练目标，填补了这一空白。实验结果表明，经过强化学习微调的Llama3.1-8B和Qwen3-8B在Phi-CCT可信度指标上有显著提升，证明了模型能够识别影响决策的因素并进行披露，从而为减少LLM中的不可信推理提供了一条可扩展的路径。

🔬 方法详解

问题定义：本文解决的问题是如何直接优化大型语言模型生成的自我解释的可信度。现有方法虽然评估了可信度，但未能有效优化模型参数以提高自我解释的准确性。

核心思路：论文的核心思路是将现有的可信度指标转化为强化学习的训练目标，从而使模型能够在训练过程中直接优化其自我解释的可信度。通过这种方式，模型不仅能够识别影响其决策的因素，还能有效披露这些因素。

技术框架：整体架构包括两个主要阶段：首先是通过随机词插入和用户偏见插入进行干预；其次是利用Phi-CCT相关性指标计算每个样本的奖励，进行强化学习微调。

关键创新：最重要的技术创新在于将可信度指标转化为强化学习目标，这与现有方法的本质区别在于，后者通常仅限于评估而非优化。

关键设计：在实验中，使用了基于Phi-CCT的奖励机制，并对模型进行了针对性微调。模型的参数设置和网络结构设计旨在提高对影响决策因素的识别能力，具体细节在实验部分进行了深入探讨。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过强化学习微调的Llama3.1-8B和Qwen3-8B在Phi-CCT可信度指标上显著提升，分布内得分从接近零提高到0.664，分布外得分达到0.691，展现了该方法在提升自我解释可信度方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化决策系统和教育技术等。通过提高自我解释的可信度，模型能够更好地向用户解释其决策过程，从而增强用户信任，减少误解和错误决策的风险。未来，该方法可能在多个领域推动更透明和可解释的人工智能系统的发展。

📄 摘要（原文）

We propose a Reinforcement Learning (RL) method to directly optimize the faithfulness of self-explanations - the extent to which a model's generated reasoning accurately reflects its internal decision-making process. While existing work focuses on evaluating faithfulness or using inference-time prompting frameworks to improve an LLM's self-explanation's tractability, these approaches do not provide a mechanism to directly optimize a model's parameters to generate faithful self-explanations. We bridge this gap by modifying existing faithfulness metrics into an RL training objective. We investigate (1) if models can be trained to accurately detect factors that affect their decisions, and (2) whether RL can directly optimize for the disclosure of these factors thereby improving LLM self-explanations' faithfulness. We experiment with two intervention types: random-word insertions and user-bias insertions, using a per-sample reward derived from the Phi-CCT correlation metric. RL fine-tuned Llama3.1-8B and Qwen3-8B show substantial improvements on the Phi-CCT faithfulness metric, with in-distribution scores rising from near-zero to as high as 0.664, and out-of-distribution scores reaching up to 0.691 on held-out tasks such as StrategyQA. Cross-intervention generalization is weaker but more interesting: a priori we would not expect a model trained only on random word insertions to generalize to user-bias phrases, yet Llama3.1-8B shows non-zero transfer in this direction. The reverse direction and Qwen3-8B do not replicate this, indicating model-dependent and setup-dependent effects we cannot yet explain. Lastly we analyze model behavior to rule out reward gaming behaviors that often plague RL training. Ultimately, we show that models can be trained to implicitly identify influential factors and disclose them, offering a scalable path toward reducing unfaithful reasoning in LLMs.