What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track

📄 arXiv: 2609.15064v1 📥 PDF

作者: Lingheng Du, Yiming Tang, Xufeng Duan, Dianbo Liu

分类: cs.LG

发布日期: 2026-09-14

💡 一句话要点

提出Fixed-SAE Track以深入理解强化学习对大语言模型的影响

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大语言模型 稀疏自编码器 表示学习 可解释性

📋 核心要点

  1. 现有方法主要从行为角度解释强化学习对模型的影响，缺乏对表示层面的深入理解。
  2. 本文提出Fixed-SAE Track框架，通过共享稀疏自编码器跟踪训练过程中的表示变化，分析RL对特征的影响。
  3. 实验结果表明，RL引起的变化小且集中在后层，主要增强了少量特定特征，恢复了约80%的性能提升。

📝 摘要（中文）

强化学习（RL）广泛应用于大语言模型的训练，以提升特定能力，但其对模型内部表示的影响尚不清楚。以往的研究主要从行为角度解释RL的作用，缺乏对表示层面的深入分析。本文提出了Fixed-SAE Track框架，通过共享稀疏自编码器（SAE）来跟踪训练过程中的表示变化，发现RL引起的变化较小且逐渐，主要集中在模型的后层，增强了少量特定特征，而非重塑问题内容。通过将这些特征引入基础模型，恢复了约80%的RL性能提升，表明RL主要激发了模型已有的能力。我们还设计了合成基准测试RL是否能引入真正的新特征。Fixed-SAE Track为理解RL如何改变大语言模型的内部表示提供了原则性的方法。

🔬 方法详解

问题定义：本文旨在解决如何理解强化学习对大语言模型内部表示的影响，现有方法未能有效跟踪表示变化，导致对RL效果的理解不足。

核心思路：提出Fixed-SAE Track框架，通过在每层上训练一个共享的稀疏自编码器（SAE），固定特征方向，以便严格定义表示变化，分析RL对特征的增强或抑制。

技术框架：整体架构包括对基础模型及所有RL检查点的激活进行汇总，使用SAE对激活进行解构，跟踪表示变化，识别新特征的出现。

关键创新：最重要的创新在于引入了固定特征方向的SAE，使得表示变化的跟踪更加精确，能够识别出RL引发的细微变化，而不是仅仅依赖于行为层面的观察。

关键设计：在设计中，SAE的训练过程保持特征方向固定，使用的损失函数和网络结构经过优化，以确保能够有效捕捉到激活的变化，特别是在模型的后层。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，强化学习引起的表示变化较小且逐渐，主要集中在模型的后层，增强了少量特定特征。将这些特征引入基础模型后，恢复了约80%的RL性能提升，显示出RL主要激发了模型已有的能力，而非创造新特征。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够帮助研究人员更好地理解和优化大语言模型的训练过程，提升模型的性能和可解释性。未来可能影响模型设计和训练策略的制定，推动更高效的AI系统发展。

📄 摘要（原文）

Reinforcement learning (RL) is widely utilized in large language model training to improve targeted capabilities, yet how RL reshapes a model remains poorly understood. Prior attempts to explain how RL works largely offer behavioral perspectives, leaving open what RL gives a model at the representation level: can RL create genuinely novel features, and which existing features does it enhance or suppress? Recent developments in mechanistic interpretability suggest sparse autoencoders (SAEs) as a promising lens to decompose internal activations into human-interpretable features; however, they cannot be directly applied to tracking change across training. In this work, we introduce Fixed-SAE Track, a framework that trains one shared SAE per considered layer on activations pooled across the base model and all RL checkpoints, holding every feature direction fixed so that representation shifts are rigorously defined through the activations of interpretable SAE latents, including the detection of emerging novel features. Validated across multiple datasets and RL algorithms, we find that RL-induced drift is small, gradual, concept specific, and concentrated in late layers, mainly enhancing the sampling rates of a small set of ladder tokens, formatting scaffolding such as step breaks and answer delimiters, rather than reshaping problem content. Steering these features into the base model recovers around 80% of RL's performance gain, suggesting that RL primarily elicits capabilities the model already possesses, much as steering does. We further design a synthetic benchmark with features known by construction to test whether RL can instill genuinely novel features. We believe Fixed-SAE Track provides a principled approach to tracking representation shifts and offers representational evidence for understanding how reinforcement learning changes the inner representation of LLMs.