Towards Intrinsic Interpretability of Large Language Models:A Survey of Design Principles and Architectures

📄 arXiv: 2604.16042v1 📥 PDF

作者: Yutong Gao, Qinglin Meng, Yuan Zhou, Liangming Pan

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-04-17

备注: Accepted to the Main Conference of ACL 2026. 14 pages, 4 figures, 1 table

🔗 代码/项目: GITHUB

💡 一句话要点

综述：面向大语言模型的内在可解释性设计原则与架构

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 可解释性 内在可解释性 设计原则 模型架构

📋 核心要点

  1. 现有大语言模型缺乏透明性，难以信任和安全部署，事后解释方法存在局限性。
  2. 论文综述了将透明性直接构建到模型架构中的内在可解释性方法，探索新的设计思路。
  3. 论文将现有方法归纳为五个设计范式，并讨论了开放性挑战和未来研究方向。

📝 摘要（中文）

大型语言模型（LLMs）在许多自然语言处理任务中取得了显著的性能，但其内部机制的不透明性阻碍了其可信赖性和安全部署。现有的可解释人工智能综述主要集中于事后解释方法，这些方法通过外部近似来解释训练好的模型。相比之下，内在可解释性将透明性直接构建到模型架构和计算中，最近已成为一种有前途的替代方案。本文对LLMs内在可解释性的最新进展进行了系统回顾，将现有方法分为五个设计范式：功能透明性、概念对齐、表征可分解性、显式模块化和潜在稀疏性诱导。我们进一步讨论了该新兴领域面临的开放性挑战，并概述了未来的研究方向。论文列表可在以下网址获取：https://github.com/PKU-PILLAR-Group/Survey-Intrinsic-Interpretability-of-LLMs。

🔬 方法详解

问题定义：大语言模型（LLMs）虽然在各种NLP任务中表现出色，但其内部运作机制如同黑盒，缺乏透明度，导致难以理解其决策过程，进而影响了模型的可信赖性和安全性。现有的可解释性方法，如事后解释，通常通过外部近似来解释已训练好的模型，这些方法可能不够准确，并且无法真正揭示模型的内在机制。因此，如何设计具有内在可解释性的LLMs，使其在设计之初就具备透明性，成为一个重要的研究问题。

核心思路：本文的核心思路是系统性地回顾和总结近年来在LLMs内在可解释性方面的研究进展，并将其归纳为若干设计范式。内在可解释性旨在将透明性直接构建到模型架构和计算过程中，从而避免了事后解释方法可能带来的偏差和不准确性。通过分析不同设计范式的优缺点，为未来的研究提供指导。

技术框架：本文将现有的内在可解释性方法分为五个主要的设计范式： 1. 功能透明性：旨在使模型的各个组成部分的功能清晰明确。 2. 概念对齐：将模型的内部表示与人类可理解的概念对齐。 3. 表征可分解性：将模型的表征分解为更小、更易于理解的单元。 4. 显式模块化：将模型分解为具有明确功能的模块。 5. 潜在稀疏性诱导：通过引入稀疏性约束，使模型只关注最重要的特征。

关键创新：本文的创新之处在于对LLMs内在可解释性方法进行了系统性的分类和总结，提出了五个不同的设计范式，并对每个范式下的代表性方法进行了详细的分析。与以往的综述主要关注事后解释方法不同，本文聚焦于内在可解释性，为研究人员提供了一个更全面的视角，并指出了未来的研究方向。

关键设计：由于本文是一篇综述文章，因此没有具体的参数设置、损失函数或网络结构等技术细节需要描述。文章主要关注的是不同内在可解释性方法的整体设计思路和实现方式，以及它们在提高模型透明度和可理解性方面的作用。

📊 实验亮点

该综述系统地整理了LLM内在可解释性的研究进展，提出了五个设计范式，为该领域的研究人员提供了一个清晰的框架。通过对现有方法的分析，指出了当前研究的局限性和未来的研究方向，例如如何量化可解释性、如何平衡可解释性和性能等。该综述为后续研究奠定了基础，有助于推动LLM内在可解释性的发展。

🎯 应用场景

该研究对开发更值得信赖、更安全的LLMs具有重要意义。内在可解释性可以帮助开发者理解模型的决策过程，从而更容易发现和修复潜在的偏差或错误。此外，在医疗、金融等高风险领域，内在可解释性可以提高模型的可接受度，促进LLMs的广泛应用。未来的研究可以探索如何将这些设计原则应用于更大规模的LLMs，并开发更有效的评估指标。

📄 摘要（原文）

While Large Language Models (LLMs) have achieved strong performance across many NLP tasks, their opaque internal mechanisms hinder trustworthiness and safe deployment. Existing surveys in explainable AI largely focus on post-hoc explanation methods that interpret trained models through external approximations. In contrast, intrinsic interpretability, which builds transparency directly into model architectures and computations, has recently emerged as a promising alternative. This paper presents a systematic review of the recent advances in intrinsic interpretability for LLMs, categorizing existing approaches into five design paradigms: functional transparency, concept alignment, representational decomposability, explicit modularization, and latent sparsity induction. We further discuss open challenges and outline future research directions in this emerging field. The paper list is available at: https://github.com/PKU-PILLAR-Group/Survey-Intrinsic-Interpretability-of-LLMs.