"World Knowledge" in the Weights: Reading Concept Circuits of Vision Transformers
作者: Yanlin Chen, Tang Li, Xi Peng
分类: cs.CV
发布日期: 2026-09-08
备注: ECCV 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出跨层转码器以解读视觉变换器中的概念电路
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉变换器 跨层转码器 概念电路 模型可解释性 虚假相关性
📋 核心要点
- 现有的视觉变换器在理解其内部表示结构方面存在不足，缺乏对模型行为的深入解析。
- 本文提出跨层转码器（CLTs）来读取ViTs中的概念电路，揭示模型中编码的世界知识及其在具体预测中的应用。
- 实验结果表明，本文方法在Waterbird数据集上相较于现有方法提升了11.0%的性能，展示了其有效性。
📝 摘要（中文）
视觉变换器（ViTs）在视觉领域表现出色，但其内部如何表示世界结构仍不清楚。为了解决这一问题，本文使用跨层转码器（CLTs）读取ViTs中的概念电路，这些电路是节点对应稀疏可解释概念、边表示层间概念交互的有向图。我们的方法提供了模型行为的两种互补视角：全局概念电路和实例概念电路。全局电路是输入不变的，直接从学习的跨层权重中恢复，揭示了模型中编码的可重用“世界知识”；而实例电路则依赖于输入，识别特定预测所用的概念和路径，从而实现逐例解释。我们展示了概念电路的三种应用：自动发现虚假相关性、去除虚假相关性以及模型比较。
🔬 方法详解
问题定义：本文旨在解决视觉变换器内部表示结构不明确的问题，现有方法无法有效解析模型的概念交互和知识编码。
核心思路：通过引入跨层转码器（CLTs），本文能够提取出全局和实例概念电路，从而揭示模型的可解释性和知识结构。
技术框架：整体架构包括全局概念电路和实例概念电路两个模块。全局电路通过学习的跨层权重构建，实例电路则依赖于具体输入进行解析。
关键创新：最重要的创新在于提出了概念电路的双重视角，既能提供全局知识的可重用性，又能针对特定实例进行详细解释，显著提升了模型的可解释性。
关键设计：在设计中，跨层权重的学习和概念电路的构建是关键，采用了特定的损失函数来优化模型的表现，同时确保概念的稀疏性和可解释性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在Waterbird数据集上相较于现有方法提升了11.0%的准确率，证明了跨层转码器在自动发现和去除虚假相关性方面的有效性，展现了其在模型比较中的优势。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的模型可解释性、自动化决策系统以及机器学习模型的调试与优化。通过揭示模型内部的知识结构，能够帮助研究人员和工程师更好地理解和改进视觉变换器的性能，推动智能系统的透明性和可靠性。
📄 摘要（原文）
Vision transformers (ViTs) have achieved remarkable generalization across visual domains, yet little is known about how they internally represent the structure of the world. To address this gap, we use Cross-Layer Transcoders (CLTs) to read concept circuits from ViTs: directed graphs whose nodes correspond to sparse, interpretable concepts and edges capture concept interactions across layers. Our method yields two complementary views of model behavior. The global concept circuit is input-invariant and can be recovered directly from learned cross-layer weights, exposing the reusable "world knowledge" encoded in the model. The instance concept circuit is input-dependent and identifies the concepts and pathways actually used for a specific prediction, enabling faithful example-level explanations. We demonstrate the utility of concept circuits in three ways: (1) Automatic spurious correlation discovery: leveraging the statistics of our global concept circuits to identify shortcut dependencies within the model. (2) Spurious correlation removal: intervening on the instance concept circuit to steer the model towards correct predictions. Empirical results show that our method outperforms existing counterparts by 11.0% on the Waterbird dataset. (3) Model comparison: contrasting the global concept circuits of different foundation models (e.g., CLIP vs. DINO) to reveal how supervision paradigms shape representational structure. Our code is available at https://github.com/deep-real/VisionCLT