Is a Linear Probe Evidence of a Linear Representation?
作者: Nadir Kutluozen, Christian Internò, David Klindt
分类: stat.ML, cs.CV, cs.LG
发布日期: 2026-10-15
备注: Accepted at NeurIPS 2026
💡 一句话要点
提出新诊断方法以区分线性表示与曲面结构
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 线性探针 几何结构 预训练模型 视觉变换器 模型评估 泛化能力 深度学习
📋 核心要点
- 现有的线性探针方法在验证预训练模型的表示能力时过于宽松，可能导致误判。
- 论文提出三种不对称诊断方法，旨在区分线性世界模型与曲面流形的几何结构。
- 实验结果显示，预训练模型的结构超出了随机内核，但未达到线性世界模型的标准。
📝 摘要（中文）
线性表示假设认为预训练的视觉模型在特征空间中以线性可解的方向编码生成因子，并通过训练线性探针来验证。然而，本文指出这一测试过于宽松，任何丰富的特征图，包括随机特征图，都可以实现线性读出。因此，高探针准确率可能对应于两种截然不同的几何结构：真实的线性世界模型或更大的曲面流形。本文提出了三种不对称诊断方法来区分这两种情况，并在已知真实值的模拟中进行了验证。实验结果表明，预训练产生的结构超出了随机内核，但远未达到线性世界模型的水平。
🔬 方法详解
问题定义：本文旨在解决线性探针在验证预训练视觉模型表示能力时的局限性，现有方法可能导致对模型几何结构的误判。
核心思路：通过提出三种新的不对称诊断方法，本文希望能够更准确地区分真实的线性世界模型与更复杂的曲面流形，从而提高对模型表示能力的理解。
技术框架：整体框架包括三个主要模块：1) 反向预测性，2) 谱集中性，3) 离散分布外泛化。这些模块共同作用于特征空间的分析。
关键创新：最重要的创新在于提出了新的诊断方法，这些方法能够有效区分线性与非线性几何结构，而不仅仅依赖于线性探针的准确性。
关键设计：在实验中，使用了多种预训练视觉变换器，并在不同数据集上进行了验证，确保了方法的有效性和普适性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，针对六个预训练视觉变换器的测试，提出的诊断方法能够有效区分线性与曲面结构，预训练产生的结构超出随机内核，但未达到线性世界模型的水平，展示了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、图像识别和深度学习模型的评估。通过更准确地理解模型的表示能力，可以在实际应用中提高模型的泛化能力和鲁棒性，尤其是在处理复杂数据分布时。
📄 摘要（原文）
The linear representation hypothesis holds that pretrained vision models encode generative factors as linearly decodable directions in feature space, and comes with a standard methodology: train a linear probe, declare a factor represented if accuracy is high. We show this test is too permissive. Asymptotically, any sufficiently rich feature map, including a random one, admits a linear readout, so high probe accuracy is consistent with two very different geometries: a true linear world model, where the latent-aligned subspace dominates the representation, or a kernel machine, where the latents lie linearly inside a much larger curved manifold. This distinction matters because the curved structure orthogonal to the probe is relevant for out-of-distribution generalization, robustness, and compositional transfer. We propose three asymmetric diagnostics that distinguish the two cases: reverse predictivity, spectral concentration, and out-of-distribution generalization. We validate them in a fully observed simulation where ground truth is known. Applied to six pretrained vision transformers on SVG-World, our deterministic generative benchmark with paired visual styles, and to two of them on CelebA, they show pretraining produces structure beyond a random kernel but well short of a linear world model. On dSprites, 3D Shapes and MPI3D, forward decodability and latent-aligned variance dissociate. Thus, forward decoding alone does not show that the probed factors align with the dominant geometry of the representation. In summary, our work cautions about the success of linear probes as opposed to truly linear and low dimensional representations.