Supervised Learning Has a Necessary Geometric Blind Spot: Theory, Consequences, and Minimal Repair

📄 arXiv: 2604.21395v1 📥 PDF

作者: Vishal Rajput

分类: cs.LG, cs.AI, cs.CV

发布日期: 2026-04-23

备注: 29 pages. Code: https://github.com/vishalstark512/PMH. Preprint, not peer-reviewed. Affiliation: KU Leuven, Belgium

💡 一句话要点

监督学习存在几何盲点：提出TDI指标并用PMH方法修复

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 监督学习 几何盲点 鲁棒性 泛化能力 轨迹偏差指数 雅可比矩阵 表示学习

📋 核心要点

  1. 现有监督学习方法在处理训练数据中与标签相关但在测试时无用的特征时存在固有的几何盲点，导致模型泛化能力受限。
  2. 论文提出轨迹偏差指数(TDI)来诊断并量化这种几何盲点，并设计了一种新的训练方法PMH，通过惩罚编码器雅可比矩阵来修复该盲点。
  3. 实验表明，TDI能够有效检测几何盲点，PMH方法在多个视觉和语言任务中显著降低TDI值，提升模型鲁棒性和泛化性能。

📝 摘要（中文）

本文证明了经验风险最小化(ERM)对学习到的表示施加了一种必要的几何约束：任何最小化监督损失的编码器，都必须在训练数据中标注相关但在测试时无用的方向上，保持非零的雅可比灵敏度。这不是当前方法的偶然失败，而是监督目标本身的数学结果。我们称之为监督学习的几何盲点(定理1)，并表明它适用于适当的评分规则、架构和数据集大小。该定理统一了解释了先前被独立处理的四类经验工作：非鲁棒的预测特征、纹理偏差、损坏脆弱性和鲁棒性-准确性权衡。在这种框架下，对抗性脆弱性是关于监督学习几何结构的一个更广泛的事实的结果。我们引入了轨迹偏差指数(TDI)，这是一种直接测量定理有界量的诊断方法，并展示了为什么常见的替代方案错过了关键的失败模式。PGD对抗训练达到雅可比弗罗贝尼乌斯2.91，但具有最差的干净输入几何(TDI 1.336)，而PMH达到TDI 0.904。TDI是唯一检测到这种分离的指标，因为它测量了各向同性路径长度失真——定理1所约束的精确量。在七个视觉任务、BERT/SST-2和CLIP、DINO和SAM使用的ImageNet ViT-B/16骨干网络中，该盲点是可测量和可修复的。它存在于基础模型规模，随着语言模型规模的增大而单调恶化(从66M到340M，盲点比率从0.860到0.765到0.742)，并且被特定任务的ERM微调放大(+54%)，而PMH通过一个额外的训练项将其修复了11倍，命题5证明该训练项的高斯形式是唯一均匀惩罚编码器雅可比矩阵的扰动定律。

🔬 方法详解

问题定义：监督学习模型在训练过程中容易过度拟合训练数据中的 spurious correlations，即与标签相关但与任务无关的特征。这些特征在测试时可能不存在或发生变化，导致模型性能下降。现有的正则化方法或对抗训练等方法并不能完全解决这个问题，因为它们没有直接针对模型表示的几何结构进行优化。

核心思路：论文的核心思想是，监督学习的经验风险最小化(ERM)过程会在模型的表示空间中引入一种几何盲点，即模型对训练数据中与标签相关的特征过于敏感，而忽略了其他更重要的特征。为了解决这个问题，论文提出了一种新的训练方法，通过显式地惩罚编码器雅可比矩阵，使得模型对这些 spurious correlations 的敏感度降低。

技术框架：论文主要包含以下几个部分：1) 理论分析：证明了监督学习存在几何盲点，并给出了相应的数学表达式。2) TDI指标：提出了轨迹偏差指数(TDI)来量化几何盲点。3) PMH方法：设计了一种新的训练方法，通过惩罚编码器雅可比矩阵来修复几何盲点。4) 实验验证：在多个视觉和语言任务上验证了TDI和PMH的有效性。

关键创新：论文最重要的创新点在于发现了监督学习中存在的几何盲点，并提出了相应的诊断和修复方法。与现有的正则化方法或对抗训练等方法不同，论文直接针对模型表示的几何结构进行优化，从而更有效地提高模型的泛化能力。TDI指标提供了一种新的视角来理解模型的鲁棒性，而PMH方法则提供了一种新的训练策略来提高模型的泛化性能。

关键设计：PMH方法的关键在于添加了一个额外的训练项，该训练项惩罚编码器雅可比矩阵。具体来说，该训练项的形式为高斯分布，其目的是使得编码器雅可比矩阵的范数尽可能小。论文证明了这种高斯形式的扰动是唯一能够均匀惩罚编码器雅可比矩阵的扰动定律。此外，论文还对TDI指标的计算方法进行了详细的描述，并给出了相应的代码实现。

📊 实验亮点

实验结果表明，在七个视觉任务以及BERT/SST-2等模型上，TDI能够有效检测到几何盲点。PMH方法能够显著降低TDI值，例如，在某些任务上，PMH可以将TDI降低11倍。此外，实验还表明，任务特定的ERM微调会放大几何盲点，而PMH能够有效修复该盲点。

🎯 应用场景

该研究成果可应用于提升图像识别、自然语言处理等领域模型的鲁棒性和泛化能力。通过使用TDI指标诊断模型，并采用PMH方法进行训练，可以有效减少模型对spurious correlations的依赖，提高模型在真实场景中的性能。该方法对于构建更可靠、更安全的AI系统具有重要意义。

📄 摘要（原文）

We prove that empirical risk minimisation (ERM) imposes a necessary geometric constraint on learned representations: any encoder that minimises supervised loss must retain non-zero Jacobian sensitivity in directions that are label-correlated in training data but nuisance at test time. This is not a contingent failure of current methods; it is a mathematical consequence of the supervised objective itself. We call this the geometric blind spot of supervised learning (Theorem 1), and show it holds across proper scoring rules, architectures, and dataset sizes. This single theorem unifies four lines of prior empirical work that were previously treated separately: non-robust predictive features, texture bias, corruption fragility, and the robustness-accuracy tradeoff. In this framing, adversarial vulnerability is one consequence of a broader structural fact about supervised learning geometry. We introduce Trajectory Deviation Index (TDI), a diagnostic that measures the theorem's bounded quantity directly, and show why common alternatives miss the key failure mode. PGD adversarial training reaches Jacobian Frobenius 2.91 yet has the worst clean-input geometry (TDI 1.336), while PMH achieves TDI 0.904. TDI is the only metric that detects this dissociation because it measures isotropic path-length distortion -- the exact quantity Theorem 1 bounds. Across seven vision tasks, BERT/SST-2, and ImageNet ViT-B/16 backbones used by CLIP, DINO, and SAM, the blind spot is measurable and repairable. It is present at foundation-model scale, worsens monotonically across language-model sizes (blind-spot ratio 0.860 to 0.765 to 0.742 from 66M to 340M), and is amplified by task-specific ERM fine-tuning (+54%), while PMH repairs it by 11x with one additional training term whose Gaussian form Proposition 5 proves is the unique perturbation law that uniformly penalises the encoder Jacobian.