Pretraining Shapes Spectral Structure: Architecture- and Strategy-Conditional Prediction of OOD Robustness in Foundation Models

📄 arXiv: 2610.09709v1 📥 PDF

作者: Sangyoon Bae, Sk Miraj Ahmed, Shinjae Yoo, Jiook Cha

分类: cs.LG

发布日期: 2026-10-07

备注: 10 pages, 3 figures

💡 一句话要点

提出基于谱结构的预训练权重分析以评估模型的OOD鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: OOD鲁棒性 预训练模型 谱结构分析 模型选择 统计量评估 深度学习 机器学习

📋 核心要点

  1. 现有的OOD鲁棒性评估方法依赖于源或目标数据，无法在目标领域尚不存在时进行有效评估。
  2. 本研究提出通过分析预训练权重的谱结构，结合模型架构和预训练策略，来预测OOD鲁棒性。
  3. 实验结果表明，所提出的统计量能够在92%的模型对中有效排序OOD鲁棒性，并在特定条件下缩小OOD表现差距24%。

📝 摘要（中文）

本研究探讨了在没有目标数据的情况下，如何预测基础模型的OOD（分布外）泛化能力。现有方法依赖于源或目标数据，无法在目标领域尚不存在时进行评估。我们提出，预训练权重的谱结构中编码了OOD鲁棒性的信息。模型架构和预训练策略共同影响这一结构，进而决定了OOD鲁棒性。通过对116个模型的分析，我们发现，基于预训练权重的统计量可以有效预测模型的OOD表现，并在不同架构和策略组合中保持稳定性。该方法在模型选择阶段即可评估OOD鲁棒性，具有重要的实用价值。

🔬 方法详解

问题定义：本研究旨在解决如何在没有目标数据的情况下预测基础模型的OOD鲁棒性。现有方法依赖于源或目标数据，无法在目标领域尚不存在时进行有效评估。

核心思路：我们提出，预训练权重的谱结构中编码了OOD鲁棒性的信息。模型架构决定了权重矩阵中信息的存储方式，而预训练策略则影响了模型的奖励机制。两者共同塑造了影响OOD鲁棒性的谱几何结构。

技术框架：整体方法包括对预训练权重的谱结构分析，计算统计量以评估源表示的集中程度。我们将模型分为不同的“细胞”，在每个细胞内选择合适的统计量来评估OOD鲁棒性。

关键创新：本研究的创新在于提出了一种基于谱集中度的统计量，能够有效区分不同架构的模型在OOD鲁棒性上的表现。这一方法在模型选择阶段即可进行评估，避免了对目标数据的依赖。

关键设计：我们在116个模型上进行了实验，发现所选统计量在每个细胞内能够有效排序92%的模型对，并且在不同架构间的方向性保持稳定。该方法在保持87.5% ID保留率的情况下，缩小了OOD表现差距24%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于预训练权重的统计量能够在92%的模型对中有效排序OOD鲁棒性，并且在特定细胞内，所选统计量能够缩小OOD表现差距24%，在87.5% ID保留率下保持稳定。这一发现为模型选择提供了新的评估标准。

🎯 应用场景

该研究的潜在应用领域包括机器学习模型的选择和评估，尤其是在医疗、基因组学和蛋白质研究等需要处理分布外数据的领域。通过在模型选择阶段评估OOD鲁棒性，研究者可以更有效地选择适合特定任务的模型，从而提高模型在实际应用中的表现和可靠性。

📄 摘要（原文）

Can we determine whether a foundation model will generalize out-of-distribution (OOD) before any target data is available? Existing diagnostics require source or target data, which rules them out before a target domain exists. Those that use the weights alone apply one statistic to every architecture, and do not separate robust models from fragile ones. We show the answer is encoded in the spectral structure of pretrained weights. Two forces shape that structure. Architecture determines how information is stored in weight matrices. Pretraining strategy determines what is rewarded. Together they set a spectral geometry that governs OOD robustness. We prove that the OOD accuracy gap is bounded by how tightly the source representations concentrate. A statistic computed from the pretrained weights alone serves as a proxy for that concentration. The direction of that proxy reverses between architecture families. We operationalize it: the direction is stable within one (architecture X strategy) combination, the finest grouping we test, which we call a cell. Pooled over 116 models spanning 7 modalities, a single statistic ranks OOD robustness weakly, because cells of opposite direction cancel. Within a cell, the statistic selected for it orders 92% of model pairs by OOD robustness in-sample. The selection does not leak the target: for each model family outside the matrix we logged the cell, metric and sign before running its OOD evaluation, and the predicted direction held in every case: EEG, genomic and protein. Acting on spectral concentration narrows the OOD gap by 24% at 87.5% ID retention. The diagnostic operates on released weights alone, so OOD robustness becomes checkable at model-selection time, before data or compute is committed to a target domain.