Rethinking Noise-Robust Training for Frozen Vision Foundation Models: A Cross-Dataset Benchmark with a Case Study of Small-Loss Failure
作者: Zitong Li, Haoyu Wang
分类: cs.CV
发布日期: 2026-05-21
💡 一句话要点
针对冻结视觉基础模型的噪声鲁棒训练：跨数据集基准测试与小损失失效案例研究
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 噪声标签学习 冻结视觉基础模型 医学图像 基准测试 小损失假设
📋 核心要点
- 现有的噪声标签学习方法在冻结视觉基础模型上表现不佳，且大多依赖于小损失假设，限制了其在医学图像等高风险领域的应用。
- 论文提出通过构建全面的跨数据集基准测试，评估不同噪声标签学习方法在冻结视觉基础模型上的性能，并分析其失效原因。
- 实验结果表明，没有单一最优方法，且方法选择的成本随噪声增加而显著增长。论文据此提出了实用的方法选择指导。
📝 摘要（中文）
本文研究了冻结视觉基础模型（VFMs）在医学图像中，使用轻量级分类头进行噪声标签学习的问题。针对现有方法依赖于端到端训练的小损失假设，本文构建了一个包含五个医学数据集、三个骨干网络、两种噪声类型和五个噪声率（共150种条件，6000次训练）的受控基准测试，并使用平衡精度进行评估。结果表明，没有通用的最佳方法：Friedman秩检验显示存在显著差异。ELR在最多条件下获胜，而CUFIT的平均排名最佳。方法选择的实际成本随着噪声严重程度的增加而急剧增长。为了解释这些模式，本文重新审视了高风险情况下的的小损失假设，发现干净和噪声损失分布存在显著重叠。在非对称噪声下，预测一致性比损失排名更稳定。Co-Teaching在ISIC2019数据集上达到68%的总体准确率，但平衡准确率崩溃至35.1%。研究结果表明，冻结VFMs的噪声标签学习是一个依赖于具体情况的方法选择问题，而非寻找单一算法。最后，本文提供了基于证据的指导和一个低后悔特征空间选择器，用于实际推荐。
🔬 方法详解
问题定义：论文旨在解决在冻结视觉基础模型（VFMs）上进行噪声标签学习时，现有方法性能不佳的问题。现有方法，尤其是那些基于小损失假设的方法，在噪声严重或非对称的情况下表现出明显的局限性，导致模型在某些类别上的表现极差。医学图像领域对模型的鲁棒性和泛化能力要求极高，因此需要更深入地理解和改进噪声鲁棒训练方法。
核心思路：论文的核心思路是通过构建一个全面的、受控的基准测试，系统地评估各种噪声标签学习方法在不同噪声类型、噪声率和数据集上的性能。通过分析基准测试的结果，揭示现有方法在不同情况下的优缺点，并深入研究小损失假设在冻结VFMs上的适用性。最终，根据实验结果，为实际应用提供方法选择的指导。
技术框架：论文的技术框架主要包含以下几个部分：1) 构建跨数据集的噪声标签学习基准测试，涵盖多个医学图像数据集、视觉基础模型、噪声类型和噪声率。2) 评估多种现有的噪声标签学习方法，包括ELR、Co-Teaching、CUFIT等。3) 分析实验结果，使用Friedman秩检验等统计方法评估不同方法的性能差异。4) 深入研究小损失假设在冻结VFMs上的适用性，分析损失分布和预测一致性。5) 基于实验结果，提出方法选择的指导，并设计一个低后悔特征空间选择器。
关键创新：论文的关键创新在于：1) 构建了一个针对冻结VFMs的噪声标签学习的全面基准测试，为该领域的研究提供了一个标准化的评估平台。2) 深入分析了小损失假设在冻结VFMs上的失效原因，揭示了损失分布重叠和预测一致性不稳定的问题。3) 提出了基于证据的方法选择指导，为实际应用提供了有价值的参考。
关键设计：论文的关键设计包括：1) 选择具有代表性的医学图像数据集和视觉基础模型，确保基准测试的通用性。2) 使用多种噪声类型和噪声率，模拟实际应用中可能遇到的各种噪声情况。3) 使用平衡精度作为评估指标，避免模型在某些类别上表现良好而掩盖整体性能的问题。4) 设计低后悔特征空间选择器，根据数据集的特征自动选择合适的噪声标签学习方法。
🖼️ 关键图片
📊 实验亮点
该研究构建的基准测试表明，没有单一最优的噪声标签学习方法。ELR在最多条件下获胜（49/150），而CUFIT的平均排名最佳（2.51）。在非对称40%噪声下，方法选择的成本高达18.8个百分点。在ISIC2019数据集上，Co-Teaching的总体准确率达到68%，但平衡准确率崩溃至35.1%，表明其在少数类别上表现极差。
🎯 应用场景
该研究成果可应用于医学图像分析、自动诊断等领域，提高模型在噪声数据下的鲁棒性和泛化能力，降低误诊率。通过提供方法选择指导，可以帮助研究人员和医生更有效地利用冻结视觉基础模型，加速医学图像分析的智能化进程，并可能推广到其他存在噪声标签问题的领域。
📄 摘要（原文）
Frozen Vision Foundation Models (VFMs) with lightweight classification heads are increasingly used in medical imaging because they offer efficient and reproducible deployment. Yet noisy-label learning methods for this frozen-feature regime remain poorly understood, and most existing methods still rely on a small-loss assumption inherited from end-to-end training. We present a controlled benchmark of eight noisy-label methods across five medical datasets, three backbones, two noise types, and five noise rates (150 conditions, 6,000 training runs), evaluated with balanced accuracy. The benchmark shows that there is no universal winner: Friedman ranking over the 150 conditions yields $χ^2 = 333.2$ ($p = 4.77 \times 10^{-68}$), ELR wins the most conditions (49/150), while CUFIT attains the best mean rank (2.51). The practical cost of method choice grows sharply with noise severity, from 4.5pp on clean data to 18.8pp at asymmetric 40\% noise. To explain these benchmark-level patterns, we revisit the small-loss assumption in a representative high-risk regime. Under frozen DINOv2 features, clean and noisy loss distributions overlap by 53--61\%, and matched-rate clean-sample detection shows that prediction agreement is markedly more stable than loss ranking under asymmetric noise (3pp vs.\ 13pp precision drop). On ISIC2019 with asymmetric 40\% noise, Co-Teaching reaches 68\% overall accuracy while collapsing to 35.1\% balanced accuracy with zero recall on three minority classes. Together, these results recast noisy-label learning for frozen VFMs as a regime-aware method-selection problem rather than a search for a single dominant algorithm. We conclude with evidence-based guidance and a low-regret feature-space selector for practical recommendation.