On the Foundations of Shortcut Learning

📄 arXiv: 2310.16228v2 📥 PDF

作者: Katherine L. Hermann, Hossein Mobahi, Thomas Fel, Michael C. Mozer

分类: cs.LG, cs.CV

发布日期: 2023-10-24 (更新: 2024-07-11)

备注: ICLR 2024

💡 一句话要点

提出生成框架以研究深度学习中的快捷学习现象

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 深度学习 快捷学习 特征选择 生成框架 模型偏差

📋 核心要点

  1. 现有深度学习模型在特征选择上存在偏见，往往过度依赖可获取性高但可预测性低的特征。
  2. 本文提出了一个生成框架，通过合成数据集来系统研究特征的可预测性与可获取性之间的相互作用。
  3. 实验结果表明，线性模型较为公正，而引入非线性结构后模型会出现快捷偏差，且可获取性操控会加剧这一现象。

📝 摘要（中文）

深度学习模型能够从数据中提取丰富的特征，其特征的使用不仅依赖于可预测性（特征与标签的相关性），还依赖于可获取性（特征从输入中提取的难易程度）。本文测试了输入属性的可获取性对模型特征使用的影响，构建了一个生成框架来合成分类数据集，并量化模型的快捷偏差。研究发现，线性模型相对不偏见，而引入隐藏层的非线性模型则表现出偏见。最后，研究了实际应用中模型如何在自然数据集中权衡可预测性和可获取性，发现可获取性操控可以增加模型的快捷偏差。

🔬 方法详解

问题定义：本文旨在解决深度学习模型在特征选择中存在的快捷学习偏差问题，现有方法未能充分考虑特征的可获取性与可预测性之间的关系。

核心思路：通过构建一个明确的生成框架，合成具有不同可预测性和可获取性的特征的数据集，以量化模型的快捷偏差。

技术框架：研究分为几个阶段：首先合成数据集，然后训练模型并评估其特征使用情况，最后分析模型在不同特征上的偏差。

关键创新：提出了一个系统的生成框架，能够明确区分特征的可获取性与可预测性，并量化模型的快捷偏差，这在现有文献中尚属首次。

关键设计：使用了线性模型和带有ReLU或Tanh激活函数的隐藏层模型进行对比，设计了特征的可获取性操控实验，以观察其对模型偏差的影响。

📊 实验亮点

实验结果显示，线性模型在特征选择上表现出较低的快捷偏差，而引入非线性隐藏层后，模型的快捷偏差显著增加。此外，通过可获取性操控，模型的快捷偏差程度也得到了提升，这一发现为理解深度学习模型的特征使用提供了新的见解。

🎯 应用场景

该研究为深度学习模型的特征选择提供了新的视角，尤其在图像识别、自然语言处理等领域具有重要应用价值。通过理解模型的快捷学习偏差，可以优化模型设计，提高其在复杂任务中的表现，未来可能推动更公平和透明的AI系统的开发。

📄 摘要（原文）

Deep-learning models can extract a rich assortment of features from data. Which features a model uses depends not only on \emph{predictivity} -- how reliably a feature indicates training-set labels -- but also on \emph{availability} -- how easily the feature can be extracted from inputs. The literature on shortcut learning has noted examples in which models privilege one feature over another, for example texture over shape and image backgrounds over foreground objects. Here, we test hypotheses about which input properties are more available to a model, and systematically study how predictivity and availability interact to shape models' feature use. We construct a minimal, explicit generative framework for synthesizing classification datasets with two latent features that vary in predictivity and in factors we hypothesize to relate to availability, and we quantify a model's shortcut bias -- its over-reliance on the shortcut (more available, less predictive) feature at the expense of the core (less available, more predictive) feature. We find that linear models are relatively unbiased, but introducing a single hidden layer with ReLU or Tanh units yields a bias. Our empirical findings are consistent with a theoretical account based on Neural Tangent Kernels. Finally, we study how models used in practice trade off predictivity and availability in naturalistic datasets, discovering availability manipulations which increase models' degree of shortcut bias. Taken together, these findings suggest that the propensity to learn shortcut features is a fundamental characteristic of deep nonlinear architectures warranting systematic study given its role in shaping how models solve tasks.