INCONVENIENT: A Benchmark to Assess LLM Generalization Capabilities from Convenience Samples

📄 arXiv: 2610.21038v1 📥 PDF

作者: Sara Rezaeimanesh, Chad Klochko, Kundan Thind, Mohammad Ghassemi

分类: cs.LG, cs.CL

发布日期: 2026-10-15

💡 一句话要点

提出INCONVENIENT基准以评估LLM对便利样本偏差的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 便利样本偏差 鲁棒性评估 表格数据 机器学习 分布转移 基准测试 特征扰动

📋 核心要点

  1. 现有方法假设训练数据能够代表目标人群，但实际中常因便利性收集数据，导致系统性偏差。
  2. INCONVENIENT基准通过直接扰动特征与目标关系，保留原始人群分布，提供对便利样本偏差的鲁棒性评估。
  3. 该基准包含200个表格分类和回归数据集，生成约15,500个转移训练分布，显著降低下游任务性能。

📝 摘要（中文）

机器学习模型在表格预测中通常假设训练数据能够代表其部署的人群。然而，实际中数据往往基于便利性、可用性或成本收集，导致系统性抽样偏差，扭曲特征与目标之间的关系，削弱现实世界的泛化能力。现有的表格分布转移基准主要通过自然发生的领域划分来构建超出分布（OOD）设置，但这些划分并未明确控制或隔离变化。本文提出INCONVENIENT基准，旨在研究对便利样本偏差的鲁棒性。该基准直接扰动训练分布中的特征与目标关系，同时保留原始人群分布，反映了模型从不代表样本开发并在更广泛人群中部署的真实场景。INCONVENIENT提供了对关系转变的方向和强度的明确控制，系统评估对便利抽样的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决机器学习模型在表格预测中因便利样本偏差导致的泛化能力不足的问题。现有方法主要依赖自然领域划分，无法有效控制和隔离特征与目标关系的变化，导致评估分布不具代表性。

核心思路：INCONVENIENT基准通过直接扰动训练分布中的特征与目标关系，避免了依赖自然领域划分的局限性。这种设计更贴近真实场景，能够更好地评估模型在便利样本偏差下的鲁棒性。

技术框架：该基准的整体架构包括数据集构建、特征与目标关系扰动、以及生成转移训练分布三个主要模块。首先，选择200个表格数据集，然后对特征与目标关系进行系统性扰动，最后生成多种转移训练分布以供评估。

关键创新：INCONVENIENT的最大创新在于提供了对关系转变的明确控制，能够系统地评估模型对便利样本偏差的鲁棒性。这与现有方法的本质区别在于不再依赖自然领域划分，而是直接操控特征与目标关系。

关键设计：在设计中，关键参数包括扰动的方向和强度，损失函数采用标准的分类和回归损失，确保生成的转移训练分布能够有效反映不同程度的便利样本偏差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，INCONVENIENT基准生成的约15,500个转移训练分布显著降低了下游任务的性能，展示了模型在便利样本偏差下的脆弱性。这一评估方法提供了对比基线的明确控制，能够系统地分析模型的鲁棒性。

🎯 应用场景

INCONVENIENT基准的潜在应用领域包括机器学习模型的开发与评估，尤其是在医疗、金融等领域，模型常面临数据收集的便利性问题。通过评估模型在便利样本偏差下的鲁棒性，研究者可以更好地理解模型的泛化能力，从而提高模型在实际应用中的可靠性和有效性。

📄 摘要（原文）

Machine learning models for tabular prediction typically assume that training data are representative of the population on which they will be deployed. In practice, however, data are often collected based on convenience, availability, or cost, resulting in systematic sampling biases that can distort feature--target relationships and undermine real-world generalization. Existing tabular distribution-shift benchmarks primarily construct out-of-distribution (OOD) settings by partitioning observations across naturally occurring domains. While such partitions may induce changes in P(Y | X), the resulting shifts are neither explicitly controlled nor isolated, and the evaluation distributions themselves are often not representative of the broader target population. We introduce INCONVENIENT, a benchmark designed to study robustness to convenience-sample bias. Rather than relying on naturally occurring domain partitions, INCONVENIENT directly perturbs feature--target relationships in the training distribution while preserving the original population distribution as the deployment environment. This setting more closely reflects real-world scenarios in which models are developed from unrepresentative samples and subsequently deployed on a broader population. The distinction is particularly relevant for large language models (LLMs), whose pretraining may encode population-level knowledge that extends beyond the relationships observed in a biased training dataset. Unlike existing distribution-shift benchmarks, INCONVENIENT provides explicit control over both the direction and severity of relationship shifts, enabling a systematic assessment of robustness to convenience sampling. The benchmark comprises 200 tabular classification and regression datasets spanning diverse application domains and generates around 15,500 shifted training distributions which lead to substantial downstream degradation.