When Does Task-Aware Imputation Matter? An Analysis of Robustness Under Train-Test Mismatch
作者: Maria V. Salvador, Ana F. Sequeira, Jaime S. Cardoso
分类: cs.LG
发布日期: 2026-10-14
💡 一句话要点
提出任务感知插补方法以应对缺失数据问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 缺失数据 任务感知插补 机器学习 鲁棒性 数据预处理 优化方法 模型性能
📋 核心要点
- 现有插补方法通常将缺失数据处理与下游任务分开，导致在训练和测试不匹配时性能下降。
- 本文提出将缺失条目视为任务条件优化问题中的变量，设计了两种插补方法以应对不同缺失场景。
- 在98个数据集上的实验表明，任务感知插补在训练-测试不匹配情况下显著提升了模型性能，胜率高达80%。
📝 摘要（中文）
缺失数据是机器学习中的普遍挑战，常常降低预测性能并复杂化模型部署。现有方法通常将插补视为与下游任务无关的预处理步骤，这种分离在缺失机制或缺失率的训练-测试不匹配情况下变得问题重重。本文提出一个统一框架，将缺失条目视为任务条件优化问题中的变量。我们在两种场景中实例化该框架：一种是针对训练和测试时均存在缺失数据的情况的 amortized 方法，另一种是针对仅训练数据不完整的潜在优化方法。通过在98个表格数据集上的评估，我们发现重建误差是预测效用的较差代理，而任务感知插补在经典方法无法恢复完整数据性能的情况下变得至关重要，在具有挑战性的训练-测试不匹配场景中，取得了高达80%的胜率。
🔬 方法详解
问题定义：本文旨在解决缺失数据对机器学习模型性能的影响，现有方法在训练和测试数据缺失机制不匹配时表现不佳，导致预测性能下降。
核心思路：提出一个统一框架，将缺失数据视为任务条件优化问题中的变量，设计了针对不同缺失情况的插补方法，以提高模型的鲁棒性和预测能力。
技术框架：整体架构包括两个主要模块：一是针对训练和测试均存在缺失数据的 amortized 方法，二是针对仅训练数据缺失的潜在优化方法。通过这两个模块，模型能够在不同场景下有效处理缺失数据。
关键创新：最重要的技术创新在于将缺失条目视为优化问题中的变量，而非简单的预处理步骤，这一设计使得插补过程与下游任务紧密结合，显著提升了模型在不匹配场景下的性能。
关键设计：在方法实现中，采用了特定的损失函数来优化插补效果，并通过实验验证了不同参数设置对模型性能的影响，确保了在多种数据集上的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，重建误差与预测效用之间的相关性较低（Spearman rho约为0.16至0.32），而任务感知插补在经典方法无法恢复完整数据性能的情况下，胜率高达80%，显著提升了模型在训练-测试不匹配场景下的表现。
🎯 应用场景
该研究的潜在应用领域包括医疗数据分析、金融风险评估和社交网络分析等，能够有效处理缺失数据问题，从而提升模型的预测能力和实际应用价值。未来，该方法有望在更多领域推广，助力数据驱动决策的准确性。
📄 摘要（原文）
Missing data is a pervasive challenge in machine learning, often degrading predictive performance and complicating model deployment. Most existing approaches treat imputation as a preprocessing step independent of the downstream task, a separation that becomes problematic under train-test mismatches in missingness mechanisms or rates. We introduce a unified framework that treats missing entries as variables in a task-conditioned optimization problem. We instantiate this framework in two settings: an amortized approach for scenarios with missing data at both training and test time, and a latent optimization approach for settings where only training data is incomplete. The evaluation is conducted on 98 tabular datasets, and robustness under train-test mismatches is assessed on 36 datasets. Results reveal that reconstruction error constitutes a poor proxy for predictive utility (Spearman rho approximately 0.16 to 0.32), and that task-aware imputation becomes critical in scenarios where classical methods fail to recover complete-data performance, achieving win rates of up to 80% in challenging train-test mismatch scenarios.