Outlier-Robust Training of Machine Learning Models
作者: Rajat Talak, Charis Georgiou, Jingnan Shi, Luca Carlone
分类: cs.LG, cs.CV
发布日期: 2024-12-31
🔗 代码/项目: GITHUB
💡 一句话要点
提出自适应交替算法，用于机器学习模型在离群点下的鲁棒训练
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 鲁棒训练 离群点检测 自适应算法 M估计 风险最小化
📋 核心要点
- 现有方法在离群点存在时，机器学习模型训练的鲁棒性不足，易受噪声数据干扰。
- 提出自适应交替算法（AAA），通过迭代加权非鲁棒损失并更新权重，实现鲁棒训练。
- 实验表明，该算法在回归、分类和神经场景重建等任务上，均能有效提升模型性能。
📝 摘要（中文）
在存在离群点的情况下，机器学习模型的鲁棒训练受到了各个领域的关注。使用鲁棒损失是一种流行的方法，并且已知可以减轻离群点的影响。本文揭示了在设计鲁棒损失方面存在分歧的两个文献：一个使用M估计，在机器人和计算机视觉中很流行；另一个使用风险最小化框架，在深度学习中很流行。首先，本文证明了对Black-Rangarajan对偶性的简单修改提供了一个统一的视角。修改后的对偶性引出了一个鲁棒损失核σ的定义，该定义满足两个文献中的鲁棒损失。其次，利用修改后的对偶性，本文提出了一种自适应交替算法（AAA），用于在存在离群点的情况下训练机器学习模型。该算法通过使用非鲁棒损失的加权版本迭代地训练模型，同时在每次迭代中更新权重。该算法通过将权重解释为内点概率来增强，并避免了复杂的参数调整。第三，本文研究了自适应交替算法收敛到无离群点的最优解的情况。考虑到任意离群点（即，对离群点没有分布假设），本文表明，使用鲁棒损失核σ会增加收敛区域。本文通过实验证明了该算法在回归、分类和神经场景重建问题上的有效性。代码已开源。
🔬 方法详解
问题定义：论文旨在解决机器学习模型在存在离群点时的鲁棒训练问题。现有方法，如直接使用非鲁棒损失函数，容易受到离群点的严重影响，导致模型性能下降。即使使用鲁棒损失，不同领域（如机器人视觉和深度学习）的鲁棒损失设计方法也存在差异，缺乏统一的理论框架。
核心思路：论文的核心思路是利用修改后的Black-Rangarajan对偶性，统一不同领域的鲁棒损失设计方法，并基于此提出自适应交替算法（AAA）。AAA算法通过迭代地对数据点进行加权，降低离群点的影响，从而实现鲁棒训练。权重被解释为内点概率，并用于自适应地更新模型参数。
技术框架：AAA算法的整体流程如下： 1. 初始化模型参数和权重。 2. 迭代训练： a. 使用加权的非鲁棒损失函数训练模型。 b. 基于当前模型参数，更新每个数据点的权重（内点概率）。 3. 重复步骤2，直到收敛。
关键创新：论文的关键创新在于： 1. 提出了修改后的Black-Rangarajan对偶性，统一了不同领域的鲁棒损失设计方法。 2. 提出了自适应交替算法（AAA），通过迭代加权和参数更新，实现了对离群点的鲁棒训练。 3. 提出了一种新颖的参数更新规则，将权重解释为内点概率，避免了复杂的参数调整。
关键设计：AAA算法的关键设计包括： 1. 鲁棒损失核σ的定义，用于指导鲁棒损失函数的选择。 2. 基于内点概率的权重更新规则，确保离群点权重逐渐降低。 3. 使用加权的非鲁棒损失函数进行模型训练，简化了优化过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的AAA算法在回归、分类和神经场景重建等任务上均取得了显著的性能提升。例如，在存在大量离群点的回归任务中，AAA算法的性能优于传统的鲁棒损失函数，并且收敛速度更快。在神经场景重建任务中，AAA算法能够生成更准确、更完整的3D模型。
🎯 应用场景
该研究成果可广泛应用于需要处理噪声或异常数据的机器学习任务中，例如自动驾驶、机器人导航、图像识别、医疗诊断等。通过提高模型对离群点的鲁棒性，可以提升模型在实际应用中的可靠性和泛化能力，降低误判风险，具有重要的实际应用价值。
📄 摘要（原文）
Robust training of machine learning models in the presence of outliers has garnered attention across various domains. The use of robust losses is a popular approach and is known to mitigate the impact of outliers. We bring to light two literatures that have diverged in their ways of designing robust losses: one using M-estimation, which is popular in robotics and computer vision, and another using a risk-minimization framework, which is popular in deep learning. We first show that a simple modification of the Black-Rangarajan duality provides a unifying view. The modified duality brings out a definition of a robust loss kernel $σ$ that is satisfied by robust losses in both the literatures. Secondly, using the modified duality, we propose an Adaptive Alternation Algorithm (AAA) for training machine learning models with outliers. The algorithm iteratively trains the model by using a weighted version of the non-robust loss, while updating the weights at each iteration. The algorithm is augmented with a novel parameter update rule by interpreting the weights as inlier probabilities, and obviates the need for complex parameter tuning. Thirdly, we investigate convergence of the adaptive alternation algorithm to outlier-free optima. Considering arbitrary outliers (i.e., with no distributional assumption on the outliers), we show that the use of robust loss kernels σ increases the region of convergence. We experimentally show the efficacy of our algorithm on regression, classification, and neural scene reconstruction problems. We release our implementation code: https://github.com/MIT-SPARK/ORT.