REMEDI: Relative Feature Enhanced Meta-Learning with Distillation for Imbalanced Prediction

📄 arXiv: 2505.07245v1 📥 PDF

作者: Fei Liu, Huanhuan Ren, Yu Guan, Xiuxu Wang, Wang Lv, Zhiqiang Hu, Yaxi Chen

分类: cs.LG, cs.AI

发布日期: 2025-05-12

💡 一句话要点

REMEDI：结合相对特征增强的元学习与蒸馏，解决极度不平衡预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 不平衡学习 元学习 知识蒸馏 相对特征 模型融合

📋 核心要点

  1. 现有方法难以有效应对未来购车预测中极端类别不平衡和复杂用户行为模式的挑战。
  2. REMEDI通过相对特征增强的元学习和知识蒸馏，有效融合多个基模型的预测能力，并提升部署效率。
  3. 实验表明，REMEDI在识别潜在购车用户方面显著优于基线方法，并满足了实际业务需求。

📝 摘要（中文）

本文提出REMEDI，一种新颖的多阶段框架，用于解决现有车主未来购车预测中存在的极端类别不平衡（<0.5%正例率）和复杂行为模式的挑战。REMEDI首先训练多个不同的基模型，以捕捉用户行为的互补方面。其次，受到比较优化技术的启发，引入相对性能元特征（与集成平均值的偏差、同行中的排名），通过混合专家架构实现有效的模型融合。第三，通过使用MSE损失的监督微调将集成的知识提炼成单个高效模型，从而实现实际部署。在约80万车主的数据上进行评估，REMEDI显著优于基线方法，实现了在约10%的精度下，在前6万个推荐中识别出约50%的实际购买者的业务目标。蒸馏模型保留了集成的预测能力，同时保持了部署效率，证明了REMEDI在工业环境中不平衡预测方面的有效性。

🔬 方法详解

问题定义：论文旨在解决在极度不平衡数据集上进行预测的问题，具体场景是预测现有车主未来是否会购买新车。现有方法在处理这种极端不平衡问题时，往往难以有效捕捉少数类别的特征，导致预测性能不佳。此外，模型复杂度高，部署成本也较高。

核心思路：论文的核心思路是利用元学习的思想，通过训练多个不同的基模型来捕捉用户行为的不同方面，然后利用相对性能元特征来融合这些基模型的预测结果。最后，通过知识蒸馏将集成模型的知识转移到一个更小的模型中，以提高部署效率。这种设计旨在提高模型在不平衡数据上的预测精度，并降低部署成本。

技术框架：REMEDI框架包含三个主要阶段：1) 基模型训练：训练多个不同的基模型，每个模型关注用户行为的不同方面。2) 元学习融合：使用相对性能元特征（如与集成平均值的偏差、同行中的排名）来融合基模型的预测结果。采用混合专家架构，根据输入数据的不同选择不同的专家模型进行预测。3) 知识蒸馏：将集成模型的知识提炼到一个更小的模型中，使用MSE损失进行监督微调，以提高部署效率。

关键创新：REMEDI的关键创新在于引入了相对性能元特征，这些特征能够有效地捕捉基模型之间的差异和互补性，从而提高模型融合的性能。此外，使用知识蒸馏技术将集成模型的知识转移到一个更小的模型中，能够在保持预测精度的同时，显著降低模型的复杂度，提高部署效率。

关键设计：在元学习融合阶段，使用了混合专家架构，根据输入数据的不同选择不同的专家模型进行预测。相对性能元特征包括每个基模型预测结果与集成平均值的偏差，以及该模型在所有基模型中的排名。在知识蒸馏阶段，使用MSE损失函数来衡量学生模型和教师模型之间的差异，并进行监督微调。

📊 实验亮点

REMEDI在约80万车主的数据集上进行了评估，实验结果表明，REMEDI显著优于基线方法，实现了在约10%的精度下，在前6万个推荐中识别出约50%的实际购买者的业务目标。这表明REMEDI在不平衡预测问题上具有显著的性能优势，并且能够满足实际业务需求。

🎯 应用场景

REMEDI可应用于各种存在极端类别不平衡的预测问题，例如金融欺诈检测、罕见疾病诊断、网络安全入侵检测等。通过提高少数类别的识别精度，REMEDI能够帮助企业做出更准确的决策，降低风险，并提高运营效率。该研究对于提升工业界不平衡预测问题的解决能力具有重要意义。

📄 摘要（原文）

Predicting future vehicle purchases among existing owners presents a critical challenge due to extreme class imbalance (<0.5% positive rate) and complex behavioral patterns. We propose REMEDI (Relative feature Enhanced Meta-learning with Distillation for Imbalanced prediction), a novel multi-stage framework addressing these challenges. REMEDI first trains diverse base models to capture complementary aspects of user behavior. Second, inspired by comparative op-timization techniques, we introduce relative performance meta-features (deviation from ensemble mean, rank among peers) for effective model fusion through a hybrid-expert architecture. Third, we distill the ensemble's knowledge into a single efficient model via supervised fine-tuning with MSE loss, enabling practical deployment. Evaluated on approximately 800,000 vehicle owners, REMEDI significantly outperforms baseline approaches, achieving the business target of identifying ~50% of actual buyers within the top 60,000 recommendations at ~10% precision. The distilled model preserves the ensemble's predictive power while maintaining deployment efficiency, demonstrating REMEDI's effectiveness for imbalanced prediction in industry settings.