Theory and Algorithms for Learning with Multi-Class Abstention and Multi-Expert Deferral

📄 arXiv: 2512.22886v1 📥 PDF

作者: Anqi Mao

分类: cs.LG, stat.ML

发布日期: 2025-12-28

备注: Ph.D. Dissertation, New York University

💡 一句话要点

针对大模型幻觉与高推理成本，提出多类别拒识与多专家推迟学习的理论与算法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多专家系统 推迟学习 拒识学习 替代损失函数 H-一致性 大型语言模型 幻觉问题

📋 核心要点

  1. 大型语言模型面临幻觉和高推理成本的挑战，需要更高效可靠的解决方案。
  2. 论文提出多专家推迟学习框架，通过将输入路由到不同能力的专家来优化性能。
  3. 实验证明，所提出的算法在图像分类和回归任务中表现出优越的性能和一致性。

📝 摘要（中文）

大型语言模型（LLMs）虽然取得了显著的性能，但也面临着幻觉和高推理成本等关键挑战。利用多专家系统提供了一种解决方案：将不确定的输入推迟给能力更强的专家可以提高可靠性，而将更简单的查询路由到更小的、经过蒸馏的模型可以提高效率。这激发了对多专家推迟学习问题的研究。本论文对这个问题以及相关的拒识学习问题进行了全面的研究，并提供了强一致性保证。首先，对于拒识学习（推迟学习的一个特例），我们分析了多类别分类中基于分数的和预测器-拒绝器公式。我们引入了新的替代损失函数族，并证明了强大的非渐近、假设集特定的相容性保证，解决了两个现有的开放问题。我们分析了单阶段和实用的两阶段设置，并在CIFAR-10、CIFAR-100和SVHN上进行的实验证明了我们算法的优越性能。其次，我们解决了分类中一般的多专家推迟问题。我们为单阶段和两阶段场景设计了新的替代损失函数，并证明它们受益于强大的H-相容性界限。对于两阶段场景，我们表明我们的替代损失函数对于恒定成本函数是可实现的H-相容的，从而产生了有效的新算法。最后，我们引入了一个用于带推迟的回归的新框架，以解决连续标签空间问题。我们通用的框架可以容纳多个专家和各种成本结构，支持单阶段和两阶段方法。它包含了最近关于带拒识的回归的工作。我们提出了新的具有已证明的H-相容性的替代损失函数，并证明了所得算法的经验有效性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）的幻觉问题和高推理成本问题。现有方法在处理不确定性输入时表现不佳，并且无法有效利用不同专家的能力。因此，需要一种能够根据输入的难易程度，将其分配给不同专家处理的机制，从而提高整体效率和准确性。

核心思路：论文的核心思路是引入多专家推迟学习框架。该框架允许模型在遇到不确定性较高的输入时，将其“推迟”给更专业的专家进行处理，或者直接拒绝处理。通过这种方式，可以避免模型产生幻觉，并降低整体的计算成本。对于简单的输入，则交给计算成本较低的模型处理，从而提高效率。

技术框架：论文提出的框架主要包含以下几个模块：1) 输入特征提取模块；2) 专家选择模块（决定是否推迟以及推迟给哪个专家）；3) 专家模型（多个不同能力的专家模型）；4) 损失函数设计（用于训练整个框架，包括推迟的成本和专家的预测误差）。该框架支持单阶段和两阶段的训练方式，其中两阶段训练通常先训练专家选择模块，再训练专家模型。

关键创新：论文的关键创新在于：1) 提出了针对多专家推迟学习的新的替代损失函数，并证明了其具有较强的理论保证（H-一致性）；2) 设计了一个通用的回归框架，可以处理连续标签空间上的推迟问题；3) 提出了实用的两阶段训练算法，可以有效地训练多专家推迟学习模型。

关键设计：论文中关键的设计包括：1) 替代损失函数的选择，需要保证其具有良好的凸性和可优化性，同时能够有效地惩罚错误的推迟决策和预测误差；2) 专家选择模块的设计，可以使用基于分数的或者基于预测器-拒绝器的模型；3) 成本函数的设计，需要合理地衡量推迟的代价，避免模型过度推迟。

📊 实验亮点

论文在CIFAR-10、CIFAR-100和SVHN等图像分类数据集上进行了实验，结果表明，所提出的算法在拒识学习和多专家推迟学习任务中均取得了优于现有方法的性能。特别是在两阶段训练中，所提出的替代损失函数表现出良好的收敛性和泛化能力，验证了其有效性。

🎯 应用场景

该研究成果可应用于各种需要高可靠性和效率的场景，例如自动驾驶、医疗诊断、金融风控等。通过将不确定的任务交给更专业的系统处理，可以显著提高系统的安全性和准确性，并降低运营成本。未来，该技术有望被集成到各种AI系统中，提升其整体性能。

📄 摘要（原文）

Large language models (LLMs) have achieved remarkable performance but face critical challenges: hallucinations and high inference costs. Leveraging multiple experts offers a solution: deferring uncertain inputs to more capable experts improves reliability, while routing simpler queries to smaller, distilled models enhances efficiency. This motivates the problem of learning with multiple-expert deferral. This thesis presents a comprehensive study of this problem and the related problem of learning with abstention, supported by strong consistency guarantees. First, for learning with abstention (a special case of deferral), we analyze score-based and predictor-rejector formulations in multi-class classification. We introduce new families of surrogate losses and prove strong non-asymptotic, hypothesis set-specific consistency guarantees, resolving two existing open questions. We analyze both single-stage and practical two-stage settings, with experiments on CIFAR-10, CIFAR-100, and SVHN demonstrating the superior performance of our algorithms. Second, we address general multi-expert deferral in classification. We design new surrogate losses for both single-stage and two-stage scenarios and prove they benefit from strong $H$-consistency bounds. For the two-stage scenario, we show that our surrogate losses are realizable $H$-consistent for constant cost functions, leading to effective new algorithms. Finally, we introduce a novel framework for regression with deferral to address continuous label spaces. Our versatile framework accommodates multiple experts and various cost structures, supporting both single-stage and two-stage methods. It subsumes recent work on regression with abstention. We propose new surrogate losses with proven $H$-consistency and demonstrate the empirical effectiveness of the resulting algorithms.