Scalable Oversight via Partitioned Human Supervision
作者: Ren Yin, Takashi Ishida, Masashi Sugiyama
分类: cs.LG, cs.AI, cs.CL
发布日期: 2025-10-26
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于划分的人工监督方法，实现对超人AI系统可扩展的评估与训练。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 互补标签 弱监督学习 可扩展监督 AI评估 无偏估计 大型语言模型 划分人工监督
📋 核心要点
- 现有AI系统超越人类专家，但缺乏高质量的监督信号，尤其是在需要多领域知识的任务中。
- 利用人类在特定领域的互补标签（错误指示），构建可扩展的监督框架，无需ground truth即可评估AI系统。
- 实验证明，该方法可用于评估大型语言模型，并能训练AI系统，提升其在划分人工监督下的性能。
📝 摘要（中文）
随着人工智能系统在广泛任务上逼近甚至超越人类专家水平，获取高质量的人工监督来进行评估和训练变得越来越具有挑战性。本文关注需要多个领域深度知识和技能的任务。即使是最优秀的人类专家也只精通一个狭窄的领域，无法评估此类超人任务上先进AI系统的正确性。然而，基于他们狭窄的专业知识，人类可以提供一个弱信号，即一个指示选项不正确的互补标签。例如，心脏病专家可能会说“这与心脏病学无关”，即使他们无法识别真正的疾病。基于这种弱信号，我们提出了一个可扩展的监督框架，使我们能够在不需要准备ground truth的情况下评估前沿AI系统。我们从互补标签中推导出top-1准确率的无偏估计量，并量化了匹配普通标签方差所需的互补标签数量。我们进一步引入了两个估计器，将稀缺的普通标签与丰富的互补标签相结合。我们为仅互补估计器和混合估计器提供了有限样本偏差保证。在实验上，我们表明，如果我们有互补标签，我们可以在没有ground truth的情况下评估大型语言模型的输出。我们进一步表明，我们可以用这种弱信号训练一个AI系统：我们展示了如何自动设计一个智能AI系统，使其在这种划分的人工监督下表现更好。
🔬 方法详解
问题定义：论文旨在解决在AI系统能力超越人类专家时，如何进行有效评估和训练的问题。现有方法依赖于高质量的ground truth标签，但在复杂、多领域任务中，获取此类标签非常困难，即使是专家也难以提供全面的判断。因此，需要一种新的监督方式，能够利用人类的有限知识来指导AI系统的学习。
核心思路：论文的核心思路是利用人类专家在各自领域的“互补标签”作为弱监督信号。互补标签指的是专家能够指出某个选项是错误的，即使他们无法确定哪个选项是正确的。通过收集大量的互补标签，可以推断出AI系统的性能，并用于训练AI系统。这种方法的核心在于，即使专家知识有限，他们仍然可以提供有用的负反馈信息。
技术框架：该框架包含以下几个主要步骤：1) 从人类专家处收集互补标签。2) 基于互补标签，推导出top-1准确率的无偏估计量。3) 结合稀缺的普通标签和丰富的互补标签，使用混合估计器提高评估精度。4) 利用互补标签训练AI系统，例如通过强化学习或监督学习。整体流程旨在利用人类的领域知识，即使这些知识是不完整的，也能有效地监督和训练AI系统。
关键创新：论文的关键创新在于提出了利用互补标签进行AI系统评估和训练的思想。与传统的依赖ground truth标签的方法不同，该方法只需要人类提供负反馈信息，降低了对专家知识的要求。此外，论文还提出了无偏估计量和混合估计器，用于提高评估的准确性和效率。这种方法特别适用于那些AI系统能力超越人类专家的复杂任务。
关键设计：论文的关键设计包括：1) 定义了互补标签的概念，并提出了相应的数学模型。2) 推导了top-1准确率的无偏估计量，并分析了其方差。3) 提出了两种混合估计器，用于结合普通标签和互补标签。4) 设计了一种agentic AI系统，能够利用互补标签进行训练。具体的参数设置和损失函数取决于具体的应用场景和AI系统。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法可以在没有ground truth的情况下评估大型语言模型的输出，并且可以通过互补标签训练AI系统，使其性能得到提升。论文还提供了有限样本偏差保证，证明了该方法的可靠性。具体而言，通过互补标签评估LLM的性能，并设计agentic AI系统，利用互补标签进行训练，验证了方法的有效性。
🎯 应用场景
该研究成果可应用于医疗诊断、金融分析、法律咨询等领域，在这些领域中，AI系统需要处理复杂的、多领域的数据，并且人类专家难以提供全面的ground truth标签。通过利用互补标签，可以更有效地评估和训练AI系统，提高其在这些领域的应用价值。未来，该方法有望推动AI系统在复杂决策问题上的应用。
📄 摘要（原文）
As artificial intelligence (AI) systems approach and surpass expert human performance across a broad range of tasks, obtaining high-quality human supervision for evaluation and training becomes increasingly challenging. Our focus is on tasks that require deep knowledge and skills of multiple domains. Unfortunately, even the best human experts are knowledgeable only in a single narrow area, and will not be able to evaluate the correctness of advanced AI systems on such superhuman tasks. However, based on their narrow expertise, humans may provide a weak signal, i.e., a complementary label indicating an option that is incorrect. For example, a cardiologist could state that "this is not related to cardiology,'' even if they cannot identify the true disease. Based on this weak signal, we propose a scalable oversight framework that enables us to evaluate frontier AI systems without the need to prepare the ground truth. We derive an unbiased estimator of top-1 accuracy from complementary labels and quantify how many complementary labels are needed to match the variance of ordinary labels. We further introduce two estimators to combine scarce ordinary labels with abundant complementary labels. We provide finite-sample deviation guarantees for both complementary-only and the mixed estimators. Empirically, we show that we can evaluate the output of large language models without the ground truth, if we have complementary labels. We further show that we can train an AI system with such weak signals: we show how we can design an agentic AI system automatically that can perform better with this partitioned human supervision. Our code is available at https://github.com/R-Yin-217/Scalable-Oversight-via-Human-Partitioned-Supervision.