Adjudicator: Correcting Noisy Labels with a KG-Informed Council of LLM Agents

📄 arXiv: 2512.13704v1 📥 PDF

作者: Doohee You, Sundeep Paul

分类: cs.AI

发布日期: 2025-12-05

备注: 12 pages, 3 figures

💡 一句话要点

Adjudicator：利用知识图谱增强的大语言模型智能体委员会纠正噪声标签

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 噪声标签纠正 知识图谱 大语言模型 多智能体系统 神经符号学习

📋 核心要点

  1. 生产环境中机器学习模型受噪声标签影响，降低性能和用户信任，现有方法难以有效识别和纠正。
  2. Adjudicator构建动态知识图谱，为多智能体大语言模型委员会提供上下文信息，进行标签有效性辩论和投票。
  3. 实验表明，Adjudicator在噪声标签纠正方面显著优于单一大语言模型和非知识图谱增强的模型，F1值高达0.99。

📝 摘要（中文）

生产机器学习系统的性能受到训练数据质量的根本限制。在高风险工业应用中，噪声标签会降低性能并削弱用户信任。本文提出了Adjudicator，一个解决自动识别和纠正标签噪声这一关键数据挖掘挑战的系统，并已验证可用于生产部署。Adjudicator将其建模为一个神经符号任务，首先构建一个动态知识图谱（KG）来统一项目上下文。然后，该知识图谱为“智能体委员会”提供信息，这是一个新颖的多智能体大语言模型架构，其中专门的智能体就标签的有效性进行辩论和投票。我们在AlleNoise基准测试的1000个项目的平衡子集上验证了我们的系统。我们的知识图谱模型实现了0.99的F1分数，显著优于单个大语言模型基线（0.48 F1）和非知识图谱委员会（0.59 F1）。我们的分析表明，这归功于一种新颖的覆盖逻辑实现的精确度，该逻辑使用知识图谱来完美识别复杂的结构性错误（完全召回率）——基线无法找到的一类错误。该结果展示了一个用于自动、高精度数据验证的强大且可解释的系统，为在严格管理的工业环境中生成黄金数据集提供了一个重要的概念验证。

🔬 方法详解

问题定义：论文旨在解决生产环境中机器学习模型训练数据中存在的噪声标签问题。现有方法在处理复杂、结构性噪声标签时表现不佳，导致模型性能下降，在高风险工业应用中尤为突出。这些噪声标签难以被传统方法识别和纠正，严重影响了模型的泛化能力和可靠性。

核心思路：论文的核心思路是利用知识图谱（KG）提供丰富的上下文信息，并结合多智能体大语言模型（LLM）委员会进行标签有效性的判断。通过知识图谱将分散的信息关联起来，为LLM智能体提供更全面的视角，从而提高噪声标签识别的准确性。委员会机制则通过多个智能体的辩论和投票，减少单一模型的偏差，提高鲁棒性。

技术框架：Adjudicator系统主要包含两个阶段：知识图谱构建和智能体委员会决策。首先，系统构建一个动态知识图谱，将与项目相关的各种信息（例如，产品属性、用户行为等）整合到图结构中。然后，基于该知识图谱，系统创建一个多智能体委员会，每个智能体都是一个专门的大语言模型，负责从不同的角度评估标签的有效性。智能体之间进行辩论，最终通过投票决定是否纠正标签。

关键创新：该论文最重要的技术创新点在于将知识图谱与多智能体大语言模型委员会相结合，用于噪声标签的自动识别和纠正。传统的噪声标签处理方法往往依赖于单一模型或简单的统计规则，难以处理复杂的结构性错误。Adjudicator通过知识图谱提供上下文信息，并利用多智能体的协同决策，显著提高了噪声标签识别的准确性和鲁棒性。此外，论文还提出了一种新颖的覆盖逻辑，利用知识图谱完美识别复杂的结构性错误。

关键设计：知识图谱的构建方式是关键设计之一，需要选择合适的实体和关系，并设计有效的图嵌入方法。智能体委员会的设计也至关重要，需要确定智能体的数量、角色和辩论策略。此外，投票机制和覆盖逻辑的设计也直接影响最终的纠正效果。论文中提到的覆盖逻辑利用知识图谱来完美识别复杂的结构性错误，实现了完全召回率，是提升性能的关键。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Adjudicator在AlleNoise基准测试的1000个项目的平衡子集上进行了验证，取得了显著的成果。该系统实现了0.99的F1分数，显著优于单一大语言模型基线（0.48 F1）和非知识图谱委员会（0.59 F1）。分析表明，这主要归功于一种新颖的覆盖逻辑，该逻辑利用知识图谱完美识别复杂的结构性错误，实现了完全召回率。

🎯 应用场景

Adjudicator可应用于各种需要高质量训练数据的工业场景，例如电商、金融、医疗等。它可以自动识别和纠正噪声标签，提高机器学习模型的性能和可靠性，从而提升用户体验、降低运营成本。该系统为生成黄金数据集提供了一个重要的概念验证，尤其适用于严格管理的工业环境。

📄 摘要（原文）

The performance of production machine learning systems is fundamentally limited by the quality of their training data. In high-stakes industrial applications, noisy labels can degrade performance and erode user trust. This paper presents Adjudicator, a system that addresses the critical data mining challenge of automatically identifying and correcting label noise and has been validated for production deployment. Adjudicator models this as a neuro-symbolic task, first constructing a dynamic Knowledge Graph (KG) to unify item context. This KG then informs a "Council of Agents," a novel multi-agent Large Language Model architecture where specialized agents debate and vote on a label's validity. We validate our system on a 1,000-item balanced subset of the AlleNoise benchmark. Our KG-informed model achieves a 0.99 F1-score, significantly outperforming a single-LLM baseline (0.48 F1) and a non-KG council (0.59 F1). Our analysis reveals this is due to a Precision, achieved by a novel override logic that uses the KG to perfectly identify complex, structural errors (complete Recall) -- a class of errors that baselines fail to find. This result demonstrates a robust and explainable system for automated, high-precision data verification, serving as a vital proof-of-concept for generating golden datasets in strictly governed industrial environments.