Beyond Accuracy: How Procedural Traces Shift the Decision Criterion of LLM Overseers
作者: Zihan Chen, Di Zhu, Lei Zheng, Weiling Li
分类: cs.CL, cs.AI, cs.CY, cs.HC
发布日期: 2026-09-16
备注: 11 pages, 4 figures, 3 tables. Accepted at the 60th Hawaii International Conference on System Sciences (HICSS)
💡 一句话要点
提出程序性追踪以改善大型语言模型监督决策标准
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 程序性追踪 监督学习 信号检测理论 误报率 决策标准 合规性审计
📋 核心要点
- 现有的LLM监督方法在处理复杂证据时容易导致误报，影响决策质量。
- 论文提出通过程序性追踪来改善监督者的决策标准，减少误报现象。
- 实验结果显示，复杂的追踪信息虽然提高了错误检测能力，但也增加了误报率，尤其是在细节丰富的情况下。
📝 摘要（中文）
组织越来越多地使用监督循环，其中一个大型语言模型（LLM）审计另一个模型的输出，并结合所声称步骤的程序性追踪。关于这种LLM作为评判者的管道的一个常见担忧是，详细的追踪使监督者变得容易受骗。通过信号检测理论，我们审计了五个LLM监督者在19个合规任务上的表现（分析了4,551个判断），仅改变追踪细节和证据标签。尽管始终可见的反证据使错误检测接近上限，但复杂的追踪将决策标准向拒绝方向转移，导致易受影响的监督者增加误报。没有选项标签的情况下，人类验证的理由编码显示约60%的误报引用了无法将证据与选项联系起来的原因。标签消除了这一陈述原因，但在这些监督者中，正确工作的残余拒绝仍然存在，并随着追踪细节的增加而上升。因此，程序性追踪作为治理文物，塑造了监督决策。AI审计者应通过其决策标准和误报行为以及准确性进行评估。
🔬 方法详解
问题定义：本论文旨在解决在LLM监督过程中，复杂的程序性追踪如何影响监督者的决策标准和误报率的问题。现有方法在处理详细追踪信息时，容易导致监督者产生误判和过度拒绝。
核心思路：论文的核心思路是利用信号检测理论，分析不同追踪细节对监督者决策标准的影响。通过实验验证，探讨如何优化追踪信息以减少误报。
技术框架：整体架构包括五个LLM监督者和19个合规任务的设置，分析过程中仅改变追踪的细节和证据标签。实验通过对比不同条件下的判断结果，评估监督者的表现。
关键创新：最重要的技术创新点在于揭示了程序性追踪作为治理工具的作用，强调了决策标准的变化对监督效果的影响。这与传统方法侧重于准确性不同。
关键设计：在实验中，设置了不同的追踪细节和证据标签，采用人类验证的理由编码来分析误报原因。通过对比有无标签的情况，发现标签的使用能够消除部分误报原因，但仍存在残余拒绝现象。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在复杂追踪信息的情况下，误报率显著上升，尤其是在缺乏选项标签的情况下，约60%的误报源于无法将证据与选项关联。使用标签后，尽管部分误报减少，但仍存在残余拒绝现象，表明追踪细节对决策的深远影响。
🎯 应用场景
该研究的潜在应用领域包括人工智能审计、合规性检查和自动化决策支持系统。通过优化监督者的决策标准，可以提高模型输出的可靠性，减少误报，进而增强AI系统在实际应用中的信任度和有效性。
📄 摘要（原文）
Organizations increasingly use oversight loops where one large language model (LLM) audits another's outputs alongside procedural traces of claimed steps. A common concern about such LLM-as-a-judge pipelines is that detailed traces make overseers gullible. Using signal detection theory, we audit five LLM overseers on 19 compliance tasks (4,551 analyzed judgments), varying only trace detail and evidence labeling. With disconfirming evidence always visible, error detection remains near ceiling. Instead, elaborate traces shift the decision criterion toward rejection, increasing false alarms in susceptible overseers. Without option labels, human-validated reason coding shows about 60% of false alarms cite an inability to tie evidence to its option. Labels eliminate this stated reason, yet residual rejection of correct work persists in those overseers and rises with trace detail. Procedural traces thus act as governance artifacts that shape oversight decisions. AI auditors should be evaluated by their decision criterion and false-alarm behavior, alongside accuracy.