Human-AI-Powered Hypothesis Testing: Cost-Aware Selective AI Scoring and Sequential Human Escalation
作者: Dae Woong, Ham, Xuejun Zhao, Stefanus Jasin, Fenghua Yang
分类: cs.AI, cs.IT, stat.ME
发布日期: 2026-09-24
💡 一句话要点
提出SCALE以降低人机假设检验成本
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 假设检验 人工智能 人机协作 成本感知 选择性验证 信息论
📋 核心要点
- 现有方法在使用AI判断进行假设检验时，面临偏差和噪声的问题，难以控制统计错误。
- 论文提出SCALE策略，通过选择性AI评分与人类验证相结合，降低假设检验的成本。
- 实验结果表明，SCALE在不同场景下均能有效降低成本，并在AI和人类判断优势明显时表现出色。
📝 摘要（中文）
随着大型语言模型被广泛应用于输出评估、数据标注和质量标准评估，利用AI判断进行正式统计推断的挑战日益突出。AI评估可能存在偏差或噪声，因此需要明确控制第一类和第二类错误。本文研究如何结合AI判断和选择性人类验证，以最低成本进行有效的假设检验。我们提出SCALE，一个顺序成本感知策略，结合选择性AI评分与自适应人类升级，能够在有限样本下有效运行，并在目标错误概率降低时与理论下界相匹配。通过数值实验，SCALE在AI或人类判断明显占优时接近单一来源的测试，同时在AI判断和人类验证均有价值时实现最大节省。
🔬 方法详解
问题定义：本文旨在解决如何在使用AI判断进行假设检验时控制统计错误的问题。现有方法未能有效处理AI评估的偏差和噪声，导致假设检验的有效性受到影响。
核心思路：SCALE策略通过结合选择性AI评分与自适应人类升级，旨在以最低成本实现有效的假设检验。该设计考虑了AI评估的局限性，并通过人类验证来增强结果的可靠性。
技术框架：整体架构包括固定项目池的选择、AI评分的选择性查询、直接人类验证、AI评分后的人类升级以及在证据充分时的停止机制。各模块相互配合，形成一个动态的决策过程。
关键创新：SCALE的主要创新在于其信息论下界的推导，能够捕捉实现预定检验错误的最低成本，并通过报告依赖的信息前沿来表征AI信息和人类验证的价值。与现有方法相比，SCALE在样本有限的情况下仍能保持有效性。
关键设计：SCALE的设计包括对AI输出模型的扩展，利用配对的AI-人类试点数据进行优化。关键参数设置和损失函数的选择确保了策略的适应性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SCALE在不同场景下的表现优于传统方法，尤其是在AI判断和人类验证均有价值的情况下，能够实现显著的成本节省。具体而言，SCALE在目标错误概率降低时与理论下界相匹配，展现出良好的适应性。
🎯 应用场景
该研究的潜在应用领域包括医疗诊断、金融风险评估和质量控制等场景，能够有效降低人力成本，提高决策效率。未来，该方法有望在更多领域推广，提升人机协作的智能化水平。
📄 摘要（原文）
Large language models are increasingly used as inexpensive judges to evaluate outputs, label data, and assess whether a system meets a desired quality standard. Yet using AI judgments for formal statistical inference is fundamentally different from simply treating them as ground-truth labels: AI evaluations can be biased or noisy, and rigorous hypothesis testing requires explicit control of type-I and type-II errors. We study how to use AI judgments, together with selective human verification, to conduct a valid hypothesis test at minimum cost. We consider a population of items with hidden binary labels. After choosing a fixed pool of items, the decision maker can selectively query AI, send an item directly to a human, escalate an AI-scored item to a human after observing the AI report, or stop once sufficient evidence has accumulated. We derive an information-theoretic lower bound that captures the minimum cost of achieving prescribed testing errors and characterizes the value of AI information and human verification through a report-dependent information frontier. Motivated by this characterization, we develop SCALE, a sequential cost-aware policy that combines selective AI scoring with adaptive human escalation. SCALE is valid at finite sample sizes and matches the lower bound to first order as the target error probabilities vanish. We further extend the framework to an unknown AI-output model using paired AI-human pilot data. Numerically, SCALE approaches Human-only or AI-only testing when one source clearly dominates, while achieving its largest savings when inexpensive AI judgments and selective human verification are both valuable.