Challenges of Auditing: Variability in Outputs of Large Language Models for Health
作者: Yuan Pu, Yewon Chang, Furong Jia, Xunjian Yin, Jessica Ma, Ayman Ali, Monica Agrawal
分类: cs.CL
发布日期: 2026-09-15
💡 一句话要点
揭示大型语言模型在健康领域审计中的输出变异性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 健康咨询 审计方法 输出变异性 消费者体验
📋 核心要点
- 核心问题：不同访问模式下，大型语言模型的输出存在系统性差异，影响评估的有效性。
- 方法要点：论文强调模型提供者需确保消费者体验的真实复制，以便进行有效审计。
- 实验或效果：研究结果揭示了当前评估方法的局限性，并提出改进建议。
📝 摘要（中文）
随着人们越来越多地使用前沿人工智能模型获取健康建议，但不同的访问模式（如ChatGPT、ChatGPT Health、API）在设置上存在差异。研究发现，这些访问模式之间存在系统性差异。由于评估通常依赖于API，而消费者通过聊天机器人接口进行互动，这些差异限制了评估的有效性。研究结果强调了模型提供者迫切需要使消费者体验和设置的真实复制成为可能，以便进行严格的审计。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在健康领域审计中输出变异性的问题。现有方法主要依赖API进行评估，而消费者通过不同的聊天接口进行互动，这导致评估结果的有效性受到限制。
核心思路：论文的核心解决思路是强调模型提供者需要能够真实复制消费者的体验和设置，以便进行更为严格的审计。这一设计旨在缩小评估与实际使用之间的差距。
技术框架：整体架构包括对不同访问模式的系统性分析，评估其输出的一致性和有效性。主要模块包括数据收集、输出比较和评估标准制定。
关键创新：最重要的技术创新点在于系统性地识别和分析不同访问模式下的输出差异，这与现有方法的单一API评估方式形成鲜明对比。
关键设计：在技术细节上，论文提出了针对不同访问模式的评估标准，并设计了相应的实验框架，以确保评估结果的可靠性和有效性。具体参数设置和评估指标在实验部分进行了详细说明。
🖼️ 关键图片
📊 实验亮点
研究结果表明，不同访问模式下的输出存在显著差异，影响了评估的有效性。通过系统性分析，论文提出了改进建议，强调了模型提供者在复制消费者体验方面的责任，为未来的审计提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括医疗健康咨询、智能健康助手等。通过改进大型语言模型的审计方法，可以提高其在实际应用中的可靠性和有效性，从而为用户提供更准确的健康建议，降低误导风险，提升公众健康水平。
📄 摘要（原文）
People increasingly use frontier AI models for health advice, but via different access modes (e.g., ChatGPT, ChatGPT Health, APIs) with varying settings. Here, we find systematic differences across access modes. Because evaluations typically rely on APIs while consumers interact through chatbot interfaces, these discrepancies limit evaluation validity. Our findings underscore an urgent need for model providers to enable faithful replication of consumer experiences and settings for rigorous audits.