Human aversion? Do AI Agents Judge Identity More Harshly Than Performance
作者: Yuanjun Feng, Vivek Chodhary, Yash Raj Shrestha
分类: cs.HC, cs.AI, econ.GN
发布日期: 2025-03-31
💡 一句话要点
揭示AI对人类判断的偏见：AI系统低估人类输入，存在“反算法厌恶”现象
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机协作 算法偏见 大型语言模型 决策系统 算法厌恶
📋 核心要点
- 现有研究主要关注人类对算法建议的抵触，忽略了AI如何评估和整合人类判断，本研究填补了这一空白。
- 研究核心在于分析基于LLM的AI agent在预测任务中如何权衡人类与算法的预测，揭示其潜在的偏见。
- 实验表明，AI系统倾向于低估人类建议，且当AI身份公开且人类排名靠后时，这种偏见会更加严重。
📝 摘要（中文）
本研究探讨了混合决策系统中算法评估人类判断这一被忽视的角色，这是管理研究中的一个关键缺口。现有文献主要关注人类不愿采纳算法建议，而我们反其道而行之，研究了基于大型语言模型（LLM）的AI agent如何评估和整合人类输入。我们的工作解决了紧迫的管理约束：由于隐私问题而被禁止直接部署LLM的公司，仍然可以利用它们作为中介工具（例如，匿名输出或决策流程）来指导高风险选择，如定价或折扣，而无需暴露专有数据。通过受控的预测任务，我们分析了基于LLM的AI agent如何权衡人类与算法的预测。我们发现，AI系统系统性地低估了人类的建议，对人类错误的惩罚比算法错误更严重——当agent的身份（人类vs AI）被披露且人类的排名靠后时，这种偏见会加剧。这些结果揭示了AI生成的信任指标与人类判断的实际影响之间的脱节，挑战了关于公平人机协作的假设。我们的发现提供了三个关键贡献。首先，我们发现了一种反向算法厌恶现象，即AI agent低估了人类的输入，尽管错误率相当。其次，我们证明了披露和位置偏差如何相互作用以放大这种效应，这对系统设计具有重要意义。第三，我们为间接LLM部署提供了一个框架，该框架在预测能力和数据隐私之间取得了平衡。对于从业者来说，这项研究强调需要审计AI加权机制，校准信任动态，并在人机系统中战略性地设计决策序列。
🔬 方法详解
问题定义：现有方法缺乏对AI agent如何评估和整合人类判断的深入研究，尤其是在混合决策系统中。企业在部署LLM时面临数据隐私的限制，无法直接利用LLM进行高风险决策，需要一种既能利用LLM的预测能力，又能保护数据隐私的方案。
核心思路：本研究的核心思路是反向考察算法厌恶，即不是研究人类如何抵触算法建议，而是研究AI agent如何低估人类输入。通过设计受控的预测任务，分析AI agent对人类和算法预测的权重分配，从而揭示AI系统中的潜在偏见。
技术框架：该研究采用受控实验设计，构建了一个预测任务，其中AI agent需要整合来自人类和算法的预测结果。AI agent基于大型语言模型（LLM），通过学习来优化预测性能。实验中，研究人员操纵了两个关键变量：AI agent的身份披露（人类 vs AI）和人类预测的位置（先于算法 vs 后于算法）。通过分析AI agent对人类和算法预测的权重分配，来评估其是否存在偏见。
关键创新：该研究最重要的创新点在于发现了“反算法厌恶”现象，即AI agent系统性地低估人类输入，即使人类的错误率与算法相当。此外，研究还揭示了披露和位置偏差如何加剧这种效应，这对于人机协作系统的设计具有重要意义。
关键设计：研究的关键设计包括：1) 精心设计的预测任务，确保人类和算法的预测具有可比性；2) 对AI agent的身份和人类预测位置的操纵，以评估其对权重分配的影响；3) 对AI agent的权重分配进行定量分析，以揭示其对人类和算法预测的偏见。
📊 实验亮点
实验结果表明，AI agent对人类错误的惩罚比算法错误更严重，即使人类的错误率与算法相当。当AI agent的身份被披露且人类的排名靠后时，这种偏见会加剧。这些发现挑战了关于公平人机协作的假设，并强调了审计AI加权机制的重要性。
🎯 应用场景
该研究成果可应用于各种人机协作决策系统，例如金融风险评估、医疗诊断、产品定价等。通过了解AI agent对人类判断的偏见，可以设计更公平、更有效的混合决策流程，提高决策质量，并增强人类对AI系统的信任。此外，该研究提出的间接LLM部署框架，为企业在保护数据隐私的前提下利用LLM提供了新的思路。
📄 摘要（原文）
This study examines the understudied role of algorithmic evaluation of human judgment in hybrid decision-making systems, a critical gap in management research. While extant literature focuses on human reluctance to follow algorithmic advice, we reverse the perspective by investigating how AI agents based on large language models (LLMs) assess and integrate human input. Our work addresses a pressing managerial constraint: firms barred from deploying LLMs directly due to privacy concerns can still leverage them as mediating tools (for instance, anonymized outputs or decision pipelines) to guide high-stakes choices like pricing or discounts without exposing proprietary data. Through a controlled prediction task, we analyze how an LLM-based AI agent weights human versus algorithmic predictions. We find that the AI system systematically discounts human advice, penalizing human errors more severely than algorithmic errors--a bias exacerbated when the agent's identity (human vs AI) is disclosed and the human is positioned second. These results reveal a disconnect between AI-generated trust metrics and the actual influence of human judgment, challenging assumptions about equitable human-AI collaboration. Our findings offer three key contributions. First, we identify a reverse algorithm aversion phenomenon, where AI agents undervalue human input despite comparable error rates. Second, we demonstrate how disclosure and positional bias interact to amplify this effect, with implications for system design. Third, we provide a framework for indirect LLM deployment that balances predictive power with data privacy. For practitioners, this research emphasize the need to audit AI weighting mechanisms, calibrate trust dynamics, and strategically design decision sequences in human-AI systems.