Measuring and mitigating overreliance is necessary for building human-compatible AI

📄 arXiv: 2509.08010v1 📥 PDF

作者: Lujain Ibrahim, Katherine M. Collins, Sunnie S. Y. Kim, Anka Reuel, Max Lamparth, Kevin Feng, Lama Ahmad, Prajna Soni, Alia El Kattan, Merlin Stein, Siddharth Swaroop, Ilia Sucholutsky, Andrew Strait, Q. Vera Liao, Umang Bhatt

分类: cs.CY, cs.AI, cs.CL, cs.HC

发布日期: 2025-09-08

💡 一句话要点

针对大语言模型过度依赖问题，提出测量与缓解策略，保障人机协同。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 过度依赖 人机协作 风险评估 认知偏差

📋 核心要点

  1. 现有方法未能充分解决LLM带来的过度依赖风险，可能导致高风险决策失误和认知能力下降。
  2. 论文核心在于提出一套测量和缓解LLM过度依赖的框架，强调人机协同而非完全依赖AI。
  3. 论文分析了LLM特性、系统设计和用户认知偏差，并提出了改进测量和缓解策略的方向。

📝 摘要（中文）

大型语言模型（LLMs）通过更流畅的自然语言交互，作为协作“思考伙伴”脱颖而出。随着LLMs在医疗保健和个人建议等不同领域对重要决策的影响日益增加，过度依赖——即依赖LLMs超出其能力范围——的风险也在增加。本立场文件认为，测量和缓解过度依赖必须成为LLM研究和部署的核心。首先，我们整合了个人和社会层面的过度依赖风险，包括高风险错误、治理挑战和认知技能退化。然后，我们探讨了LLM的特性、系统设计特征以及用户认知偏差，这些因素共同引发了对实践中过度依赖的严重和独特的担忧。我们还考察了历史上测量过度依赖的方法，识别了三个重要差距，并提出了三个有希望的改进测量方向。最后，我们提出了AI研究界可以采取的缓解策略，以确保LLMs增强而非削弱人类能力。

🔬 方法详解

问题定义：论文旨在解决用户对大型语言模型（LLMs）的过度依赖问题。现有方法在测量和缓解这种过度依赖方面存在不足，导致用户可能在不适当的场景下信任LLMs，从而产生高风险错误，并可能导致认知技能的退化。现有方法未能充分考虑LLM的特性、系统设计以及用户认知偏差对过度依赖的影响。

核心思路：论文的核心思路是，通过更精确地测量用户对LLM的依赖程度，并结合缓解策略，来确保LLM能够增强而非削弱人类的能力。这种思路强调人机协同，而非完全依赖AI。论文认为，需要从LLM的特性、系统设计以及用户认知偏差三个方面入手，来理解和解决过度依赖问题。

技术框架：论文没有提出一个具体的、可执行的技术框架，而是一个概念框架，包含以下几个主要阶段：1) 风险评估：识别个人和社会层面的过度依赖风险。2) 特征分析：分析LLM的特性、系统设计特征以及用户认知偏差，这些因素导致过度依赖。3) 测量方法改进：评估现有测量过度依赖的方法，识别差距，并提出改进方向。4) 缓解策略设计：提出AI研究界可以采取的缓解策略。

关键创新：论文的关键创新在于，它将过度依赖问题置于LLM研究和部署的核心位置，并提出了一个多方面的分析框架，涵盖了风险、特征、测量和缓解四个方面。与现有方法相比，该论文更全面地考虑了LLM的特性、系统设计以及用户认知偏差对过度依赖的影响。

关键设计：论文没有提出具体的参数设置、损失函数或网络结构等技术细节。相反，它侧重于提出概念性的改进方向和缓解策略。例如，论文建议改进测量过度依赖的方法，包括考虑LLM的上下文感知能力、动态调整信任度以及提供更透明的解释。论文还建议设计缓解策略，例如提供更清晰的LLM能力边界、鼓励用户进行批判性思考以及提供辅助工具来帮助用户评估LLM的输出。

🖼️ 关键图片

fig_0

📊 实验亮点

论文重点在于概念框架的提出和分析，而非具体的实验结果。论文通过分析LLM的特性、系统设计和用户认知偏差，揭示了过度依赖的潜在风险，并提出了改进测量和缓解策略的方向。这些发现为未来的研究提供了重要的指导。

🎯 应用场景

该研究成果可应用于各种人机协作场景，例如医疗诊断、法律咨询、金融分析等。通过降低用户对AI的过度依赖，可以减少错误决策的风险，并提升工作效率和决策质量。未来的研究可以进一步探索更有效的测量和缓解策略，以实现更安全、可靠和有益的人工智能系统。

📄 摘要（原文）

Large language models (LLMs) distinguish themselves from previous technologies by functioning as collaborative "thought partners," capable of engaging more fluidly in natural language. As LLMs increasingly influence consequential decisions across diverse domains from healthcare to personal advice, the risk of overreliance - relying on LLMs beyond their capabilities - grows. This position paper argues that measuring and mitigating overreliance must become central to LLM research and deployment. First, we consolidate risks from overreliance at both the individual and societal levels, including high-stakes errors, governance challenges, and cognitive deskilling. Then, we explore LLM characteristics, system design features, and user cognitive biases that - together - raise serious and unique concerns about overreliance in practice. We also examine historical approaches for measuring overreliance, identifying three important gaps and proposing three promising directions to improve measurement. Finally, we propose mitigation strategies that the AI research community can pursue to ensure LLMs augment rather than undermine human capabilities.