The LLM Fallacy: Misattribution in AI-Assisted Cognitive Workflows

📄 arXiv: 2604.14807v1 📥 PDF

作者: Hyunwoo Kim, Harin Yu, Hanau Yi

分类: cs.AI, cs.CL

发布日期: 2026-04-16

💡 一句话要点

揭示LLM谬误：AI辅助认知工作流中的能力误判现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM谬误 认知偏差 人机协作 AI辅助 能力归因

📋 核心要点

  1. 现有研究对LLM的关注点在于可靠性、幻觉和用户信任，忽略了LLM对用户自身能力认知的影响。
  2. 论文提出“LLM谬误”概念，指用户将LLM辅助输出误认为自身能力，导致能力感知与实际不符。
  3. 论文构建了LLM谬误的概念框架和表现类型，并探讨了其对教育、招聘和AI素养的潜在影响。

📝 摘要（中文）

大型语言模型（LLM）正迅速融入日常工作流程，改变着人们执行写作、编程、分析和多语言交流等认知任务的方式。以往研究主要关注模型的可靠性、幻觉和用户信任校准，而较少关注LLM的使用如何重塑用户对其自身能力的认知。本文提出了“LLM谬误”这一概念，指的是一种认知归因错误，即个体将LLM辅助的输出误解为自身独立能力的证据，从而导致感知能力与实际能力之间出现系统性偏差。我们认为，LLM的不透明性、流畅性和低摩擦交互模式模糊了人与机器贡献之间的界限，导致用户从输出而非生成过程推断能力。我们将LLM谬误置于自动化偏见、认知卸载和人机协作的现有文献中，同时将其区分为一种特定于AI介导工作流的归因扭曲形式。我们提出了其潜在机制的概念框架，以及在计算、语言、分析和创造领域的表现类型。最后，我们探讨了对教育、招聘和AI素养的影响，并概述了经验验证的方向。我们还提供了人机协作方法的透明说明。这项工作为理解生成式AI系统如何不仅增强认知表现，还重塑自我认知和感知到的专业知识奠定了基础。

🔬 方法详解

问题定义：论文旨在解决用户在使用大型语言模型（LLM）辅助完成认知任务时，对自身能力产生错误认知的问题。现有方法主要关注LLM本身的技术问题，如幻觉和可靠性，而忽略了LLM对用户自我认知的影响。这种忽略可能导致用户高估自身能力，阻碍其技能发展和正确评估AI的辅助作用。

核心思路：论文的核心思路是识别并定义“LLM谬误”这一认知偏差，即用户将LLM的输出错误地归因于自身能力。通过分析LLM的特性（不透明性、流畅性、低摩擦交互），解释这种谬误产生的原因：LLM模糊了人与机器的贡献界限，使用户倾向于从结果而非过程推断能力。

技术框架：论文构建了一个概念框架，用于理解LLM谬误的潜在机制。该框架包括以下几个关键要素：LLM的特性（如流畅性和不透明性）、用户与LLM的交互模式、用户的认知过程（如归因和能力评估），以及最终产生的LLM谬误。此外，论文还提出了LLM谬误在不同领域的表现类型，包括计算、语言、分析和创造领域。

关键创新：论文最重要的技术创新在于识别并定义了“LLM谬误”这一新的认知偏差。与现有的自动化偏见和认知卸载概念不同，LLM谬误强调了AI辅助工作流中，用户对自身能力的错误归因。这种错误归因是由于LLM的特殊性质造成的，例如其不透明性和流畅性。

关键设计：论文主要侧重于概念框架的构建和现象的描述，而非具体的算法或模型设计。关键设计在于对LLM谬误进行分类，提出了在不同认知领域（计算、语言、分析、创造）的具体表现形式。此外，论文还强调了人机协作方法的重要性，并呼吁对LLM谬误进行经验验证。

📊 实验亮点

论文的主要亮点在于提出了“LLM谬误”这一新概念，并对其进行了深入的理论分析。虽然没有提供具体的实验数据，但论文通过概念框架和案例分析，清晰地阐述了LLM谬误的产生机制和潜在影响。该研究为后续的实证研究奠定了基础，并为解决AI辅助工作流中的认知偏差问题提供了新的视角。

🎯 应用场景

该研究成果可应用于教育领域，帮助学生正确认识AI辅助工具的作用，避免高估自身能力。在招聘领域，可以帮助企业更准确地评估候选人的实际技能水平。此外，该研究还有助于提升公众的AI素养，使人们能够更理性地使用AI技术，避免盲目依赖和过度信任。

📄 摘要（原文）

The rapid integration of large language models (LLMs) into everyday workflows has transformed how individuals perform cognitive tasks such as writing, programming, analysis, and multilingual communication. While prior research has focused on model reliability, hallucination, and user trust calibration, less attention has been given to how LLM usage reshapes users' perceptions of their own capabilities. This paper introduces the LLM fallacy, a cognitive attribution error in which individuals misinterpret LLM-assisted outputs as evidence of their own independent competence, producing a systematic divergence between perceived and actual capability. We argue that the opacity, fluency, and low-friction interaction patterns of LLMs obscure the boundary between human and machine contribution, leading users to infer competence from outputs rather than from the processes that generate them. We situate the LLM fallacy within existing literature on automation bias, cognitive offloading, and human--AI collaboration, while distinguishing it as a form of attributional distortion specific to AI-mediated workflows. We propose a conceptual framework of its underlying mechanisms and a typology of manifestations across computational, linguistic, analytical, and creative domains. Finally, we examine implications for education, hiring, and AI literacy, and outline directions for empirical validation. We also provide a transparent account of human--AI collaborative methodology. This work establishes a foundation for understanding how generative AI systems not only augment cognitive performance but also reshape self-perception and perceived expertise.