LLM hallucinations in the wild: Large-scale evidence from non-existent citations

📄 arXiv: 2605.07723v1 📥 PDF

作者: Zhenyue Zhao, Yihe Wang, Toby Stuart, Mathijs De Vaan, Paul Ginsparg, Yian Yin

分类: cs.DL, cs.AI, cs.CY, physics.soc-ph

发布日期: 2026-05-08

💡 一句话要点

大规模实证研究揭示：大语言模型幻觉正导致科学文献中虚假引用激增

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 幻觉检测 科学计量学 学术诚信 人工智能伦理 知识生产 实证研究

📋 核心要点

  1. 核心问题：LLM在学术写作中的广泛应用导致虚假引用激增，但其在现实科学文献中的具体规模、分布特征及对学术生态的深层影响尚缺乏大规模实证研究。
  2. 方法要点：利用科学引用的可验证性，通过大规模审计arXiv等平台的1.11亿条参考文献，结合语言学特征分析与作者画像，量化评估LLM幻觉引用的渗透程度。
  3. 实验效果：研究揭示了2025年存在超14万条幻觉引用，证实了幻觉与AI辅助写作特征的相关性，并指出其加剧了学术界在性别与资历方面的既有不平等。

📝 摘要（中文）

大语言模型（LLMs）在多种语境下生成看似合理但虚假信息的能力已广为人知，但其在现实世界中的规模及后果尚不明确。本研究利用科学引用这一可验证对象，对arXiv、bioRxiv、SSRN和PubMed Central中250万篇论文的1.11亿条参考文献进行了审计。研究发现，随着LLM的广泛应用，虚假引用数量急剧上升，保守估计仅2025年就产生了146,932条幻觉引用。这些错误广泛分布于各类论文中，在AI应用迅速的领域、具有AI辅助写作语言特征的文稿以及小型或早期职业作者团队中尤为突出。同时，幻觉引用不成比例地将贡献归于已成名的男性学者，表明LLM生成的错误可能加剧科学认可中的现有不平等。预印本审核和期刊出版流程仅能捕捉到极少数此类错误，显示幻觉内容的传播已超过现有防护措施。这些发现表明，LLM幻觉正大规模渗透知识生产过程，威胁着未来科学发现的可靠性与公平性。

🔬 方法详解

问题定义：论文旨在解决LLM在学术写作中产生的“幻觉引用”问题。现有研究多关注模型层面的幻觉评估，缺乏针对真实科学文献语料库中虚假引用规模、分布规律及其社会学后果的系统性量化分析。

核心思路：利用科学引用具有唯一可验证性的特点，将“引用是否存在”作为检测LLM幻觉的客观指标。通过大规模比对文献数据库，识别出无法在现有学术索引中匹配的引用条目，并将其作为LLM幻觉的代理指标进行统计分析。

技术框架：研究构建了包含arXiv、bioRxiv、SSRN和PubMed Central在内的多源数据集，通过自动化解析工具提取参考文献，并与权威学术数据库进行交叉验证。随后，结合文本语言学特征提取（如困惑度、突发性指标）与作者元数据，对幻觉引用的分布进行多维度回归分析。

关键创新：首次在大规模科学文献语料库中量化了LLM幻觉的现实影响，揭示了幻觉引用不仅是技术错误，更具有社会学偏向性（如强化对知名男性学者的引用偏见），为理解AI对知识生产的负面影响提供了实证依据。

关键设计：采用保守估计法剔除潜在的非幻觉误报（如格式错误或数据库滞后），并引入“AI辅助写作语言特征”作为自变量，通过多变量回归模型量化AI使用程度与幻觉引用频率之间的因果关联，同时利用作者职业阶段与性别数据评估其对学术公平性的影响。

📊 实验亮点

研究审计了250万篇论文中的1.11亿条引用，保守估计2025年产生146,932条幻觉引用。实验数据表明，幻觉引用在AI高频应用领域显著增加，且呈现出明显的社会学偏见：幻觉引用更倾向于指向已成名的男性学者，揭示了AI幻觉在放大科研评价体系中既有不平等方面的潜在风险。

🎯 应用场景

该研究为学术出版机构、预印本平台及科研诚信管理部门提供了重要参考，有助于开发针对AI生成内容的自动化检测工具。同时，其揭示的学术不平等风险对制定AI辅助科研的伦理准则、提升科研人员的AI素养以及完善同行评审机制具有深远的指导意义。

📄 摘要（原文）

Large language models (LLMs) are known to generate plausible but false information across a wide range of contexts, yet the real-world magnitude and consequences of this hallucination problem remain poorly understood. Here we leverage a uniquely verifiable object - scientific citations - to audit 111 million references across 2.5 million papers in arXiv, bioRxiv, SSRN, and PubMed Central. We find a sharp rise in non-existent references following widespread LLM adoption, with a conservative estimate of 146,932 hallucinated citations in 2025 alone. These errors are diffusely embedded across many papers but especially pronounced in fields with rapid AI uptake, in manuscripts with linguistic signatures of AI-assisted writing, and among small and early-career author teams. At the same time, hallucinated references disproportionately assign credit to already prominent and male scholars, suggesting that LLM-generated errors may reinforce existing inequities in scientific recognition. Preprint moderation and journal publication processes capture only a fraction of these errors, suggesting that the spread of hallucinated content has outpaced existing safeguards. Together, these findings demonstrate that LLM hallucinations are infiltrating knowledge production at scale, threatening both the reliability and equity of future scientific discovery as human and AI systems draw on the existing literature.