CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era
作者: Zhengqing Yuan, Kaiwen Shi, Zheyuan Zhang, Lichao Sun, Nitesh V. Chawla, Yanfang Ye
分类: cs.CL, cs.DL
发布日期: 2026-02-26
💡 一句话要点
CiteAudit：构建LLM时代科学引用核查基准，解决虚假引用问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 引用验证 大型语言模型 科学写作 多智能体系统 科研诚信
📋 核心要点
- 现有方法难以应对参考文献数量激增和格式多样性带来的手动核查挑战，且自动化工具缺乏标准化评估。
- CiteAudit提出多智能体验证管道，分解引用核查为声明提取、证据检索、段落匹配、推理和校准判断等步骤。
- 实验表明，CiteAudit框架在准确性和可解释性方面显著优于现有方法，为LLM时代的引用审计提供了可扩展的基础设施。
📝 摘要（中文）
科学研究依赖于准确的引用以保证归属和完整性，然而大型语言模型（LLMs）引入了一种新的风险：捏造引用，这些引用表面上看似合理，但实际上并不对应于任何真实的出版物。这种幻觉引用已经在主要的机器学习场所的投稿和已接受的论文中被观察到，暴露了同行评审中的漏洞。同时，快速增长的参考文献列表使得手动验证变得不切实际，而现有的自动化工具对于嘈杂和异构的引用格式仍然很脆弱，并且缺乏标准化的评估。我们提出了第一个全面的基准和检测框架，用于检测科学写作中的幻觉引用。我们的多智能体验证管道将引用检查分解为声明提取、证据检索、段落匹配、推理和校准判断，以评估引用的来源是否真正支持其声明。我们构建了一个跨领域的大规模人工验证数据集，并定义了统一的指标来衡量引用的忠实度和证据对齐度。与最先进的LLM进行的实验表明，存在大量的引用错误，并且我们的框架在准确性和可解释性方面都显著优于先前的方法。这项工作为LLM时代的引用审计提供了第一个可扩展的基础设施，以及改进科学参考文献可信度的实用工具。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLMs）在科学写作中产生虚假引用的问题。现有方法主要面临三个痛点：一是参考文献数量快速增长，手动验证不切实际；二是现有自动化工具对噪声和异构的引用格式适应性差；三是缺乏标准化的评估方法，难以衡量引用验证的性能。
核心思路：论文的核心思路是将引用验证过程分解为多个可解释的步骤，利用多智能体协同工作，模拟人工核查流程。通过提取引用声明、检索相关证据、匹配段落、进行推理和校准判断，最终评估引用是否真实有效。这种分解方法提高了验证过程的可解释性，并允许针对每个步骤进行优化。
技术框架：CiteAudit框架包含以下主要模块：1) 声明提取：从论文中提取需要验证的引用声明。2) 证据检索：利用搜索引擎或文献数据库检索与引用相关的证据。3) 段落匹配：将提取的声明与检索到的证据进行匹配，找到最相关的段落。4) 推理：利用LLM对匹配的声明和证据进行推理，判断证据是否支持声明。5) 校准判断：对LLM的推理结果进行校准，输出最终的验证结果。整个流程旨在模拟人工验证过程，提高验证的准确性和可信度。
关键创新：论文的关键创新在于提出了一个多智能体验证管道，将引用验证分解为多个可解释的步骤。与现有方法相比，CiteAudit框架具有更高的准确性和可解释性。此外，论文还构建了一个大规模的人工验证数据集，为引用验证的研究提供了标准化的评估基准。
关键设计：在证据检索阶段，论文采用了多种检索策略，包括关键词检索、语义检索等，以提高检索的召回率。在段落匹配阶段，论文使用了基于Transformer的模型，对声明和证据进行编码，并计算相似度得分。在推理阶段，论文使用了预训练的LLM，并针对引用验证任务进行了微调。在校准判断阶段，论文使用了sigmoid函数将LLM的输出映射到0到1之间的概率值，并设置阈值来判断引用是否有效。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CiteAudit框架在引用验证任务中取得了显著的性能提升。与现有方法相比，CiteAudit在准确率方面提高了10%以上。此外，CiteAudit框架的可解释性也得到了验证，可以清晰地展示引用验证的推理过程，为用户提供更可靠的验证结果。
🎯 应用场景
CiteAudit可应用于学术出版、科研诚信审查、文献综述等领域，帮助研究人员和编辑快速准确地验证参考文献，减少虚假引用，提高学术论文的质量和可信度。该研究有助于维护科研诚信，促进科学研究的健康发展，并为未来的自动化引用验证工具提供了重要的参考。
📄 摘要（原文）
Scientific research relies on accurate citation for attribution and integrity, yet large language models (LLMs) introduce a new risk: fabricated references that appear plausible but correspond to no real publications. Such hallucinated citations have already been observed in submissions and accepted papers at major machine learning venues, exposing vulnerabilities in peer review. Meanwhile, rapidly growing reference lists make manual verification impractical, and existing automated tools remain fragile to noisy and heterogeneous citation formats and lack standardized evaluation. We present the first comprehensive benchmark and detection framework for hallucinated citations in scientific writing. Our multi-agent verification pipeline decomposes citation checking into claim extraction, evidence retrieval, passage matching, reasoning, and calibrated judgment to assess whether a cited source truly supports its claim. We construct a large-scale human-validated dataset across domains and define unified metrics for citation faithfulness and evidence alignment. Experiments with state-of-the-art LLMs reveal substantial citation errors and show that our framework significantly outperforms prior methods in both accuracy and interpretability. This work provides the first scalable infrastructure for auditing citations in the LLM era and practical tools to improve the trustworthiness of scientific references.