What Drives Citations in Production Large Language Models? An Observational Multi-Method Study of Two Million AI Citations Across Ten Thousand Web Pages

📄 arXiv: 2609.35077v1 📥 PDF

作者: Ben Moore, Liam Dunne

分类: cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出多方法研究以揭示生产大型语言模型引用驱动因素

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 引用分析 页面特征 机器学习 统计方法 SEO优化 B2B SaaS

📋 核心要点

  1. 现有研究对生产大型语言模型引用的驱动因素缺乏系统性分析，尤其是页面级特征的影响尚未明确。
  2. 本文采用多种方法结合的共识框架，系统测试了大量特征，以识别影响引用频率的关键因素。
  3. 研究结果表明，提示内容对齐是最强的预测因子，同时揭示了AEO检查表在不同领域的表现差异。

📝 摘要（中文）

生产大型语言模型在生成答案时会引用网页，但预测引用频率的页面特征尚未得到充分表征。本文通过对来自四个商业引擎（ChatGPT、Claude、Google AI、Gemini）约200万条引用的观察性研究，结合来自19个B2B SaaS工作空间的10,000个爬取页面，测试了60多个特征。研究发现，提示内容对齐是最主要的页面级预测因子，标准AEO检查表在应用领域固定效应后显示出逆转现象，且领域级AI权威性在平均绝对SHAP值上超过最强的非对齐页面特征六倍。我们发布了分析管道作为方法论贡献。

🔬 方法详解

问题定义：本文旨在揭示影响生产大型语言模型引用频率的页面级特征，现有方法未能全面分析这些特征的作用及其相互关系。

核心思路：通过对约200万条引用的观察性研究，结合多种统计和机器学习方法，系统性地测试和分析页面特征与引用频率之间的关系。

技术框架：研究采用了九种方法的共识框架，包括混合效应回归、领域固定效应、FDR校正、稳定选择Lasso、双重机器学习、广义加性模型和时间保持复制等，确保结果的稳健性。

关键创新：最重要的创新在于通过综合多种方法，识别出提示内容对齐作为最强的预测因子，并揭示了AEO检查表在不同领域的表现差异，挑战了现有文献的结论。

关键设计：研究中使用了超过60个特征进行测试，采用了严格的统计检验方法，确保结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，提示内容对齐是引用频率的主要预测因子，其效应显著（beta = +0.37, 95% CI [+0.33, +0.41]），而标准AEO检查表在应用领域固定效应后显示出逆转现象，表明其在不同领域的表现存在显著差异。

🎯 应用场景

该研究为理解大型语言模型在引用网页时的行为提供了重要的理论基础，能够帮助开发者优化模型的引用机制，提高生成内容的准确性和相关性。此外，研究结果对SEO和内容创作领域也具有重要的指导意义，能够帮助企业更好地设计网页以提高被引用的可能性。

📄 摘要（原文）

Production large language models retrieve and cite web pages alongside generated answers, yet the page-level features that predict citation frequency remain poorly characterised. We present an observational study of approximately 2 million LLM citations from four commercial engines (ChatGPT, Claude, Google AI, Gemini) over six months, joined to 10,000 crawled pages from nineteen B2B SaaS workspaces. Sixty-plus features are tested using a nine-method consensus framework combining mixed-effects regression with domain fixed effects, FDR correction, stability-selection Lasso, double machine learning, generalised additive models, and temporal hold-out replication. Four findings survive all checks. First, prompt-content alignment (Jaccard overlap between page tokens and the full workspace prompt corpus, including non-citing prompts) is the dominant page-level predictor (beta = +0.37, 95% CI [+0.33, +0.41], q ~ 10^-73). Second, the standard AEO checklist (FAQ blocks, structured data, Core Web Vitals) shows positive effects in pooled data that reverse or collapse to zero once domain fixed effects are applied: Simpson's paradox with practical consequences for the AEO literature. Third, domain-level AI authority exceeds the strongest non-alignment page-level feature by a factor of six in mean absolute SHAP value. We release the analytic pipeline as a methodological contribution.