Large language models eroding science understanding: an experimental study

📄 arXiv: 2604.25639v1 📥 PDF

作者: Harry Collins, Hartmut Grote, Paul Newbury, Patrick Sutton, Simon Thorne

分类: cs.CY, cs.AI

发布日期: 2026-04-28

备注: Under review in AI and Ethics

💡 一句话要点

大型语言模型易受伪科学影响，损害科学认知

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 伪科学 科学认知 信息操纵 AI伦理

📋 核心要点

  1. 现有大型语言模型在科学问题回答方面存在可靠性问题，易受边缘科学内容影响。
  2. 通过修改LLM，使其优先学习特定边缘科学论文，观察其回答与科学共识的偏差。
  3. 实验结果表明，被修改的LLM会生成流畅但与科学共识相悖的答案，难以被非专业人士识别。

📝 摘要（中文）

本文研究了大型语言模型（LLMs）是否能可靠地回答科学问题，并展示了它们如何容易受到边缘科学材料的影响。作者修改了定制的LLMs，使其优先考虑关于精细结构常数和引力波的特定边缘论文中的知识，然后将它们的回答与领域专家和标准LLMs的回答进行比较。修改后的模型产生了流畅且令人信服的答案，这些答案与科学共识相矛盾，并且非专业人士很难发现其具有误导性。结果表明，LLMs容易受到操纵，不能取代专家判断，突显了公众对科学理解的风险以及错误信息传播的可能性。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）在回答科学问题时的可靠性，以及它们是否容易受到边缘科学信息的影响。现有LLMs在科学领域的应用面临的痛点是，它们可能无法区分科学共识和伪科学，从而传播不准确或误导性的信息。

核心思路：论文的核心思路是通过操纵LLMs的训练数据，使其优先学习特定的边缘科学论文，然后观察这些被操纵的LLMs在回答科学问题时是否会偏离科学共识。这种方法旨在揭示LLMs在面对伪科学信息时的脆弱性。

技术框架：该研究的技术框架包括以下几个主要步骤：1) 选择特定的边缘科学主题（精细结构常数和引力波）；2) 选择或构建定制的LLMs；3) 修改LLMs的训练数据，使其优先考虑选定的边缘科学论文；4) 向修改后的LLMs、标准LLMs和领域专家提出相同的科学问题；5) 比较不同来源的回答，评估修改后的LLMs是否偏离了科学共识。

关键创新：该研究的关键创新在于它直接测试了LLMs在面对边缘科学信息时的脆弱性。通过操纵LLMs的训练数据，研究人员能够观察到LLMs如何容易地被引导到错误的结论，并生成与科学共识相悖的答案。与以往的研究不同，该研究不仅关注LLMs的准确性，更关注其对伪科学信息的抵抗能力。

关键设计：研究的关键设计包括：1) 精心选择具有一定迷惑性的边缘科学主题；2) 使用定制的LLMs，以便能够精确控制训练数据；3) 设计能够有效评估LLMs回答是否偏离科学共识的问题；4) 采用领域专家作为基准，以确保评估的准确性。

📊 实验亮点

实验结果表明，经过修改的LLMs能够生成流畅且令人信服的答案，但这些答案与科学共识相矛盾，并且非专业人士很难识别其误导性。这表明LLMs容易受到操纵，并可能导致公众对科学的理解产生偏差。该研究强调了LLMs在科学领域应用的潜在风险。

🎯 应用场景

该研究结果对LLM在科学教育、信息检索和决策支持等领域的应用具有重要意义。它提醒人们在使用LLM获取科学信息时需要保持警惕，并强调了专家判断在验证LLM输出结果中的重要性。未来的研究可以探索如何提高LLM对伪科学信息的抵抗能力，从而减少错误信息传播的风险。

📄 摘要（原文）

This paper is under review in AI and Ethics This study examines whether large language models (LLMs) can reliably answer scientific questions and demonstrates how easily they can be influenced by fringe scientific material. The authors modified custom LLMs to prioritise knowledge in selected fringe papers on the Fine Structure Constant and Gravitational Waves, then compared their responses with those of domain experts and standard LLMs. The altered models produced fluent, convincing answers that contradicted scientific consensus and were difficult for non-experts to detect as misleading. The results show that LLMs are vulnerable to manipulation and cannot replace expert judgment, highlighting risks for public understanding of science and the potential spread of misinformation.