SciIntBench: Measuring LLM Compliance with Research Integrity Norms Under Adversarial Framing

📄 arXiv: 2605.29468v1 📥 PDF

作者: Almene De Meran Meguimtsop, Maria Leonor Pacheco, Daniel E. Acuna

分类: cs.CR, cs.AI

发布日期: 2026-05-28

💡 一句话要点

SciIntBench：提出对抗性基准测试，评估LLM在科研诚信规范下的合规性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 科研诚信 对抗性测试 基准测试 合规性评估

📋 核心要点

  1. 现有LLM在科研领域的应用，缺乏对其是否遵守科研诚信规范的有效评估。
  2. SciIntBench构建对抗性提示，通过不同框架测试LLM对科研不端行为的识别与拒绝能力。
  3. 实验表明，LLM对科研诚信的遵守程度受框架影响显著，对隐蔽违规行为的识别能力较弱。

📝 摘要（中文）

大型语言模型（LLM）越来越多地被用于支持科学研究工作，但它们是否能坚持负责任的研究行为（RCR）规范，或者反而会破坏这些规范，目前尚不清楚。我们提出了SciIntBench，一个包含810个提示的对抗性基准测试，涵盖十个RCR类别和三个科学领域。每个场景都以公开对抗、隐蔽对抗和良性版本出现，使我们能够共同衡量模型对不当行为的框架敏感性拒绝以及对合法请求的帮助性。我们评估了来自六个提供商（2024-2026）的16个商业和开源LLM，生成了12960个响应。我们发现，科学诚信对齐与框架高度敏感：模型拒绝明确的不当行为比隐蔽的违规行为更可靠，尤其是在不当行为被呈现为压力驱动的捷径时。不同RCR类别的拒绝情况各不相同，透明度、剽窃和捏造方面的界限较弱。

🔬 方法详解

问题定义：当前大型语言模型（LLM）在科研领域的应用日益广泛，但缺乏有效的手段评估其是否遵守科研诚信规范（RCR）。现有方法难以区分LLM是真正理解并拒绝科研不端行为，还是仅仅对显式的违规指令进行表面上的拒绝。此外，科研不端行为往往以隐蔽的方式出现，现有评估方法难以捕捉LLM在复杂情境下的表现。

核心思路：论文的核心思路是通过构建对抗性提示，系统性地测试LLM在不同框架下的科研诚信合规性。具体而言，针对每个科研诚信类别，设计三种类型的提示：良性提示（Benign）、公开对抗提示（Overt Adversarial）和隐蔽对抗提示（Covert Adversarial）。通过比较LLM在不同类型提示下的表现，可以更全面地评估其对科研不端行为的识别和拒绝能力。

技术框架：SciIntBench基准测试包含以下几个主要组成部分：1) RCR类别定义：选取十个关键的科研诚信类别，例如数据捏造、剽窃、利益冲突等。2) 科学领域选择：涵盖三个不同的科学领域，以增加基准测试的泛化能力。3) 提示生成：针对每个RCR类别和科学领域，生成三种类型的提示（良性、公开对抗、隐蔽对抗）。4) 模型评估：使用不同的LLM对基准测试进行评估，并分析其在不同类型提示下的表现。5) 结果分析：对实验结果进行统计分析，评估LLM在科研诚信方面的合规性。

关键创新：SciIntBench的关键创新在于其对抗性提示的设计。与传统的评估方法不同，SciIntBench不仅测试LLM对显式违规指令的拒绝能力，还测试其对隐蔽违规指令的识别能力。通过比较LLM在不同框架下的表现，可以更全面地评估其对科研不端行为的理解和判断能力。此外，SciIntBench还涵盖了多个科研诚信类别和科学领域，使其具有更广泛的适用性。

关键设计：在提示设计方面，隐蔽对抗提示是关键。这些提示旨在以一种不易察觉的方式引导LLM产生科研不端行为，例如，将数据捏造描述为“为了赶上截止日期而采取的必要措施”。通过这种方式，可以测试LLM是否能够识别并拒绝隐藏在情境中的违规行为。此外，基准测试还考虑了不同科学领域的特点，对提示进行相应的调整，以确保其在不同领域都具有有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM对科研诚信的遵守程度与提示的框架密切相关。模型更容易拒绝公开的违规指令，而对隐蔽的违规指令识别能力较弱。在透明度、剽窃和捏造等方面的科研诚信规范，LLM的识别边界较为模糊。不同LLM在科研诚信方面的表现存在显著差异，表明模型训练和对齐策略对科研诚信合规性有重要影响。

🎯 应用场景

SciIntBench可用于评估和改进LLM在科研领域的应用，确保其符合科研诚信规范。该基准测试可以帮助开发者识别LLM在科研诚信方面的潜在风险，并采取相应的措施进行改进。此外，SciIntBench还可以用于教育和培训，帮助科研人员了解LLM在科研诚信方面的局限性，并提高其对科研不端行为的识别能力。未来，该基准测试可以扩展到更多的科研诚信类别和科学领域，以更全面地评估LLM的科研诚信合规性。

📄 摘要（原文）

Large language models (LLMs) are increasingly used to support scientific work, but it is unclear whether they uphold responsible conduct of research (RCR) norms or help undermine them. We introduce SciIntBench, an adversarial benchmark of 810 prompts across ten RCR categories and three scientific domains. Each scenario appears as an Overt Adversarial, Covert Adversarial, and Benign version, allowing us to jointly measure framing-sensitive refusal of misconduct and helpfulness on legitimate requests. We evaluate 16 commercial and open-weight LLMs from six providers (2024--2026), producing 12,960 responses. We find that scientific integrity alignment is strongly framing-sensitive: models refuse explicit misconduct far more reliably than covert violations, especially failing when misconduct is presented as a pressure-driven shortcut. Refusals vary by RCR category, with weaker boundaries around transparency, plagiarism, and fabrication.