Arctic Questions, Missing Answers: A Dataset and Benchmark for LLM Abstention in Arctic Science

📄 arXiv: 2610.09446v1 📥 PDF

作者: Benjamin Wilcox, Dawei Gao, Pradeeban Kathiravelu, Douglas Causey, Kewei Sha, Yunhe Feng

分类: cs.CL, cs.AI

发布日期: 2026-10-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出ArcticQA数据集以解决LLM在北极科学中的回答缺失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 科学多项选择题 数据集构建 模型评估 不作答选项

📋 核心要点

  1. 现有方法在处理科学多项选择题时，无法有效区分答案的有效性与无效性，导致不作答的频率无法反映模型的真实能力。
  2. 本文提出ArcticQA数据集和ArcticAbstain基准，通过自动化检查和对比实验，评估LLMs在不同条件下的回答能力。
  3. 实验结果显示，答案缺失时的不作答率显著提高，强调了在评估模型时考虑不作答频率与响应性的必要性。

📝 摘要（中文）

大型语言模型（LLMs）在面对无效选项的科学多项选择题时应当选择不作答，但频繁的不作答并不能体现对答案可用性的敏感性。本文引入了ArcticQA数据集，包含194个来自北极研究的题目，并对答案支持和干扰项矛盾进行了自动化检查。此外，本文开发了ArcticAbstain基准，比较了答案存在和缺失的条件。在高推理努力下评估了来自Gemini、Claude和ChatGPT系列的八个模型，记录了9,312个响应。结果显示，答案存在时的不作答率范围为0.0%到63.0%，而替换正确答案则平均增加了5.05个百分点的不作答率。这些发现强调了基线差异的显著性，并指出需要联合评估不作答频率和响应性。数据集和基准可在https://github.com/BenWilcox8/arctic-qa获取。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在科学多项选择题中对无效选项的不作答问题。现有方法未能有效评估模型对答案可用性的敏感性，导致不作答的频率无法真实反映模型的能力。

核心思路：论文通过构建ArcticQA数据集，提供194个北极科学相关的问题，并引入ArcticAbstain基准，比较答案存在与缺失的条件，以此评估模型的回答能力和不作答的合理性。

技术框架：整体架构包括数据集构建、自动化检查、基准测试和模型评估四个主要模块。数据集通过源证据验证答案支持和干扰项的矛盾，基准测试则通过替换正确答案和引入不作答选项来进行比较。

关键创新：最重要的创新在于引入了不作答选项和对比实验设计，使得模型在面对答案缺失时能够更好地反映其推理能力与敏感性。这与现有方法的单一评估方式形成了鲜明对比。

关键设计：在实验中，设置了高推理努力的条件，评估了来自不同模型的响应，记录了9,312个回答。通过对比分析，发现答案缺失时的不作答率显著提高，平均增加了5.05个百分点。实验设计中还考虑了多次试验以确保结果的可靠性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，答案存在时的不作答率在0.0%到63.0%之间，替换正确答案后平均增加了5.05个百分点的不作答率。这一发现强调了在评估模型时需要同时考虑不作答频率和响应性，揭示了模型在不同条件下的表现差异。

🎯 应用场景

该研究的潜在应用领域包括科学教育、科研辅助工具以及大型语言模型的评估标准。通过提供一个标准化的数据集和基准，研究者可以更好地理解和改进LLMs在科学领域的应用，提升其在复杂问题上的表现。未来，该方法可能会影响其他领域的模型评估与开发。

📄 摘要（原文）

Large language models (LLMs) should abstain from scientific multiple-choice questions when no option is valid, but frequent abstention alone does not demonstrate sensitivity to answer availability. We introduce ArcticQA, a dataset of 194 questions derived from primary Arctic research, with automated checks of answer support and distractor contradiction against source evidence. We further develop ArcticAbstain, a paired benchmark comparing answer-present and answer-absent conditions, with the correct answer replaced by a distractor in the latter and an explicit abstention option in both. We evaluate eight models from the Gemini, Claude, and ChatGPT families at high reasoning effort, with three trials per condition, yielding 9,312 recorded responses. Answer-present abstention rates range from 0.0% to 63.0%, whereas replacing the correct answer increases abstention by 5.05 percentage points on average. These findings highlight substantial baseline differences and the need to evaluate abstention frequency and responsiveness jointly. The dataset and benchmark are available at https://github.com/BenWilcox8/arctic-qa.