When Should LLMs Abstain? Chain-of-Self-Questioning for Selective Risk Control

📄 arXiv: 2609.17516v1 📥 PDF

作者: Ali Şenol

分类: cs.CL, cs.AI

发布日期: 2026-09-15

💡 一句话要点

提出Chain-of-Self-Questioning以实现选择性风险控制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自我提问 选择性风险控制 信息评估 回答准确性 TruthfulQA 模型评估

📋 核心要点

  1. 现有大型语言模型在缺乏事实支持时，可能产生不准确的答案，导致错误承诺。
  2. 本文提出的Chain-of-Self-Questioning框架，通过自我提问来评估回答所需的信息，从而实现选择性回答或放弃。
  3. 实验结果表明，Grounded-CoSQ显著降低了错误承诺率，并提高了回答准确性，验证了该方法的有效性。

📝 摘要（中文）

大型语言模型在事实支持较弱时仍能生成流畅的答案。本文提出了一种仅基于提示的框架Chain-of-Self-Questioning（CoSQ），使答案承诺依赖于对回答问题所需信息的明确评估。我们在817项TruthfulQA多项选择验证集上评估了三种CoSQ变体，结果显示Grounded-CoSQ在τ=0.90时将无条件错误承诺率从13.1%降低至8.9%，相对减少32.1%，同时回答准确率从86.9%提升至89.7%。这些改进在所有评估模型和阈值下均有效，表明自我评估可以支持明确的、可调的答案或放弃决策。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在信息支持不足时产生不准确答案的问题。现有方法往往缺乏对信息质量的评估，导致错误承诺。

核心思路：提出Chain-of-Self-Questioning（CoSQ）框架，通过自我提问的方式，明确评估回答所需的信息，从而使模型在不确定时选择放弃回答。

技术框架：CoSQ框架包括多个模块，首先进行自我提问以评估信息需求，然后根据评估结果决定是否回答或放弃。该框架的变体包括Grounded-CoSQ、Critical-CoSQ和Adaptive-CoSQ，分别在不同条件下优化性能。

关键创新：最重要的创新在于引入自我评估机制，使模型能够在信息不足时做出更为谨慎的决策。这一机制与传统的直接回答方法形成鲜明对比。

关键设计：在实验中，Grounded-CoSQ的参数设置为τ=0.90，优化了无条件错误承诺率和回答准确性。模型在多个阈值下均表现出良好的稳定性和可靠性。实验使用了817项TruthfulQA数据集进行验证。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Grounded-CoSQ在τ=0.90时，无条件错误承诺率从13.1%降低至8.9%，相对减少32.1%；同时，回答准确率从86.9%提升至89.7%。这些结果在所有评估的模型和阈值下均保持一致，验证了方法的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、客户服务自动化以及教育领域的自适应学习工具。通过提高模型在不确定情况下的决策能力，可以减少错误信息的传播，提升用户体验和信任度。未来，该方法可能推动更智能的对话系统和信息检索技术的发展。

📄 摘要（原文）

Large language models can produce fluent answers when their factual support is weak. This paper introduces Chain-of-Self-Questioning (CoSQ), a prompt-only framework that makes answer commitment conditional on an explicit assessment of the information required to answer a question. We evaluate three CoSQ variants under seventeen conditions on the 817-item TruthfulQA multiple-choice validation set using eleven open-weight and hosted model families. In the final balanced-option protocol, Grounded-CoSQ at τ=0.90 reduces the mean unconditional wrong-commitment rate from 13.1% under chain-of-thought prompting to 8.9%, a 32.1% relative reduction, while increasing answered accuracy from 86.9% to 89.7% and answering 87.6% of questions. Both improvements hold for all eleven models and at every evaluated threshold. Critical-CoSQ and Adaptive-CoSQ provide neighboring operating points with 88.6% and 86.5% coverage, respectively, while remaining more reliable than the baseline. A secondary Natural Questions Short-Answer evaluation provides convergent open-form evidence. These findings show that self-assessment can support explicit, tunable answer-or-abstain decisions when an unsupported commitment is more costly than referral or review.