Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection
作者: Juan Terven, Diana-Margarita Córdova-Esparza, Ruben Gomez, Carlos Miranda Rocha, Julio-Alejandro Romero-González, Edgar Chavez-Urbiola
分类: cs.CL
发布日期: 2026-10-09
备注: 17 pages, 2 figures, 10 tables
💡 一句话要点
提出学习选择答案的模型以解决语言模型的回答不确定性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语言模型 答案选择 放弃策略 强化学习 自然语言处理
📋 核心要点
- 现有语言模型在回答问题时缺乏判断能力，无法有效区分何时回答和何时放弃。
- 论文提出通过训练一个独立的答案选择器来改善模型的回答决策，从而提高模型的整体效用。
- 实验结果表明，学习的答案选择器在TriviaQA上显著提高了覆盖率和降低了错误率，但在NQ-Open上的表现仍有待提升。
📝 摘要（中文）
一款实用的语言模型应当能够判断何时回答以及何时说“我不知道”。本文研究了通过训练模型自身或训练一个独立组件来检查其答案的两种方法。我们在Qwen3-14B上对事实性问题进行了实验，使用一种奖励正确答案、惩罚错误并允许放弃的评分机制。结果显示，学习的答案选择器在阈值平均效用上优于原模型的校准置信度过滤器。在TriviaQA上，平均覆盖率从20.2%提高到30.9%，而在精确匹配评分下，得分答案的错误率从23.0%降至14.5%。尽管测试的强化学习方法未能建立一致的增益，但在NQ-Open上，选择器在阈值平均效用上优于过滤器，但仍不如始终放弃的表现。部分人工审核的审计结果保留了TriviaQA的发现。我们的结果支持在此设置中学习选择答案，但在不同数据集上可靠的放弃仍未解决。
🔬 方法详解
问题定义：本文旨在解决语言模型在回答问题时的判断能力不足，现有方法无法有效处理何时回答和何时放弃的问题，导致错误回答的风险增加。
核心思路：论文的核心思路是通过训练一个独立的答案选择器来优化模型的回答决策，利用奖励机制来鼓励正确回答并允许放弃，从而提高整体效用。
技术框架：整体架构包括两个主要模块：语言模型本身和独立的答案选择器。答案选择器根据模型的置信度和预设的阈值来决定是否回答或放弃。
关键创新：最重要的技术创新在于引入了一个学习的答案选择器，该选择器能够根据模型的置信度动态调整回答策略，与传统的静态过滤器相比，提供了更灵活的决策能力。
关键设计：在设计中，采用了特定的损失函数来平衡奖励和惩罚，确保模型在回答正确时获得奖励，而在错误回答时受到惩罚。同时，设置了多个置信度阈值以优化选择器的性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在TriviaQA数据集上，学习的答案选择器使平均覆盖率从20.2%提升至30.9%，得分答案的错误率从23.0%降低至14.5%。尽管在NQ-Open上表现不如始终放弃，但选择器在阈值平均效用上仍优于传统过滤器，显示出其有效性。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、客户服务机器人以及教育领域的自动化评估工具。通过提高语言模型的回答准确性和放弃决策能力，可以显著提升用户体验和系统的可靠性。未来，该方法有望在更广泛的自然语言处理任务中得到应用。
📄 摘要（原文）
A useful language model should know when to answer and when to say "I don't know." Can we improve that decision by training the model itself or by training a separate component to check its answers? We study both approaches on Qwen3-14B for factual questions, using a score that rewards correct answers, penalizes mistakes, and allows abstention. Across three training seeds and two held-out confidence thresholds, a learned answer selector improves threshold-averaged utility over the original model's calibrated confidence filter. On TriviaQA, mean coverage increases from 20.2% to 30.9%, while the pooled error rate among scored answers decreases from 23.0% to 14.5% under exact-match grading. The tested reinforcement-learning changes do not establish consistent gains. On NQ-Open, the selector improves threshold-averaged utility over the filter but still performs worse than always abstaining. A partial human-reviewed audit preserves the TriviaQA finding. Our results support learning to select answers in this setting while showing that reliable abstention across datasets remains unresolved.