Knowing When Not to Answer: Cross-Domain and Multi-Turn Generalization of Latent Underspecification Signals
作者: Jerzy Kamiński, Ilya Galyukshev, Artem Kuznetsov, Danil Fedorov, Kirill Redko, Sergey Chuprin, Aidar Shumbalov, Stanislav Chumakov, Anna Kalyuzhnaya
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-10-06
备注: 15 pages, 3 figures, 10 tables. Under review
💡 一句话要点
提出跨领域和多轮对话的潜在未指定信号识别方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对话系统 未答复信号 多轮对话 模型评估 迁移学习 自然语言处理 大型语言模型
📋 核心要点
- 现有大型语言模型在信息不足时仍然给出答案，导致对话中的未答复问题难以识别。
- 本文提出了一种多轮对话基准测试和评估工具，旨在识别未答复信号并测试其在不同数据集间的迁移能力。
- 实验结果显示，针对未指定轮次的探测方法在准确性上优于随机猜测，但在某些模型上未能超越传统生成方法。
📝 摘要（中文）
大型语言模型在回答问题时，常常会在信息不足的情况下给出答案，尤其是在对话中。本文提出了一种多轮基准测试，包含423个对话和1661个标记的轮次状态，并利用六个数据集和六个开放权重的语言模型，测试未答复信号的传递能力。实验结果表明，针对缺失信息的探测在不同数据集间具有良好的迁移性，但在数学问题上表现较差。通过对未指定轮次的探测，本文的模型在没有微调的情况下，能够显著提高识别准确性，尽管在某些情况下未能超越传统生成模型。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在对话中未能正确识别未答复问题的挑战。现有方法在处理缺失信息时表现不佳，尤其是在多轮对话中。
核心思路：论文提出了一种新的多轮基准测试和评估框架，通过标记轮次状态来识别未答复信号，利用模拟用户进行验证，以提高模型的识别能力。
技术框架：整体架构包括数据收集、标记、模型训练和评估四个主要模块。首先收集多轮对话数据并进行标记，然后使用开放权重的语言模型进行训练，最后通过模拟用户进行评估。
关键创新：最重要的创新在于提出了一个多轮对话基准测试，能够有效识别未答复信号，并且在不同数据集间具有良好的迁移性，这在现有文献中尚属首次。
关键设计：在模型设计中，采用了无微调的探测门控机制，能够在未指定轮次中实现高精度识别。此外，实验中使用了多种损失函数和参数设置，以优化模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，针对未指定轮次的探测方法在准确性上显著优于随机猜测，尤其在缺失信息的情况下，AUROC值在0.77到0.97之间波动。然而，在某些模型上，该方法未能超越传统的生成模型，显示出仍需进一步优化的空间。
🎯 应用场景
该研究的潜在应用领域包括智能客服、对话系统和人机交互等场景。通过提高模型对未答复问题的识别能力，可以显著提升用户体验和对话的自然性，未来可能在多种实际应用中发挥重要作用。
📄 摘要（原文）
Large language models routinely answer questions that cannot be answered from the information given, and in dialogue they answer before enough has been said. Unanswerability is linearly decodable from hidden states, but it is unclear which of its forms share a representation and whether the signal is useful in dialogue. We contribute a turn-labeled multi-turn benchmark (423 conversations, 1,661 labeled turn-states) and an evaluation harness with a simulated user who answers clarifying questions, and use them with six datasets and six open-weight LLMs to test how far probes for unanswerability carry. Probes transfer robustly between datasets that share a ground of unanswerability: missing information in math (AUROC 0.77-0.97) and in a passage (SQuAD 2.0<->MuSiQue, 0.77-0.90). Probes for epistemic "known-unknowns" transfer poorly to math, but this separation weakens under lexical controls and changes with layer and coordinate system, so it remains unresolved. Single-turn probes fail zero-shot to detect when a conversation becomes answerable; in-structure probes recover it, but no better than a bag-of-words classifier. A gate on the calibrated probe, with no model fine-tuning, fires on underspecified turns far more precisely than chance, and its end-task success comes within 0.08 of a gate given the true labels. Yet across four models it does not reliably beat vanilla generation or prompted consolidation. The remaining gap lies mostly in how models use a clarification, not in detection.