On the Tip of the Tongue: First-Token Cueing as a Behavioral Probe of Recall Failures in LLMs
作者: Jaewon Sok, Jewon Yeom, Seonghyeon Park, Jeongjae Park, Hwiyeong Lee, Taesup Kim
分类: cs.CL
发布日期: 2026-10-16
💡 一句话要点
提出首个标记提示以解决大型语言模型的回忆失败问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 回忆失败 首个标记提示 问答系统 多语言处理
📋 核心要点
- 现有大型语言模型在闭卷环境中常常出现事实性错误，主要归因于首个标记的回忆失败。
- 论文提出了首个标记提示的方法，通过预填充正确的首个标记来帮助模型恢复答案的正确性。
- 实验结果显示，该方法在多语言问答中显著提高了模型的回答准确性，纠正了大量错误。
📝 摘要（中文）
大型语言模型在闭卷环境中常常错误回答事实性问题，这种错误通常归因于知识缺失。然而，模型往往编码了它们未能产生的答案。我们展示了许多闭卷错误是首个标记回忆失败：模型承诺了错误的首个标记，但一旦给出正确的标记，它就能完成答案并通常识别为正确。我们通过首个标记提示这一行为探针进行研究，该方法用黄金答案的首个标记预填充响应。模型的不确定性在首个答案标记处达到峰值，此时它已经预测了正确性。在任何长度的黄金前缀中，单个首个标记占据了最大比例的可恢复错误。在16个开放模型中，这个标记纠正了英语问答中多标记答案的五分之一到一半的错误，并在七种语言的多语言基准中提高了准确性。大多数被纠正的错误也通过模型自身的抽样推理解决，这是编码知识的标准，模型能够识别出它们未能产生的正确开始：它们比同一答案类型和先前概率的错误开始更自信地继续正确开始，但很少在没有黄金答案的情况下找到它。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在闭卷设置中回答错误的问题，尤其是由于首个标记回忆失败导致的错误。现有方法未能有效识别和纠正这些错误。
核心思路：论文提出的核心思路是利用首个标记提示，通过提供正确的首个标记来引导模型完成答案，从而减少错误率。这样的设计旨在利用模型对正确答案的潜在知识。
技术框架：整体架构包括数据预处理、首个标记提示的生成、模型推理和结果评估四个主要模块。首先，模型接收输入并生成初步答案，然后通过提示机制引导模型修正答案，最后评估其准确性。
关键创新：最重要的技术创新在于识别并利用首个标记的提示来纠正模型的回答错误。这与现有方法的本质区别在于，现有方法通常依赖于完整的上下文，而本方法专注于首个标记的影响。
关键设计：在参数设置上，模型的推理阶段采用了自适应的提示机制，损失函数设计为关注首个标记的预测准确性，网络结构则优化以增强对首个标记的敏感性。通过这些设计，模型能够更有效地识别和纠正错误。
🖼️ 关键图片
📊 实验亮点
实验结果表明，首个标记提示能够纠正多达一半的多标记答案错误，尤其在英语问答中表现突出。此外，该方法在七种语言的多语言基准测试中均提高了模型的准确性，显示出其广泛的适用性和有效性。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、教育技术和信息检索等。通过提高大型语言模型的回答准确性，可以在实际应用中提供更可靠的信息服务，提升用户体验。未来，该方法可能会影响模型的设计和训练策略，推动更智能的对话系统和知识获取工具的发展。
📄 摘要（原文）
Large language models often answer factual questions incorrectly in closed-book settings, and such errors are usually attributed to missing knowledge. Yet models often encode answers they fail to produce. We show that many closed-book errors are first-token recall failures: the model commits to a wrong first token, but once given the right one it completes the answer and often recognizes it as correct. We study this with First-Token Cueing, a behavioral probe that prefills the response with the first token of the gold answer. Model uncertainty peaks at the first answer token, where it already predicts correctness, and among gold prefixes of any length the first token alone accounts for the largest share of recovered errors. Across 16 open models, this one token corrects between a fifth and a half of the errors on multi-token answers in English QA and improves accuracy in all seven languages of a multilingual benchmark. Most of the errors it corrects are also solved by the model's own sampled reasoning, a criterion for encoded knowledge, and models recognize correct starts they do not produce: they continue a correct start more confidently than an incorrect start of the same answer type and prior probability, yet rarely find it without the gold answer. These results locate a recoverable class of factual errors at the first decoding step, where inference-time methods may gain the most.