Anthropomimetic Uncertainty: What Verbalized Uncertainty in Language Models is Missing
作者: Dennis Ulmer, Alexandra Lorson, Ivan Titov, Christian Hardmeier
分类: cs.CL, cs.AI
发布日期: 2025-07-11
💡 一句话要点
提出拟人化不确定性，提升语言模型不确定性表达的真实性和可信度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自然语言处理 大型语言模型 不确定性表达 人机交互 拟人化 可信度 语言模型偏差
📋 核心要点
- 现有语言模型在表达不确定性时缺乏人类交流的细微差别，且存在数据偏差，导致其输出的可信度降低。
- 论文提出“拟人化不确定性”的概念，旨在通过模仿人类交流，使语言模型的不确定性表达更自然、更可信，更具个性化。
- 论文深入研究人类不确定性交流，分析现有研究，揭示语言模型中被忽视的偏差，并为未来研究指明方向。
📝 摘要（中文）
为了提高大型语言模型（LLM）在各种任务和问题上的可信度和用户信任度，本研究着重解决LLM输出过于自信的问题，即使其准确性存疑。论文提出“拟人化不确定性”的概念，强调通过模仿人类交流的方式，实现更直观、更可信的不确定性表达。研究深入分析了人类不确定性交流的研究，调查了当前的研究进展，并通过额外的分析揭示了语言模型中被忽视的偏差。最后，论文指出了人机不确定性交流的独特因素，并将拟人化不确定性分解为未来自然语言处理的研究方向。
🔬 方法详解
问题定义：大型语言模型（LLM）在回答问题时常常过于自信，即使答案的准确性不高。这种过度自信会降低用户对LLM的信任度，阻碍人机协作。现有方法未能充分考虑人类在表达不确定性时的细微差别，以及数据偏差对机器不确定性表达的影响。
核心思路：论文的核心思路是“拟人化不确定性”，即让语言模型在表达不确定性时，模仿人类的交流方式，使其更自然、更可信，并能根据用户的特点进行个性化调整。通过模拟人类的语言习惯和表达方式，可以提高用户对模型输出的信任感。
技术框架：论文没有提出一个具体的模型架构，而是提供了一个研究框架，包括：1) 深入研究人类不确定性交流的文献；2) 调查当前自然语言处理领域在不确定性表达方面的研究进展；3) 分析现有语言模型在不确定性表达中存在的偏差；4) 提出未来研究方向，将拟人化不确定性分解为可行的研究任务。
关键创新：该论文的关键创新在于提出了“拟人化不确定性”这一概念，强调了语言模型在表达不确定性时，需要模仿人类的交流方式。与现有方法相比，该方法更注重语言的真实性和个性化，从而提高用户对模型输出的信任度。
关键设计：论文没有涉及具体的模型设计或参数设置。未来的研究方向可能包括：1) 如何从人类交流数据中学习不确定性表达的模式；2) 如何根据用户的特点，个性化调整不确定性表达的方式；3) 如何评估拟人化不确定性表达的效果。
🖼️ 关键图片
📊 实验亮点
论文通过分析现有语言模型，揭示了其在不确定性表达中存在的偏差，例如过度自信、缺乏个性化等。虽然没有提供具体的性能数据，但该研究为未来的研究指明了方向，强调了拟人化不确定性在提高语言模型可信度方面的重要性。
🎯 应用场景
该研究成果可应用于各种人机交互场景，例如智能客服、虚拟助手、教育辅导等。通过更自然、更可信的不确定性表达，可以提高用户对语言模型的信任度，促进人机协作，并降低因模型错误输出而造成的潜在风险。未来，该研究有望推动人机交互朝着更加智能、可信的方向发展。
📄 摘要（原文）
Human users increasingly rely on natural language interactions with large language models (LLMs) in order to receive help on a large variety of tasks and problems. However, the trustworthiness and perceived legitimacy of LLMs is undermined by the fact that their output is frequently stated in very confident terms, even when its accuracy is questionable. Therefore, there is a need to signal the confidence of the language model to a user in order to reap the benefits of human-machine collaboration and mitigate potential harms. Verbalized uncertainty is the expression of confidence with linguistic means, an approach that integrates perfectly into language-based interfaces. Nevertheless, most recent research in natural language processing (NLP) overlooks the nuances surrounding human uncertainty communication and the data biases that influence machine uncertainty communication. We argue for anthropomimetic uncertainty, meaning that intuitive and trustworthy uncertainty communication requires a degree of linguistic authenticity and personalization to the user, which could be achieved by emulating human communication. We present a thorough overview over the research in human uncertainty communication, survey ongoing research, and perform additional analyses to demonstrate so-far overlooked biases in verbalized uncertainty. We conclude by pointing out unique factors in human-machine communication of uncertainty and deconstruct anthropomimetic uncertainty into future research directions for NLP.