Production and Perception in LLMs: A Token Probability Approach
作者: Anna Marklová, Jiří Milička, Martina Vokáčová, Rudolf Rosa
分类: cs.CL
发布日期: 2026-07-13
💡 一句话要点
通过令牌概率方法揭示LLMs中的生成与感知差异
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 生成与感知 令牌概率 提示设计 自然语言处理 心理语言学 模型评估
📋 核心要点
- 现有研究未能明确大型语言模型在生成与感知之间是否存在功能性区别，尤其是在相同机制下的表现。
- 本研究通过令牌概率测量而非元语言提示，探索生成与感知的区别，采用多种提示进行实验。
- 实验结果显示，生成-感知距离显著高于生成-生成距离，且该效果在多个模型中得以复制，表明提示框架的影响。
📝 摘要（中文）
语言生成与感知之间的不对称性在心理语言学中已有充分研究。然而，是否大型语言模型（LLMs）表现出类似的功能性区别仍然是一个未解之谜。本研究通过直接的令牌概率测量来操作化这一生成-感知区分。使用Llama-3.1-8B模型，我们在生成提示下生成诗歌，并在不同的提示下重新评分同一令牌。实验结果显示，生成-感知距离显著大于生成-生成距离，且在不同条件下范围不重叠，平均比率约为1.8。这表明，仅通过提示框架就能在LLM概率分布中诱导生成-感知的区别。
🔬 方法详解
问题定义：本研究旨在探讨大型语言模型（LLMs）在语言生成与感知之间是否存在功能性区别。现有方法主要依赖于元语言提示，未能有效测量生成与感知的差异。
核心思路：本研究通过直接测量令牌概率，操作化生成-感知的区别，采用不同的提示来评估模型的反应，旨在揭示提示框架对模型输出的影响。
技术框架：研究使用Llama-3.1-8B模型生成诗歌，并在多种生成和感知提示下重新评分同一令牌。实验包括四个生成提示和三个感知提示，分析生成-感知与生成-生成的距离。
关键创新：本研究的创新在于通过令牌概率测量直接揭示生成与感知的区别，且该效果在多个开源模型中得以复制，显示出提示框架的独特作用。
关键设计：实验设计中，使用了多种提示以确保结果的可靠性，且在时间分析中发现感知提示对序列开头的影响最强，随着生成上下文的增加，影响逐渐减弱。具体的参数设置和模型选择确保了实验的严谨性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，生成-感知距离的平均比率约为1.8，且在不同条件下范围不重叠，确认了提示框架对模型输出的显著影响。此外，实验在五个开源模型中均得到了重复验证，显示出结果的普适性。
🎯 应用场景
该研究为理解大型语言模型在生成与感知任务中的表现提供了新的视角，潜在应用于自然语言处理、对话系统及教育技术等领域。通过优化提示设计，可以提升模型在特定任务中的表现，推动智能助手和创意写作工具的发展。
📄 摘要（原文）
The asymmetry between language production and perception has been well-documented in psycholinguistics. Whether large language models (LLMs) exhibit a functionally analogous distinction remains an open question, particularly given that LLMs rely on the same underlying mechanism (next-token prediction) for both input and output processing. In this exploratory study, we operationalize the production-perception distinction through direct token probability measurements rather than metalinguistic prompting. Using the base Llama-3.1-8B model, we generated poems under a production prompt and re-scored the same tokens under both rephrased production prompts and perception-oriented prompts. Across an extended experiment with four production and three perception prompts, production-perception distances consistently and substantially exceeded production-production distances, with non-overlapping ranges across conditions and an overall average ratio of approximately 1.8. Near-ceiling correlations in the production-production control confirm that the effect is specific to communicative framing rather than prompt surface variation, and we show the effect replicates across five open-weight models (Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, and Qwen2.5-7B-Instruct), spanning both base and instruction-tuned variants. Temporal analysis revealed that the perception prompt exerts its strongest influence at the beginning of the sequence, with divergence decaying as generated context accumulates, though the specific shape of this decay varies across prompt pairs. These findings suggest that prompt framing alone induces a production-perception distinction in LLM probability distributions, even within a decoder-only architecture.