Greedy or not, here I come: Language production under vocabulary constraints in humans and resource-rational models
作者: Thomas Hikaru Clark, Sihan Chen, Laura Nicolae
分类: cs.CL
发布日期: 2026-05-14
💡 一句话要点
研究人类在词汇约束下的语言生成，对比贪婪与全局优化模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言生成 词汇约束 资源理性 贪婪算法 全局优化 序列蒙特卡洛 心理语言学
📋 核心要点
- 在词汇受限的情况下进行有效沟通是一项挑战，需要优化可理解性。
- 论文对比人类与基于大型语言模型的贪婪和全局最优采样算法。
- 实验表明人类更接近贪婪采样，但熟练者会进行非贪婪的回溯修改。
📝 摘要（中文）
本文研究了人类在有限词汇条件下进行交流的认知现象，这种现象要求交流者在词汇受限的情况下，精心计划以优化可理解性。我们考察了人类在不同词汇限制下对各种问题的回答，最严格的限制仅允许使用250个高频词。我们将人类的表现与基于大型语言模型的序列蒙特卡洛推理的贪婪和全局最优采样算法进行了理论比较。结果表明，人类总体上更接近贪婪采样，但更熟练的人更可能回溯和修改——这是一种非贪婪行为。我们观察到，人类在高度约束的环境中倾向于使用语义较轻的词，这在贪婪和全局最优采样中都有体现。我们讨论了这些结果及其对资源理性认知、心理语言学、第二语言交流和语言障碍的更广泛影响。
🔬 方法详解
问题定义：论文旨在研究在词汇量受限的情况下，人类如何进行语言生成。现有方法通常假设人类是完全理性的，能够进行全局优化，但实际情况可能并非如此。论文关注人类在词汇约束下的语言生成策略，并将其与资源理性的计算模型进行比较，以更好地理解人类的认知过程。
核心思路：论文的核心思路是将人类的语言生成过程建模为一种资源受限的优化问题。在词汇量受限的情况下，人类需要在可理解性和计算复杂度之间进行权衡。论文假设人类可能采用贪婪策略，即每次选择当前最优的词，但也可能进行一定程度的回溯和修改，以提高整体的可理解性。通过对比人类的表现与贪婪和全局最优采样算法，可以推断人类的认知策略。
技术框架：论文的技术框架主要包括以下几个部分：1) 设计实验，收集人类在不同词汇限制下的语言生成数据；2) 构建基于大型语言模型的贪婪和全局最优采样算法；3) 使用序列蒙特卡洛推理（Sequential Monte Carlo inference）对模型进行采样；4) 对比人类的表现与模型预测，评估不同模型的拟合程度。
关键创新：论文的关键创新在于将资源理性的视角引入到语言生成的研究中。通过对比人类的表现与贪婪和全局最优采样算法，论文揭示了人类在词汇约束下的语言生成策略并非完全理性，而是受到计算资源和认知能力的限制。此外，论文还发现，人类在高度约束的环境中倾向于使用语义较轻的词，这是一种适应性策略。
关键设计：论文的关键设计包括：1) 词汇限制的设置，通过控制词汇量来模拟不同的语言约束条件；2) 序列蒙特卡洛推理的使用，可以有效地对大型语言模型进行采样；3) 对比贪婪和全局最优采样算法，可以评估不同认知策略的拟合程度。具体的参数设置和损失函数等技术细节在论文中没有详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，人类的语言生成策略总体上更接近贪婪采样，但更熟练的人更可能进行回溯和修改。此外，研究发现人类在高度约束的环境中倾向于使用语义较轻的词，这在贪婪和全局最优采样中都有体现。具体的性能数据和提升幅度在论文中没有明确给出，属于未知信息。
🎯 应用场景
该研究成果可应用于多个领域，如心理语言学、第二语言习得、语言障碍治疗等。通过理解人类在词汇约束下的语言生成策略，可以为语言教学和治疗提供更有效的干预方法。此外，该研究还可以为自然语言生成系统的设计提供启示，使其能够更好地模拟人类的语言生成过程。
📄 摘要（原文）
Communicating using only a limited vocabulary is a common but challenging cognitive phenomenon, requiring an ideal communicator to plan carefully to optimize for intelligibility while circumventing a constrained lexicon. In this work, we investigate how humans respond to a broad array of questions under variable vocabulary limitations, consisting of only 250 highly frequent words at the most restrictive. We provide theoretically motivated comparisons to greedy and globally optimal sampling algorithms using Sequential Monte Carlo inference with large language models. Humans generally resemble greedy sampling more than globally optimal sampling, though more skilled humans are more likely to backtrack and revise -- a non-greedy behavior. An observed human pattern of leaning on semantically light words in high-constraint settings falls out of both greedy and globally optimal sampling. We discuss the results and their broader implications for resource-rational cognition, psycholinguistics, L2 communication, and language impairments.