Speak vs. Know: Balancing Behavior and Knowledge Distributions of Large Language Models
作者: Yang Liu, Masahiro Kaneko, Chenhui Chu
分类: cs.CL
发布日期: 2026-10-20
备注: 21 pages, 10 figures
💡 一句话要点
提出可学习的分布组合以解决LLM行为与知识不匹配问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 知识分布 行为分布 意见预测 模型评估 可学习组合
📋 核心要点
- 现有方法中，LLM的知识分布与其行为分布之间存在显著不匹配，导致评估结果不准确。
- 论文提出了一种可学习的分布组合方法，通过单一超参数在行为一致性与分布质量之间进行权衡。
- 实验表明，该方法在行为一致性上从71.6%提升至95.6%，而与人类意见分布的总变差距离仅轻微上升。
📝 摘要（中文）
近期研究表明，LLM输出文本中的分布与人类意见分布的对齐程度远高于其下一个token的对数概率分布。然而，LLM的输出行为由对数概率分布决定，而其知识则反映在知识分布中。研究发现，在特定群体意见预测中，37%的World Values Survey问题的最可能答案在这两种分布下存在差异。为此，论文提出了一种可学习的分布组合方法，旨在保持知识分布的形状，同时遵循行为分布的最可能答案。实验结果显示，该方法在行为一致性上有显著提升，同时对人类意见分布的总变差距离仅略有上升。
🔬 方法详解
问题定义：论文要解决的问题是LLM的知识分布与行为分布之间的不匹配，导致模型输出的最可能答案与实际知识不符，影响评估的准确性。
核心思路：论文提出了一种可学习的分布组合方法，旨在结合知识分布与行为分布的优点，通过调整超参数来平衡二者的影响。
技术框架：整体架构包括数据输入、分布计算、组合策略和输出生成四个主要模块。首先，模型根据输入生成知识分布和行为分布，然后通过学习的组合策略生成最终输出。
关键创新：最重要的技术创新在于提出了一种新的分布组合方法，能够在保持知识分布形状的同时，遵循行为分布的最可能答案，这一设计在现有方法中尚未见到。
关键设计：关键设计包括一个可调的超参数，用于在行为一致性和分布质量之间进行权衡。此外，损失函数的设计也考虑了两种分布的特性，以确保模型在训练过程中能够有效学习。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的平衡分布方法在行为一致性上从71.6%提升至95.6%，而与人类意见分布的总变差距离仅从28.8%轻微上升至33.8%。该方法在温度缩放和跨数据集设置下依然有效，展示了其广泛的适用性和稳定性。
🎯 应用场景
该研究的潜在应用领域包括社会科学调查、市场研究以及任何需要理解和预测群体意见的场景。通过提高LLM在这些领域的表现，可以更准确地反映人类的真实观点，从而为决策提供更可靠的支持。未来，该方法可能会影响LLM的评估标准和应用策略，推动更广泛的社会科学研究。
📄 摘要（原文）
Recent work reports that the distribution verbalized directly in the output text aligns far better with human opinion distributions than the next-token log-probability distribution of LLMs. However, the verbalized distribution reflects what LLMs know about a group's opinions (knowledge distribution), while what they actually output at deployment is governed by their log-probability distribution (behavior distribution). We find that when prompting LLMs to predict the opinion of a specific group, the most likely answer under the verbalized distribution differs from that under the log-probability distribution for 37% of World Values Survey questions, averaged over three LLMs. Thus, LLMs' knowledge does not match their behavior. This matters for evaluation: a verbalized distribution can score well against a group while its most likely answer is one the model never outputs, so the score no longer describes the model. The alignment scores for these two distributions reflect only the model's behavior or its knowledge, separately. We therefore propose a learnable combination of the two distributions that follows the most likely answer of the behavior distribution while preserving the shape of the knowledge distribution, with a single hyperparameter trading off behavioral fidelity against distribution quality. Our experiments on three opinion survey datasets and six models show that the balanced distribution improves behavioral consistency over the verbalized distribution from 71.6% to 95.6% on average, while the total variation distance to the human opinion distributions rises only slightly from 28.8% to 33.8%, and it remains effective under temperature scaling and cross-dataset settings.