Temperature Fragility and the Conditional Benefits of Truncation Sampling

📄 arXiv: 2609.15476v1 📥 PDF

作者: Francesco La Rosa

分类: cs.CL, cs.LG

发布日期: 2026-09-14

备注: 20 pages, 8 figures, 16 tables. Code and data: https://github.com/larosafrancesco289/decoding-robustness

💡 一句话要点

提出温度脆弱性分析以优化语言模型的采样策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 温度采样 截断采样 模型评估 自然语言处理 文本生成 准确性分析

📋 核心要点

  1. 现有的截断采样方法在高温度下可能导致模型性能下降，影响生成文本的准确性。
  2. 论文通过对多种模型在不同温度下的表现进行系统测试，探索截断采样器的有效性。
  3. 实验结果显示，部分模型在较高温度下准确性下降，截断采样器在此情况下能改善性能。

📝 摘要（中文）

大型语言模型通过从预测分布中采样每个标记生成文本，而温度参数决定了抽样偏离最可能标记的程度。截断采样器如top-p和min-p在抽样前丢弃最不可能的标记，以保持高温度下的连贯性。尽管在高温度下的准确性提升显著，但在默认温度（0.6至1.0）下的影响尚未测量。本文测试了13个开放权重模型在不同温度下的表现，发现部分模型在较高温度下准确性显著下降，表明截断采样器主要在高温度下改善准确性，而在温度稳定时并未优于普通温度采样。

🔬 方法详解

问题定义：本文旨在解决在高温度下语言模型生成文本时准确性下降的问题。现有的截断采样方法在默认温度下的效果尚未得到充分验证。

核心思路：通过对13个开放权重模型在不同温度下的表现进行系统评估，分析截断采样器的条件效益，尤其是在高温度下的表现。

技术框架：研究采用统一的实验管道，测试模型在0.7、1.0和1.3温度下的表现，涵盖多种解码配置。

关键创新：本研究首次系统性地评估了截断采样器在不同温度下的表现，揭示了其在高温度下改善模型准确性的潜力。

关键设计：实验中使用了13个模型，分别在GSM8K和MMLU-Pro数据集上进行测试，重点关注在温度变化下的准确性损失和生成文本的完整性。具体设置包括温度参数的选择和解码配置的多样性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在MMLU-Pro数据集上，六个模型在温度从0.7升高到1.3时准确性下降了17到38个百分点，而其他七个模型的下降幅度最多为10个百分点。这表明在高温度下，截断采样器能有效改善模型的生成准确性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统以及教育领域的自动评估工具。通过优化采样策略，可以提高模型在实际应用中的表现，增强用户体验和生成内容的质量。

📄 摘要（原文）

Large language models generate text by sampling each token from a predicted distribution, and a temperature parameter sets how far the draw strays from the most probable tokens. Truncation samplers such as top-p and min-p discard the least probable tokens before the draw, so that sampling at high temperature stays coherent. Their reported accuracy gains come from temperatures of 1.5 to 3, while the defaults of deployed systems cluster between 0.6 and 1.0. Whether they change accuracy at those defaults, and for which models, has not been measured. We test thirteen open-weight models on GSM8K and MMLU-Pro at temperatures 0.7, 1.0, and 1.3 in one controlled pipeline, ten of them under eight decoding configurations. Six of the thirteen models lose 17 to 38 accuracy points on MMLU-Pro between 0.7 and 1.3, and the other seven lose at most 10. The lost accuracy comes from generations that run to the token limit or never state an answer. These results suggest that truncation samplers improve accuracy primarily when higher temperatures substantially degrade model performance. Where accuracy remains stable across temperatures, none of the tested truncation samplers improves on plain temperature sampling.