Uncheatable Eval: Dynamic Compression-Based Evaluation of Language Models
作者: Kaifeng Tan, Yudong Li, Linlin Shen
分类: cs.CL, cs.AI
发布日期: 2026-09-23
备注: 17 pages, 7 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出Uncheatable Eval以解决语言模型评估数据污染问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 评估方法 数据压缩 基准测试 自然语言处理 模型性能
📋 核心要点
- 现有评估方法难以避免基准数据进入语言模型的训练集，导致评估结果不可靠。
- 提出Uncheatable Eval，通过定期收集新文本并利用压缩率评估模型的预测能力，降低数据污染风险。
- 实验结果显示，压缩性能与模型规模呈一致的扩展趋势，且压缩率与零-shot MMLU准确率呈强相关。
📝 摘要（中文）
现代大型语言模型在海量数据集上进行预训练，这使得基准数据进入训练集并影响评估结果的可靠性变得困难。尤其是对于基础模型，其有限的指令跟随能力使得基于任务的评估更具挑战性。本文提出了Uncheatable Eval，一个动态基准，定期收集新发布的文本来评估基础语言模型，并降低数据污染的风险。通过模型的预测能力与无损数据压缩能力之间的关系，利用压缩率来评估模型对新文本的预测效果。我们评估了80个模型在14个文本类别上的表现，并研究了上下文长度对压缩的影响，以及压缩率与零-shot MMLU准确率之间的相关性。
🔬 方法详解
问题定义：本文旨在解决语言模型评估中基准数据污染的问题。现有方法在评估基础模型时，由于其训练数据可能与评估数据重叠，导致评估结果的可靠性受到质疑。
核心思路：提出Uncheatable Eval，通过动态收集新发布的文本，利用模型的压缩能力作为评估指标，降低数据污染的风险。压缩率反映了模型对新文本的预测能力，从而提供了一种新的评估方式。
技术框架：整体架构包括数据收集模块、压缩评估模块和结果分析模块。数据收集模块定期获取新文本，压缩评估模块通过计算模型的压缩率来评估其性能，结果分析模块则对不同模型的表现进行对比和分析。
关键创新：最重要的创新在于将压缩率作为评估指标，这一方法与传统的基于任务的评估方式有本质区别，能够有效减少数据污染的影响。
关键设计：在实验中，设置了不同的上下文长度来观察压缩率的变化，并使用零-shot MMLU准确率作为性能对比的基准，确保评估的全面性和准确性。实验中还考虑了不同模型架构（如注意力机制、混合模型和递归模型）对压缩性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，压缩性能与模型规模呈一致的扩展趋势，且不同模型在增加上下文时的压缩性能变化显著。更重要的是，较低的压缩率与更高的零-shot MMLU准确率之间存在强相关性，为模型评估提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的模型评估、基准测试和模型选择等。通过提供一种更可靠的评估方法，Uncheatable Eval可以帮助研究人员和开发者更准确地评估和比较不同语言模型的性能，从而推动语言模型的进一步发展和应用。
📄 摘要（原文）
Modern large language models are pretrained on massive datasets, making it difficult to prevent benchmark data from entering their training sets and undermining the reliability of evaluation results. Reliable evaluation is particularly challenging for base models, whose limited instruction-following ability complicates task-based assessment. We introduce Uncheatable Eval, a dynamic benchmark that regularly collects newly published text to evaluate base language models and reduce the risk of data contamination. Drawing on the relationship between a model's predictive ability and its ability to compress data losslessly, we use compression rate to evaluate how well models predict new text. We evaluate 80 models across 14 text categories, study how compression changes with context length, and examine the correlation between compression rate and zero-shot MMLU accuracy. Our results yield three main findings: (1) compression performance follows a consistent scaling trend with model size; (2) attention-based, hybrid, and recurrent models differ in how their compression performance changes as more context becomes available; and (3) lower compression rates are strongly associated with higher zero-shot MMLU accuracy. Code is available at https://github.com/Jellyfish042/uncheatable_eval.