Large Language Models Could Be Rote Learners

📄 arXiv: 2504.08300v4 📥 PDF

作者: Yuyang Xu, Renjun Hu, Haochao Ying, Jian Wu, Xing Shi, Wei Lin

分类: cs.CL, cs.AI

发布日期: 2025-04-11 (更新: 2025-05-19)

备注: Work in Progress

💡 一句话要点

提出TrinEval框架，用于解耦大语言模型中的死记硬背与能力学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 基准评估 死记硬背 能力学习 知识评估

📋 核心要点

  1. 现有MCQ基准评估LLM受基准污染影响，无法有效区分模型的能力学习和死记硬背。
  2. 论文提出TrinEval框架，将MCQ重构为三位一体格式，降低模型对题目的记忆依赖。
  3. 实验表明，TrinEval能有效减少记忆影响，并揭示LLM可能存在一定比例的知识点死记硬背。

📝 摘要（中文）

多项选择题（MCQ）基准广泛用于评估大型语言模型（LLM），但其可靠性受到基准污染的影响。本研究将污染重新定义为学习的内在方面，旨在解耦LLM评估中真正的能力获取与表面记忆。首先，通过分析模型在不同记忆条件下的性能，我们发现了一个违反直觉的趋势：LLM在记忆的MCQ上的表现比在非记忆的MCQ上更差，这表明两种不同的学习现象共存，即死记硬背和真正的能力学习。为了区分它们，我们提出了一种新的评估框架TrinEval，将MCQ重新构建为一种替代的三位一体格式，减少记忆，同时保留知识评估。实验验证了TrinEval在重构方面的有效性，并且其评估表明，常见的LLM可能会死记硬背20.5%的知识点（平均在MMLU上）。

🔬 方法详解

问题定义：现有的大语言模型评估方法，特别是依赖多项选择题（MCQ）的基准测试，容易受到“基准污染”的影响。这意味着模型可能已经见过测试集中的题目，从而导致评估结果无法真实反映模型的泛化能力和知识掌握程度。现有方法难以区分模型是通过死记硬背记住题目，还是真正理解了题目背后的知识。

核心思路：论文的核心思路是将传统的MCQ问题转化为一种新的“三位一体”格式。这种格式旨在通过改变问题的呈现方式，降低模型对原始题目的记忆依赖，从而更准确地评估模型是否真正理解了相关知识。通过比较模型在原始MCQ和TrinEval格式下的表现差异，可以推断模型死记硬背的程度。

技术框架：TrinEval框架主要包含两个阶段：1）MCQ重构阶段：将原始的MCQ问题转化为三位一体格式。具体来说，每个MCQ问题被分解为三个部分，并以一种新的方式组合在一起，从而改变问题的呈现形式。2）模型评估阶段：使用重构后的问题评估LLM，并与在原始MCQ上的表现进行比较。通过比较两种格式下的性能差异，可以估计模型死记硬背的程度。

关键创新：TrinEval的关键创新在于其问题重构方法，它能够在保留知识评估功能的同时，显著降低模型对原始题目的记忆依赖。与传统的基准测试方法相比，TrinEval能够更准确地评估模型的泛化能力和知识掌握程度，从而更好地了解LLM的真正能力。

关键设计：TrinEval框架的关键设计在于如何将MCQ问题有效地转化为三位一体格式。具体的转换方法未知，但其核心目标是改变问题的呈现方式，同时确保问题仍然能够评估相同的知识点。此外，如何量化模型在两种格式下的性能差异，并将其转化为死记硬背程度的估计，也是一个关键的设计考虑。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在记忆的MCQ上的表现不如非记忆的MCQ，验证了死记硬背现象的存在。TrinEval评估显示，LLM平均死记硬背了MMLU中20.5%的知识点。TrinEval框架有效降低了记忆对评估结果的影响，为更准确地评估LLM能力提供了可能。

🎯 应用场景

该研究成果可应用于更可靠地评估大型语言模型的能力，尤其是在知识密集型任务中。通过区分死记硬背和真正的知识掌握，可以帮助研究人员更好地理解LLM的学习机制，并开发更有效的训练方法。此外，TrinEval框架可以用于构建更可靠的基准测试，从而推动LLM的进一步发展。

📄 摘要（原文）

Multiple-choice question (MCQ) benchmarks are widely used for evaluating Large Language Models (LLMs), yet their reliability is undermined by benchmark contamination. In this study, we reframe contamination as an inherent aspect of learning and seek to disentangle genuine capability acquisition from superficial memorization in LLM evaluation. First, by analyzing model performance under different memorization conditions, we uncover a counterintuitive trend: LLMs perform worse on memorized MCQs than on non-memorized ones, indicating the coexistence of two distinct learning phenomena, i.e., rote memorization and genuine capability learning. To disentangle them, we propose TrinEval, a novel evaluation framework reformulating MCQs into an alternative trinity format, reducing memorization while preserving knowledge assessment. Experiments validate TrinEval's effectiveness in reformulation, and its evaluation reveals that common LLMs may memorize by rote 20.5% of knowledge points (in MMLU on average).