Detecting Pretraining Data in Large Language Models from a Free-Energy Perspective

📄 arXiv: 2609.21888v1 📥 PDF

作者: Chenye Ke, Zirui Liu, Qi Liu, Yan Zhuang, Jintao Zhang, Zhenya Huang, Shijin Wang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-09-18

💡 一句话要点

提出基于自由能视角的预训练数据检测方法以解决现有检测不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预训练数据检测 自由能 熵修正 能量转移检测 机器学习 自然语言处理 模型鲁棒性

📋 核心要点

  1. 现有方法在检测预训练数据时面临挑战，容易将可预测的非成员误判为成员，导致检测准确性不足。
  2. 本文提出了一种新的检测方法，通过引入倾斜边界，评估预测损失与预测熵的关系，从而改善成员与非成员的分离效果。
  3. 实验结果显示，ETD方法在平均AUROC和TPR@5%FPR上分别提高了3.5%和5.1%，展现出优越的检测性能和稳健性。

📝 摘要（中文）

在大型语言模型中，检测预训练数据是一项具有挑战性的任务，因为高似然性可能反映训练暴露或强泛化能力。现有的仅基于似然性的检测器使用水平边界，可能将可预测的非成员误判为成员。为此，本文引入了倾斜边界，评估预测损失相对于预测熵的关系。我们的分析表明，熵修正可以保留预期的成员信号，同时降低其方差，从而改善标准化的成员与非成员分离。我们进一步将均值-方差分析扩展到具有非零均值熵差的更一般设置，提出的熵调整评分具有赫尔姆霍兹自由能的解释，形成了能量转移检测（ETD），从宏观残余自由能转移的角度看待预训练数据检测。大量实验表明，ETD在检测性能上表现最佳，平均AUROC提高了3.5%，TPR@5%FPR提高了5.1%，并在多种设置中保持稳健性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中预训练数据检测的准确性问题。现有的仅基于似然性的检测方法容易将可预测的非成员误判为成员，导致检测效果不佳。

核心思路：论文提出通过引入倾斜边界，评估预测损失相对于预测熵的关系，来改善成员与非成员的分离效果。这种设计旨在保留预期的成员信号，同时降低其方差。

技术框架：整体架构包括数据预处理、预测模型训练、熵修正计算和最终的成员检测。主要模块包括基于熵的评分机制和能量转移检测（ETD）方法。

关键创新：最重要的技术创新在于引入了熵修正评分和能量转移检测（ETD），与现有方法的本质区别在于从宏观自由能转移的视角进行数据检测，提升了检测的准确性和鲁棒性。

关键设计：关键设计包括熵修正的具体实现、损失函数的选择以及网络结构的优化，以确保在不同设置下的稳健性和高效性。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ETD方法在检测性能上表现优异，平均AUROC提高了3.5%，TPR@5%FPR提高了5.1%。这些结果显示出该方法在多种设置下的稳健性，显著优于现有的检测方法。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的数据安全性检测、模型训练过程中的数据来源验证等。通过提高预训练数据的检测准确性，可以有效防止模型受到不良数据的影响，从而提升模型的可靠性和安全性。未来，该方法有望在更广泛的机器学习和人工智能应用中发挥重要作用。

📄 摘要（原文）

Detecting pretraining data in large language models is challenging because high likelihood can reflect either training exposure or strong generalization. In the joint space of prediction loss and predictive entropy, a likelihood-only detector uses a horizontal boundary and can mistake predictable non-members for members. Motivated by this, we introduce an inclined boundary that evaluates prediction loss relative to predictive entropy. Our analysis shows that entropy correction can preserve the expected membership signal while reducing its variance, thereby improving standardized member--non-member separation. We further extend the mean--variance analysis to the more general setting with a nonzero mean entropy gap. Interestingly, this entropy-adjusted score admits a Helmholtz free-energy interpretation, leading to Energy Transfer Detection (ETD), which views pretraining data detection from a macroscopic residual free-energy transfer perspective. Extensive experiments show that ETD achieves the best average detection performance, improving average AUROC by up to 3.5\% and TPR@5\%FPR by up to 5.1\%, while remaining robust across diverse settings.