OLMo-Detect: A Multi-Stage, Confounder-Controlled Benchmark for Membership Inference on Large Language Models

📄 arXiv: 2610.02986v1 📥 PDF

作者: Tao Shi, Chaoyi Xiang, Qiongkai Xu, Jey Han Lau

分类: cs.CL

发布日期: 2026-10-02

💡 一句话要点

提出OLMo-Detect以解决大语言模型的成员推断基准问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成员推断 大语言模型 基准测试 隐私保护 数据过滤 多阶段训练 混淆因子控制

📋 核心要点

  1. 现有的成员推断基准在训练阶段覆盖、成员与非成员的分布对齐及非成员过滤等方面存在不足。
  2. 本文提出OLMo-Detect，通过多阶段和混淆因子控制的方法，解决了现有基准的局限性。
  3. 实验结果显示，最佳的无监督和监督成员推断攻击的AUC仅为0.68，且在跨域评估中表现下降。

📝 摘要（中文）

大语言模型（LLMs）的成员推断旨在判断给定文本样本是否包含在LLM的训练数据中，而无需访问其训练语料库。尽管近期取得了一些进展，现有基准仍存在三大局限性：训练阶段覆盖有限、成员与非成员之间的分布对齐不足，以及对非成员的严格过滤缺失。为了解决这些问题，本文提出了OLMo-Detect，一个基于完全开放的OLMo 2管道的多阶段、混淆因子控制的基准。OLMo-Detect涵盖了预训练、中期训练和后期训练，明确在三个关键维度上对成员和非成员进行对齐，并通过infini-gram严格过滤非成员。我们还引入了OLMo-Detect (Shifted)变体，以评估对分布变化的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决大语言模型的成员推断基准问题，现有方法在训练阶段覆盖、成员与非成员的分布对齐及非成员过滤等方面存在不足。

核心思路：提出OLMo-Detect，通过多阶段的训练过程和混淆因子控制，明确对成员和非成员进行对齐，并严格过滤非成员，从而提高成员推断的准确性。

技术框架：OLMo-Detect的整体架构包括预训练、中期训练和后期训练三个阶段，分别评估不同训练阶段的成员推断性能，并引入infini-gram进行非成员过滤。

关键创新：最重要的技术创新在于引入了多阶段训练和混淆因子控制的概念，解决了现有方法在成员与非成员对齐和过滤上的不足，显著提升了基准的有效性。

关键设计：在参数设置上，使用了infini-gram进行非成员过滤，损失函数设计上考虑了成员与非成员的分布对齐，网络结构上采用了适应不同训练阶段的模型架构。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，最佳的无监督和监督成员推断攻击的AUC仅为0.68，且在跨域评估中表现下降。成员推断性能在中期训练时达到峰值，且在不同数据类型上表现差异明显，尤其是经过精心策划的数学数据更易被检测。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的安全性评估、隐私保护以及模型训练数据的透明性。通过提高成员推断的准确性，OLMo-Detect能够帮助研究人员更好地理解模型的训练过程和数据使用情况，促进模型的负责任使用。

📄 摘要（原文）

Membership inference on large language models (LLMs) aims to determine whether a given text sample was included in an LLM's training data, without access to its training corpus. Despite recent progress, existing benchmarks suffer from three limitations: limited coverage of training stages, insufficient distributional alignment between members and non-members, and lack of rigorous filtering of non-members against the training corpus. To address these limitations, we propose OLMo-Detect, a multi-stage, confounder-controlled benchmark built upon the fully open OLMo 2 pipeline. OLMo-Detect spans pre-training, mid-training, and post-training, explicitly aligns members and non-members on three key axes, and rigorously filters non-members via infini-gram. To assess robustness to distribution shifts, we further introduce OLMo-Detect (Shifted), a variant where members are misaligned with non-members. We evaluate 15 unsupervised and 3 supervised membership inference attacks (MIAs) across the OLMo 2 family, finding that: (i) overall performance is limited: the best unsupervised and supervised MIAs both reach an AUC of only 0.68, and supervised MIAs degrade under cross-domain evaluation; (ii) MIA performance peaks at mid-training and is lower at pre-training and post-training, a pattern driven by data type rather than a stage effect: curated math data is far more detectable than other types; (iii) overall scores improve from 1B to 13B but plateau at 32B; and (iv) no unsupervised MIA is robust to distribution shifts, with AUCs shifting by up to 0.42. Finally, we find that our findings on OLMo 2 generalize to OLMo 3 and non-OLMo models.