Automated Membership Inference Attacks: Discovering MIA Signal Computations using LLM Agents

📄 arXiv: 2603.19375v1 📥 PDF

作者: Toan Tran, Olivera Kotevska, Li Xiong

分类: cs.CR, cs.LG

发布日期: 2026-03-19

💡 一句话要点

AutoMIA：利用LLM智能体自动设计成员推断攻击，提升攻击效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成员推断攻击 大型语言模型 自动化设计 模型安全 信息泄露

📋 核心要点

  1. 现有成员推断攻击设计依赖人工探索模型行为，效率低且难以发现新的攻击策略。
  2. AutoMIA利用LLM智能体自动探索和设计MIA信号计算，系统性地寻找潜在的攻击策略。
  3. 实验表明，AutoMIA能发现针对特定模型和数据集的新型MIA，AUC指标最高提升0.18。

📝 摘要（中文）

成员推断攻击（MIAs）是一种重要的框架，用于理解、评估和量化机器学习系统潜在的信息泄露。设计有效的MIAs极具挑战性，通常需要大量人工探索模型行为以识别潜在漏洞。本文介绍AutoMIA，一种新颖的框架，它利用大型语言模型（LLM）智能体来自动设计和实现新的MIA信号计算。通过利用LLM智能体，我们可以系统地探索潜在攻击策略的广阔空间，从而发现新的策略。实验表明，AutoMIA可以成功地发现专门为用户配置的目标模型和数据集量身定制的新MIAs，与现有MIAs相比，绝对AUC提高了0.18。这项工作首次证明LLM智能体可以作为一种有效且可扩展的范例，用于设计和实现具有SOTA性能的MIAs，为未来的探索开辟了新的途径。

🔬 方法详解

问题定义：成员推断攻击旨在确定特定数据点是否属于模型的训练集。现有MIA方法通常需要人工分析模型行为，手动设计攻击策略，这既耗时又依赖专家知识，难以发现模型的潜在漏洞。因此，如何自动化MIA的设计过程，并发现更有效的攻击策略是一个关键问题。

核心思路：AutoMIA的核心思路是利用大型语言模型（LLM）的强大能力，将MIA设计过程转化为一个智能体探索问题。LLM智能体可以根据目标模型和数据集的特性，自动生成、评估和优化MIA信号计算，从而发现新的攻击策略。这种方法避免了人工探索的局限性，能够更全面地挖掘模型的脆弱性。

技术框架：AutoMIA的整体框架包含以下几个主要模块：1) 环境设置：定义目标模型和数据集，以及MIA攻击的目标。2) LLM智能体：负责生成、评估和优化MIA信号计算。智能体通过与环境交互，不断学习和改进攻击策略。3) 信号计算模块：根据LLM智能体生成的指令，计算MIA信号。4) 评估模块：评估MIA信号的有效性，并反馈给LLM智能体。

关键创新：AutoMIA最重要的创新在于将LLM智能体引入到MIA设计中，实现了MIA设计的自动化和智能化。与传统方法相比，AutoMIA能够系统性地探索潜在的攻击策略空间，发现人工难以发现的新型MIA。此外，AutoMIA可以根据不同的目标模型和数据集，自适应地调整攻击策略，提高了攻击的有效性。

关键设计：AutoMIA的关键设计包括：1) LLM智能体的选择：选择具有强大代码生成和推理能力的LLM，例如GPT-3或类似的模型。2) 奖励函数的设计：设计合适的奖励函数，引导LLM智能体生成有效的MIA信号计算。奖励函数可以基于MIA的AUC或其他性能指标。3) 探索策略：采用合适的探索策略，例如ε-greedy或UCB，平衡探索和利用，避免LLM智能体陷入局部最优解。

📊 实验亮点

实验结果表明，AutoMIA能够成功发现针对特定模型和数据集的新型MIA，在多个数据集和模型上取得了显著的性能提升。与现有的MIA方法相比，AutoMIA在AUC指标上最高提升了0.18，证明了其在MIA设计方面的有效性和优越性。这些结果表明，LLM智能体可以作为一种强大的工具，用于自动化MIA设计，并发现更有效的攻击策略。

🎯 应用场景

AutoMIA可应用于评估和增强机器学习模型的安全性，帮助开发者发现模型潜在的成员推断漏洞，并采取相应的防御措施。该技术还可用于评估不同训练数据集对模型安全性的影响，指导数据集的选择和处理。此外，AutoMIA可以促进对MIA攻击原理的深入理解，推动相关安全研究的发展。

📄 摘要（原文）

Membership inference attacks (MIAs), which enable adversaries to determine whether specific data points were part of a model's training dataset, have emerged as an important framework to understand, assess, and quantify the potential information leakage associated with machine learning systems. Designing effective MIAs is a challenging task that usually requires extensive manual exploration of model behaviors to identify potential vulnerabilities. In this paper, we introduce AutoMIA -- a novel framework that leverages large language model (LLM) agents to automate the design and implementation of new MIA signal computations. By utilizing LLM agents, we can systematically explore a vast space of potential attack strategies, enabling the discovery of novel strategies. Our experiments demonstrate AutoMIA can successfully discover new MIAs that are specifically tailored to user-configured target model and dataset, resulting in improvements of up to 0.18 in absolute AUC over existing MIAs. This work provides the first demonstration that LLM agents can serve as an effective and scalable paradigm for designing and implementing MIAs with SOTA performance, opening up new avenues for future exploration.