Cross-Lingual Transferability of Training Data Extraction Attacks to Recover Memorized PII

📄 arXiv: 2610.06093v1 📥 PDF

作者: Alexandru Nazare, Agnese Profico, Nicolò Vania, Elena Di Croce, Daria Caramanica, Davide Venditti, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Fabio Massimo Zanzotto

分类: cs.CL, cs.AI, cs.CR

发布日期: 2026-10-05

💡 一句话要点

研究跨语言训练数据提取攻击以恢复个人身份信息

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个人身份信息 跨语言攻击 数据提取 多语言模型 安全性评估

📋 核心要点

  1. 当前大型语言模型在保护个人身份信息方面存在安全隐患，尤其是在跨语言数据提取攻击中表现脆弱。
  2. 本研究通过构建多领域PII数据集，评估了多语言模型在不同语言提示下的训练数据提取攻击能力。
  3. 实验结果显示，跨语言攻击的成功率与模型的多语言能力相关，强调了现有模型在安全性上的不足。

📝 摘要（中文）

在大型语言模型（LLMs）中，个人身份信息（PII）保护的稳健性是一个关键问题，但跨语言数据提取的风险仍未得到充分探讨。本研究评估了以英语为中心的多语言模型在非英语语言提示下对训练数据提取（TDE）攻击的脆弱性。我们构建了一个多领域的PII数据集，并将攻击上下文翻译为意大利语、西班牙语、法语和德语。结果表明，TDE攻击在不同语言之间具有可转移性，且多语言模型的能力越强，恢复的英语泄露信息比例越高。这一发现揭示了现代LLMs中的安全漏洞，亟需更强的语言无关的消毒策略。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在跨语言环境下对个人身份信息的保护不足，现有方法未能充分考虑不同语言之间的攻击转移性。

核心思路：通过构建多语言的PII数据集，并对攻击上下文进行翻译，评估多语言模型在不同语言提示下的脆弱性，揭示潜在的跨语言攻击路径。

技术框架：研究首先构建了一个包含社交媒体账号、电子邮件地址和电话号码的多领域PII数据集，随后将攻击上下文翻译为多种语言，最后对模型在不同语言下的表现进行评估。

关键创新：本研究的创新在于揭示了多语言模型在不同语言之间的潜在桥接能力，表明原始英语提示的丢失并不妨碍攻击的成功。

关键设计：在实验中，采用了多种语言的提示进行模型激活分析，发现不同翻译的提示在模型中具有相似的表示，尤其是在中间层的对齐最为显著。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，跨语言训练数据提取攻击在多语言模型中具有显著的成功率，尤其在模型的多语言能力增强时，恢复的英语泄露信息比例显著提高。这一发现强调了当前模型在安全性方面的重大缺陷。

🎯 应用场景

该研究的潜在应用领域包括数据隐私保护、跨语言信息检索和安全性评估等。通过改进大型语言模型的安全性，可以有效防止个人身份信息的泄露，提升用户对AI系统的信任度。未来，该研究可能推动更为安全的多语言模型开发和应用。

📄 摘要（原文）

The robustness of Personally Identifiable Information (PII) protection in Large Language Models (LLMs) is a critical concern, yet the risks associated with cross-lingual data extraction remain under-explored. This study evaluates the vulnerability of English-centric and multilingual models to Training Data Extraction (TDE) attacks when prompted in non-English languages. We construct a multi-domain PII dataset comprising social media handles, email addresses, and phone numbers and translate the attack contexts into Italian, Spanish, French, and German. Our results show that TDE attacks against both English-centric and multilingual models transfer to different languages: the attacks are successful on translated prompts, even though only the original English prompt might have been included in the pre-training data. A web-presence check on a sample of the translations confirms that they are not available online. The share of English leaks recovered in other languages grows with the multilingual capability of the model, and it drops sharply when the original wording is lost, even without a change of language. This suggests that native multilingual pre-training facilitates the emergence of latent cross-linguistic bridges that simplify the retrieval of personally identifiable information (PII). We analyze the activations of multilingual large language models (LLMs) and find that different translations of the same prompt are bridged in similar representations, with the strongest alignment in the middle layers. Our results highlight a fundamental security gap in modern LLMs, necessitating more robust, language-agnostic sanitization strategies for future model alignment.