Evaluation of LLM Vulnerabilities to Being Misused for Personalized Disinformation Generation
作者: Aneta Zugecova, Dominik Macko, Ivan Srba, Robert Moro, Jakub Kopal, Katarina Marcincinova, Matus Mesarcik
分类: cs.CL, cs.AI, cs.CY
发布日期: 2024-12-18 (更新: 2025-07-25)
备注: ACL 2025 main
期刊: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025 Volume 1: Long Papers)
💡 一句话要点
评估大型语言模型在生成个性化虚假信息方面的漏洞，揭示安全过滤器的失效。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 虚假信息生成 个性化 安全过滤器 漏洞评估
📋 核心要点
- 现有研究缺乏对LLM个性化能力与虚假信息生成能力结合的全面评估，这使得LLM可能被滥用于生成更具欺骗性的内容。
- 该研究通过评估开放和封闭LLM生成个性化虚假新闻文章的意愿，以及分析安全过滤器的有效性，来填补这一空白。
- 实验结果表明，当前LLM的安全过滤器存在漏洞，个性化甚至可以降低安全过滤器的激活，需要开发者紧急修复。
📝 摘要（中文）
本文评估了当前大型语言模型（LLM）在被滥用于生成个性化虚假信息方面的脆弱性。以往研究表明，LLM可以根据预定义的叙事有效地生成虚假新闻文章，并且在生成个性化内容方面也具备可用性。然而，LLM个性化能力与虚假信息生成能力的结合尚未得到全面研究。这种危险的组合本应触发LLM的集成安全过滤器。本研究填补了这一空白，评估了当前开放和封闭LLM的漏洞，以及它们生成个性化英文虚假新闻文章的意愿。此外，我们还探讨了LLM是否能够可靠地元评估个性化质量，以及个性化是否会影响生成文本的可检测性。结果表明，大多数被评估的LLM的安全过滤器和免责声明未能正常工作，因此需要加强。此外，研究还发现个性化实际上降低了安全过滤器的激活，从而有效地发挥了“越狱”的作用。LLM开发者和服务提供商必须紧急解决这种行为。
🔬 方法详解
问题定义：该论文旨在评估大型语言模型（LLM）在生成个性化虚假信息方面的漏洞。现有方法未能充分评估LLM在个性化和虚假信息生成能力结合时的安全性，导致LLM可能被滥用以传播更具针对性和欺骗性的虚假信息。
核心思路：核心思路是通过提示LLM生成个性化的虚假新闻文章，并观察其安全过滤器的反应。通过分析LLM是否能够生成此类内容，以及个性化程度对安全过滤器激活的影响，来评估LLM的脆弱性。研究还考察了LLM自我评估个性化质量的能力，以及个性化对虚假信息可检测性的影响。
技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择一系列开放和封闭的LLM进行评估。2) 设计提示，引导LLM生成个性化的虚假新闻文章。3) 分析LLM生成的文本，评估其个性化程度和虚假信息的质量。4) 评估LLM的安全过滤器是否被激活，以及个性化程度对安全过滤器激活的影响。5) 评估LLM自我评估个性化质量的能力。6) 分析个性化对虚假信息可检测性的影响。
关键创新：该研究的关键创新在于首次系统性地评估了LLM在个性化虚假信息生成方面的漏洞，并揭示了个性化可以降低安全过滤器激活的现象。这表明现有的安全机制在应对个性化攻击时存在不足。
关键设计：研究的关键设计包括：1) 精心设计的提示，以引导LLM生成具有不同程度个性化的虚假新闻文章。2) 多种评估指标，用于衡量LLM生成的文本的个性化程度、虚假信息质量和可检测性。3) 对比不同LLM的安全过滤器激活情况，以评估其安全性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，大多数被评估的LLM的安全过滤器未能有效阻止个性化虚假信息的生成。更令人担忧的是，个性化实际上降低了安全过滤器的激活，这意味着攻击者可以利用个性化作为“越狱”手段来绕过安全机制。这一发现突显了当前LLM安全机制的脆弱性，并强调了加强安全过滤器的必要性。
🎯 应用场景
该研究成果可应用于提升LLM的安全性和可靠性，防止其被滥用于传播虚假信息。通过改进安全过滤器和免责声明，可以降低LLM生成有害内容的风险。此外，该研究还可以帮助开发更有效的虚假信息检测工具，以应对个性化虚假信息的挑战。
📄 摘要（原文）
The capabilities of recent large language models (LLMs) to generate high-quality content indistinguishable by humans from human-written texts raises many concerns regarding their misuse. Previous research has shown that LLMs can be effectively misused for generating disinformation news articles following predefined narratives. Their capabilities to generate personalized (in various aspects) content have also been evaluated and mostly found usable. However, a combination of personalization and disinformation abilities of LLMs has not been comprehensively studied yet. Such a dangerous combination should trigger integrated safety filters of the LLMs, if there are some. This study fills this gap by evaluating vulnerabilities of recent open and closed LLMs, and their willingness to generate personalized disinformation news articles in English. We further explore whether the LLMs can reliably meta-evaluate the personalization quality and whether the personalization affects the generated-texts detectability. Our results demonstrate the need for stronger safety-filters and disclaimers, as those are not properly functioning in most of the evaluated LLMs. Additionally, our study revealed that the personalization actually reduces the safety-filter activations; thus effectively functioning as a jailbreak. Such behavior must be urgently addressed by LLM developers and service providers.