TRAPDOC: Deceiving LLM Users by Injecting Imperceptible Phantom Tokens into Documents

📄 arXiv: 2506.00089v2 📥 PDF

作者: Hyundong Jin, Sicheol Sung, Shinwoo Park, SeungYeop Baik, Yo-Sub Han

分类: cs.CY, cs.AI

发布日期: 2025-05-30 (更新: 2025-09-28)

备注: EMNLP 2025 Findings

🔗 代码/项目: GITHUB

💡 一句话要点

TRAPDOC：通过注入不可察觉的幻影Token欺骗LLM用户，降低过度依赖

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻影Token 对抗性攻击 用户欺骗 过度依赖 AI伦理 信息安全

📋 核心要点

  1. 核心问题是用户过度依赖LLM，在处理任务时缺乏参与，导致滥用和不负责任的行为。
  2. TRAPDOC的核心在于向文档中注入难以察觉的“幻影Token”，诱导LLM产生看似合理但错误的输出。
  3. 实验表明，TRAPDOC能够有效欺骗用户，促使他们意识到过度依赖LLM的风险，从而更负责任地使用LLM。

📝 摘要（中文）

大型语言模型（LLM）在推理、写作、文本编辑和检索方面的能力迅速发展，为用户提供了不断扩展的功能集。然而，这种日益增长的效用也导致了一个严重的社会问题：过度依赖LLM。特别是，用户越来越多地将诸如家庭作业、任务或敏感文档的处理等任务委托给LLM，而缺乏有意义的参与。这种形式的过度依赖和滥用正在成为一个重要的社会问题。为了缓解这些问题，我们提出了一种将不可察觉的幻影Token注入文档的方法，这会导致LLM生成对用户来说看似合理但实际上不正确的输出。基于此技术，我们引入了TRAPDOC，一个旨在欺骗过度依赖LLM用户的框架。通过实证评估，我们证明了我们的框架在专有LLM上的有效性，并将其影响与几个基线进行了比较。TRAPDOC为促进更负责任和周到地使用语言模型奠定了坚实的基础。我们的代码可在https://github.com/jindong22/TrapDoc获得。

🔬 方法详解

问题定义：论文旨在解决用户过度依赖大型语言模型（LLM）的问题。现有方法无法有效阻止用户在不加思考的情况下，将任务完全委托给LLM，从而导致LLM的滥用和不负责任的使用。现有的防御机制通常依赖于检测对抗性攻击，但忽略了用户自身对LLM输出的批判性评估的缺失。

核心思路：核心思路是在文档中注入不易察觉的“幻影Token”，这些Token会影响LLM的输出，使其产生看似合理但实际上错误的答案。这种方法旨在通过让用户意识到LLM可能出错，从而促使他们更加谨慎和批判性地使用LLM，而不是完全依赖其输出。

技术框架：TRAPDOC框架包含以下几个主要步骤：1) 选择要注入幻影Token的文档；2) 使用特定的算法生成幻影Token序列，这些Token在语义上与原始文本不冲突，但会影响LLM的输出；3) 将幻影Token注入到文档中，并确保其不可察觉；4) 用户使用LLM处理包含幻影Token的文档；5) 用户评估LLM的输出，并可能意识到错误，从而反思其对LLM的依赖。

关键创新：TRAPDOC的关键创新在于其欺骗性。它不是直接阻止LLM生成错误答案，而是通过诱导LLM犯错来教育用户。与传统的对抗性攻击不同，TRAPDOC的目标不是破坏LLM的性能，而是提高用户对LLM输出的警惕性。此外，幻影Token的设计需要保证其在语义上不影响文档的原始含义，从而避免引起用户的怀疑。

关键设计：幻影Token的生成算法是TRAPDOC的关键设计。该算法需要考虑以下几个因素：1) 幻影Token的语义相似度，以确保其与原始文本不冲突；2) 幻影Token对LLM输出的影响程度，以确保其能够诱导LLM犯错；3) 幻影Token的不可察觉性，以避免引起用户的注意。具体的参数设置和损失函数（如果使用）取决于所使用的LLM和具体的任务。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文通过实验证明，TRAPDOC能够有效欺骗用户，使其在不知情的情况下接受LLM生成的错误答案。与基线方法相比，TRAPDOC在诱导用户犯错方面表现出更高的成功率。实验结果表明，TRAPDOC能够显著提高用户对LLM输出的警惕性，促使他们更加谨慎地使用LLM。

🎯 应用场景

TRAPDOC可应用于教育领域，帮助学生避免抄袭和过度依赖AI工具完成作业。在信息安全领域，可以用于评估用户对AI生成内容的信任程度，提高安全意识。此外，该技术还可用于评估和改进LLM的鲁棒性，使其不易受到恶意输入的影响。未来，TRAPDOC有望成为一种重要的AI伦理工具，促进人与AI的健康互动。

📄 摘要（原文）

The reasoning, writing, text-editing, and retrieval capabilities of proprietary large language models (LLMs) have advanced rapidly, providing users with an ever-expanding set of functionalities. However, this growing utility has also led to a serious societal concern: the over-reliance on LLMs. In particular, users increasingly delegate tasks such as homework, assignments, or the processing of sensitive documents to LLMs without meaningful engagement. This form of over-reliance and misuse is emerging as a significant social issue. In order to mitigate these issues, we propose a method injecting imperceptible phantom tokens into documents, which causes LLMs to generate outputs that appear plausible to users but are in fact incorrect. Based on this technique, we introduce TRAPDOC, a framework designed to deceive over-reliant LLM users. Through empirical evaluation, we demonstrate the effectiveness of our framework on proprietary LLMs, comparing its impact against several baselines. TRAPDOC serves as a strong foundation for promoting more responsible and thoughtful engagement with language models. Our code is available at https://github.com/jindong22/TrapDoc.