Know Thy Enemy: Securing LLMs Against Prompt Injection via Diverse Data Synthesis and Instruction-Level Chain-of-Thought Learning

📄 arXiv: 2601.04666v1 📥 PDF

作者: Zhiyuan Chang, Mingyang Li, Yuekai Huang, Ziyou Jiang, Xiaojun Jia, Qian Xiong, Junjie Wang, Zhaoyang Li, Qing Wang

分类: cs.AI, cs.CR

发布日期: 2026-01-08

备注: 19 pages, 6 figures

💡 一句话要点

提出InstruCoT，通过多样数据合成和指令级CoT学习增强LLM抵御提示注入攻击的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 提示注入攻击防御 大型语言模型安全 链式思维学习 数据合成 指令级微调

📋 核心要点

  1. 现有方法难以有效防御提示注入攻击，因为恶意指令形式多样且语义边界模糊，难以识别。
  2. InstruCoT通过合成多样化的训练数据，并利用指令级链式思维微调，提升LLM识别和拒绝恶意指令的能力。
  3. 实验表明，InstruCoT在行为偏差、隐私泄露和有害输出三个维度上显著优于基线方法，同时保持了模型效用。

📝 摘要（中文）

大型语言模型（LLM）集成的应用日益普及，但面临着来自提示注入（PI）攻击的关键安全漏洞。防御PI攻击面临两个主要问题：恶意指令可以通过多种向量注入，并且注入的指令通常缺乏与周围上下文的清晰语义边界，难以识别。为了解决这些问题，我们提出InstruCoT，一种用于PI防御的模型增强方法，该方法合成多样化的训练数据，并采用指令级链式思维（Chain-of-Thought）微调，使LLM能够有效地识别和拒绝恶意指令，无论其来源或在上下文中的位置。我们在三个关键维度上评估InstruCoT：行为偏差、隐私泄露和有害输出。对四个LLM的实验结果表明，InstruCoT在所有维度上都显著优于基线，同时保持了效用性能而没有下降。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在面对提示注入（Prompt Injection, PI）攻击时的脆弱性问题。现有的防御方法难以有效应对，主要痛点在于：一是攻击方式多样，恶意指令可以通过各种途径注入；二是恶意指令与正常文本的语义边界模糊，难以准确识别和区分。这导致LLM容易受到攻击，产生不期望的行为，例如泄露隐私信息或生成有害内容。

核心思路：InstruCoT的核心思路是通过增强LLM对恶意指令的识别和拒绝能力来防御提示注入攻击。具体而言，该方法通过合成多样化的训练数据，模拟各种可能的攻击场景，并利用指令级链式思维（Instruction-Level Chain-of-Thought, CoT）微调，使LLM能够理解指令的意图，从而更准确地判断指令是否恶意。这样设计的目的是让LLM不仅能识别已知的攻击模式，还能泛化到未知的攻击方式。

技术框架：InstruCoT的技术框架主要包含两个阶段：数据合成和模型微调。在数据合成阶段，该方法生成包含各种恶意指令的训练数据，这些指令在来源、位置和语义上都具有多样性。在模型微调阶段，使用指令级CoT方法对LLM进行微调，使其能够逐步推理指令的意图，并判断其是否恶意。微调后的LLM能够更好地识别和拒绝恶意指令，从而提高其安全性。

关键创新：InstruCoT最重要的技术创新点在于指令级链式思维（Instruction-Level Chain-of-Thought）微调。与传统的CoT方法不同，InstruCoT专注于指令级别的推理，使LLM能够更精确地理解指令的意图。此外，多样化的数据合成也是一个关键创新，它确保LLM能够接触到各种可能的攻击场景，从而提高其泛化能力。

关键设计：在数据合成方面，需要精心设计恶意指令的类型和分布，以覆盖尽可能多的攻击场景。在指令级CoT微调方面，需要设计合适的提示词和推理步骤，引导LLM逐步分析指令的意图。损失函数的设计也至关重要，需要能够有效地惩罚LLM对恶意指令的错误判断。具体的参数设置和网络结构细节在论文中可能有所描述，但摘要中未提及。

📊 实验亮点

实验结果表明，InstruCoT在防御提示注入攻击方面显著优于基线方法。具体而言，InstruCoT在行为偏差、隐私泄露和有害输出三个关键维度上都取得了显著的性能提升，同时保持了模型效用而没有下降。这些结果表明，InstruCoT是一种有效的LLM安全增强方法，可以显著提高LLM抵御提示注入攻击的能力。具体的性能数据和提升幅度在摘要中未给出，需要在论文中查找。

🎯 应用场景

InstruCoT具有广泛的应用前景，可用于增强各种LLM集成应用的安全性，例如智能助手、聊天机器人、代码生成工具等。通过提高LLM抵御提示注入攻击的能力，可以有效防止隐私泄露、有害内容生成等安全问题，从而提高用户信任度和应用可靠性。未来，该方法可以进一步扩展到防御其他类型的LLM攻击，例如对抗性攻击和后门攻击。

📄 摘要（原文）

Large language model (LLM)-integrated applications have become increasingly prevalent, yet face critical security vulnerabilities from prompt injection (PI) attacks. Defending against PI attacks faces two major issues: malicious instructions can be injected through diverse vectors, and injected instructions often lack clear semantic boundaries from the surrounding context, making them difficult to identify. To address these issues, we propose InstruCoT, a model enhancement method for PI defense that synthesizes diverse training data and employs instruction-level chain-of-thought fine-tuning, enabling LLMs to effectively identify and reject malicious instructions regardless of their source or position in the context. We evaluate InstruCoT across three critical dimensions: Behavior Deviation, Privacy Leakage, and Harmful Output. Experimental results across four LLMs demonstrate that InstruCoT significantly outperforms baselines in all dimensions while maintaining utility performance without degradation