Unveiling and Manipulating Prompt Influence in Large Language Models

📄 arXiv: 2405.11891v1 📥 PDF

作者: Zijian Feng, Hanzhang Zhou, Zixiao Zhu, Junlang Qian, Kezhi Mao

分类: cs.CL, cs.AI

发布日期: 2024-05-20

备注: ICLR 2024

💡 一句话要点

提出Token Distribution Dynamics (TDD)方法，用于揭示和操控大语言模型中Prompt的影响力。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 Prompt工程 可解释性 显著性分析 文本生成

📋 核心要点

  1. 现有显著性方法在解释LLM中prompt token的影响力时，存在与生成目标不一致或过度依赖线性假设的问题。
  2. 论文提出Token Distribution Dynamics (TDD)方法，利用LM head的解释能力，通过token在词汇表上的分布动态来评估输入显著性。
  3. 实验表明，TDD在揭示prompt与LLM输出的因果关系方面优于现有方法，并成功应用于有毒语言抑制和情感引导等任务。

📝 摘要（中文）

Prompt在引导大语言模型（LLM）的响应中起着至关重要的作用。然而，prompt中单个token在塑造响应中的复杂作用，即输入显著性，在很大程度上仍未被充分探索。现有的显著性方法要么与LLM的生成目标不一致，要么过度依赖线性假设，导致潜在的不准确性。为了解决这个问题，我们提出Token Distribution Dynamics (TDD)，一种简单而有效的方法，用于揭示和操控prompt在生成LLM输出中的作用。TDD利用语言模型头（LM head）强大的解释能力来评估输入显著性。它将输入token投影到嵌入空间，然后基于词汇表上的分布动态来估计它们的重要性。我们介绍了三种TDD变体：前向、后向和双向，每种变体都提供了对token相关性的独特见解。大量的实验表明，TDD在阐明prompt和LLM输出之间的因果关系方面，大大超过了最先进的基线。除了简单的解释之外，我们将TDD应用于两个prompt操控任务，以实现受控的文本生成：零样本有毒语言抑制和情感引导。实证结果强调了TDD在识别prompt中的有毒和情感线索方面的能力，从而减轻了生成内容中的毒性或调节情感。

🔬 方法详解

问题定义：论文旨在解决如何准确评估prompt中每个token对大语言模型生成结果的影响力，即输入显著性问题。现有方法要么与LLM的生成目标不一致，例如直接使用梯度；要么过度依赖线性假设，例如基于扰动的方法，导致评估结果不准确，无法有效操控生成文本的属性。

核心思路：论文的核心思路是利用语言模型头（LM head）本身所具备的强大解释能力。LM head负责将隐藏层状态映射到词汇表上的概率分布，因此可以直接反映每个token对最终生成结果的影响。通过分析token在词汇表上的分布动态，可以更准确地评估其显著性。

技术框架：TDD方法主要包含以下几个步骤：1) 将输入prompt的token嵌入到嵌入空间；2) 利用LM head计算每个token在词汇表上的概率分布；3) 基于这些分布，计算token的显著性得分。论文提出了三种TDD变体：前向TDD、后向TDD和双向TDD，分别从不同的角度评估token的重要性。前向TDD关注token对后续生成的影响，后向TDD关注token对之前生成的影响，双向TDD则综合考虑两者。

关键创新：TDD的关键创新在于它直接利用了LM head的输出来评估token的显著性，避免了传统方法中与LLM生成目标不一致或过度依赖线性假设的问题。通过分析token在词汇表上的分布动态，TDD能够更准确地捕捉token对生成结果的因果关系。

关键设计：TDD的关键设计在于如何定义和计算token在词汇表上的分布动态。论文中具体计算方法未知，但核心思想是衡量token对不同词汇的影响程度，并以此作为显著性的度量。三种TDD变体（前向、后向、双向）的设计允许从不同角度分析token的影响力，从而提供更全面的理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TDD在揭示prompt和LLM输出之间的因果关系方面，显著优于现有基线方法。在零样本有毒语言抑制任务中，TDD能够有效识别并抑制prompt中的有毒token，从而降低生成文本的毒性。在情感引导任务中，TDD能够准确识别prompt中的情感线索，并成功地调节生成文本的情感倾向。具体的性能提升数据未知。

🎯 应用场景

该研究成果可应用于多种场景，例如：提升LLM生成内容的可控性，通过操控prompt中的关键token来控制生成文本的情感、风格或主题；增强LLM的安全性，通过识别并抑制prompt中的有害token来避免生成有毒或不当内容；提高LLM的可解释性，帮助用户理解prompt如何影响LLM的生成过程。未来，该方法有望应用于更广泛的文本生成和理解任务中。

📄 摘要（原文）

Prompts play a crucial role in guiding the responses of Large Language Models (LLMs). However, the intricate role of individual tokens in prompts, known as input saliency, in shaping the responses remains largely underexplored. Existing saliency methods either misalign with LLM generation objectives or rely heavily on linearity assumptions, leading to potential inaccuracies. To address this, we propose Token Distribution Dynamics (TDD), a \textcolor{black}{simple yet effective} approach to unveil and manipulate the role of prompts in generating LLM outputs. TDD leverages the robust interpreting capabilities of the language model head (LM head) to assess input saliency. It projects input tokens into the embedding space and then estimates their significance based on distribution dynamics over the vocabulary. We introduce three TDD variants: forward, backward, and bidirectional, each offering unique insights into token relevance. Extensive experiments reveal that the TDD surpasses state-of-the-art baselines with a big margin in elucidating the causal relationships between prompts and LLM outputs. Beyond mere interpretation, we apply TDD to two prompt manipulation tasks for controlled text generation: zero-shot toxic language suppression and sentiment steering. Empirical results underscore TDD's proficiency in identifying both toxic and sentimental cues in prompts, subsequently mitigating toxicity or modulating sentiment in the generated content.