Understanding the Prompt Sensitivity

📄 arXiv: 2604.18389v1 📥 PDF

作者: Yang Liu, Chenhui Chu

分类: cs.CL

发布日期: 2026-04-20

备注: 27 pages, 16 figures

🔗 代码/项目: GITHUB

💡 一句话要点

分析LLM梯度与概率关系，揭示Prompt敏感性内在原因

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Prompt工程 Prompt敏感性 泰勒展开 梯度分析

📋 核心要点

  1. 大型语言模型对prompt的微小变化非常敏感，这影响了其稳定性和可靠性，现有研究缺乏对这种现象的深入理解。
  2. 该论文将LLM视为多元函数，通过泰勒展开分析prompt的梯度与模型输出概率的关系，揭示了LLM内部对相似输入的分散行为。
  3. 实验结果表明，论文提出的上界与PromptSensiScore指标高度相关，并发现prompt模板对logits的影响大于问题本身。

📝 摘要（中文）

Prompt敏感性，即大型语言模型(LLM)的输出对输入prompt的确切措辞的依赖程度，引发了用户对LLM稳定性和可靠性的担忧。本文将LLM视为多元函数，并进行一阶泰勒展开，从而分析了保持语义不变的prompt、它们的梯度以及模型下一个token的对数概率之间的关系。我们利用柯西-施瓦茨不等式推导了对数概率差异的上界。研究表明，LLM不像较小的神经网络那样在内部对相似的输入进行聚类，而是将它们分散开来。这种分散行为导致两个语义不变的prompt之间的对数概率差异的上界过高，难以有效降低到0。我们的分析还表明，哪些类型的语义不变的prompt变体更有可能在LLM中引入prompt敏感性风险。此外，我们证明了该上界与现有的prompt敏感性指标PromptSensiScore密切相关。而且，通过分析logit方差，我们发现prompt模板通常比问题本身对logits产生更大的影响。总的来说，我们的结果为当前LLM为何对具有相同含义的prompt高度敏感提供了一个普遍的解释，为理解LLM的prompt敏感性提供了关键证据。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中存在的prompt敏感性问题。具体来说，即使是语义上等价的prompt，也可能导致LLM产生显著不同的输出，这降低了LLM的可靠性和可预测性。现有方法缺乏对这种现象的深入理解，无法有效缓解prompt敏感性。

核心思路：论文的核心思路是将LLM视为一个多元函数，并利用数学工具（如泰勒展开和柯西-施瓦茨不等式）来分析prompt的微小变化如何影响模型的输出。通过研究prompt的梯度和模型输出概率之间的关系，揭示LLM内部对相似输入的分散行为，从而解释prompt敏感性的根源。

技术框架：论文的技术框架主要包括以下几个步骤： 1. 将LLM视为多元函数，输入为prompt，输出为下一个token的对数概率。 2. 对LLM进行一阶泰勒展开，分析prompt的微小变化对输出的影响。 3. 利用柯西-施瓦茨不等式推导两个语义不变的prompt之间的对数概率差异的上界。 4. 分析LLM内部对相似输入的处理方式，验证其是否像小型神经网络那样进行聚类。 5. 通过实验验证理论分析的有效性，并分析不同类型的prompt变体对prompt敏感性的影响。

关键创新：论文最重要的技术创新在于： 1. 将LLM视为多元函数，并利用数学工具对其进行分析，为理解prompt敏感性提供了一个新的视角。 2. 揭示了LLM内部对相似输入的分散行为，解释了为什么LLM对prompt的微小变化如此敏感。 3. 推导了对数概率差异的上界，并验证了其与现有prompt敏感性指标的相关性。

关键设计：论文的关键设计包括： 1. 使用一阶泰勒展开来近似LLM的输出变化。 2. 利用柯西-施瓦茨不等式来推导对数概率差异的上界。 3. 设计实验来验证理论分析的有效性，并分析不同类型的prompt变体对prompt敏感性的影响。 4. 分析logit方差，以评估prompt模板和问题本身对logits的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，论文推导的对数概率差异上界与PromptSensiScore指标具有很强的相关性，验证了理论分析的有效性。此外，研究发现prompt模板对logits的影响通常大于问题本身，这为prompt工程提供了新的思路。代码已开源。

🎯 应用场景

该研究成果可应用于提升大型语言模型的稳定性和可靠性，例如，通过优化prompt设计，降低模型对prompt微小变化的敏感度。这对于需要高度可预测性和一致性的应用场景，如医疗诊断、金融分析等，具有重要意义。未来的研究可以基于此，探索更有效的prompt工程方法和模型训练策略。

📄 摘要（原文）

Prompt sensitivity, which refers to how strongly the output of a large language model (LLM) depends on the exact wording of its input prompt, raises concerns among users about the LLM's stability and reliability. In this work, we consider LLMs as multivariate functions and perform a first-order Taylor expansion, thereby analyzing the relationship between meaning-preserving prompts, their gradients, and the log probabilities of the model's next token. We derive an upper bound on the difference between log probabilities using the Cauchy-Schwarz inequality. We show that LLMs do not internally cluster similar inputs like smaller neural networks do, but instead disperse them. This dispersing behavior leads to an excessively high upper bound on the difference of log probabilities between two meaning-preserving prompts, making it difficult to effectively reduce to 0. In our analysis, we also show which types of meaning-preserving prompt variants are more likely to introduce prompt sensitivity risks in LLMs. In addition, we demonstrate that the upper bound is strongly correlated with an existing prompt sensitivity metric, PromptSensiScore. Moreover, by analyzing the logit variance, we find that prompt templates typically exert a greater influence on logits than the questions themselves. Overall, our results provide a general interpretation for why current LLMs can be highly sensitive to prompts with the same meaning, offering crucial evidence for understanding the prompt sensitivity of LLMs. Code for experiments is available at https://github.com/ku-nlp/Understanding_the_Prompt_Sensitivity.