Enhancing LLM Robustness to Perturbed Instructions: An Empirical Study

📄 arXiv: 2504.02733v1 📥 PDF

作者: Aryan Agrawal, Lisa Alazraki, Shahin Honarvar, Marek Rei

分类: cs.CL

发布日期: 2025-04-03

备注: Building Trust Workshop, ICLR 2025

💡 一句话要点

提出自去噪方法，提升大语言模型对指令扰动的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 指令扰动 鲁棒性 自去噪 表征对齐

📋 核心要点

  1. 现有方法主要关注数据样本扰动，忽略了任务指令扰动对LLM性能的显著影响。
  2. 论文提出自去噪方法，通过模型自身纠正指令中的噪声，提升对扰动的鲁棒性。
  3. 实验结果表明，自去噪方法在多个模型和数据集上优于集成和监督学习等基线方法。

📝 摘要（中文）

大语言模型（LLM）极易受到输入扰动的影响，即使是微小的提示变化也可能导致输出产生显著差异。现有提升LLM鲁棒性的方法主要集中在扰动的数据样本上，而提高其对任务级指令扰动的抵抗能力相对未被充分探索。本文着重研究了任务特定指令中字符和单词级别的编辑，这些编辑会显著降低下游性能。我们实验了多种技术来增强LLM的鲁棒性，包括自去噪和表征对齐，测试了不同的模型（Llama 3和Flan-T5）、数据集（CoLA、QNLI、SST-2）和指令（面向任务和面向角色）。我们发现，平均而言，无论是通过冻结的LLM还是微调的模型执行的自去噪，都比其他策略（包括集成和监督方法等更复杂的基线）实现了更高的性能提升。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）对指令扰动敏感的问题。即使指令中存在微小的字符或单词级别的变化，LLM的性能也会显著下降。现有的鲁棒性提升方法主要集中在数据样本的扰动上，而忽略了指令扰动带来的挑战。因此，如何提高LLM对指令扰动的鲁棒性是一个亟待解决的问题。

核心思路：论文的核心思路是利用自去噪方法来纠正指令中的噪声。具体来说，模型接收到带有扰动的指令后，会尝试生成一个“干净”或更合理的指令，然后基于这个去噪后的指令执行任务。这种方法的核心在于让模型学习识别和消除指令中的噪声，从而提高其对扰动的鲁棒性。

技术框架：整体框架包含以下步骤：1) 输入带有扰动的指令；2) 使用LLM（可以是冻结的或微调的）对指令进行自去噪，生成去噪后的指令；3) 使用LLM基于去噪后的指令执行下游任务；4) 评估下游任务的性能。论文还尝试了表征对齐等方法作为对比。

关键创新：论文的关键创新在于将自去噪方法应用于指令扰动的鲁棒性提升。与传统的关注数据样本扰动的方法不同，该方法直接针对指令进行处理，更符合实际应用场景中指令可能存在噪声的情况。此外，论文还比较了冻结LLM和微调LLM在自去噪任务中的表现，为实际应用提供了指导。

关键设计：论文实验中使用了多种扰动方式，包括字符级别的编辑（如拼写错误、插入、删除）和单词级别的替换。自去噪过程可以使用不同的损失函数进行优化，例如交叉熵损失。对于微调的LLM，可以使用指令-响应对进行训练，使其学会生成更合理的指令。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，自去噪方法在CoLA、QNLI和SST-2等数据集上均取得了显著的性能提升。与集成和监督学习等基线方法相比，自去噪方法表现更优。尤其值得注意的是，即使使用冻结的LLM进行自去噪，也能获得可观的性能提升，这表明该方法具有较强的通用性和易用性。

🎯 应用场景

该研究成果可应用于各种需要与LLM交互的场景，尤其是在用户输入的指令可能存在噪声或不清晰的情况下。例如，在智能客服、代码生成、文本摘要等领域，可以利用该方法提高LLM的稳定性和可靠性，提升用户体验。未来，该方法还可以扩展到多模态指令，例如图像或语音指令。

📄 摘要（原文）

Large Language Models (LLMs) are highly vulnerable to input perturbations, as even a small prompt change may result in a substantially different output. Existing methods to enhance LLM robustness are primarily focused on perturbed data samples, whereas improving resiliency to perturbations of task-level instructions has remained relatively underexplored. In this work, we focus on character- and word-level edits of task-specific instructions, which substantially degrade downstream performance. We experiment with a variety of techniques to enhance the robustness of LLMs, including self-denoising and representation alignment, testing different models (Llama 3 and Flan-T5), datasets (CoLA, QNLI, SST-2) and instructions (both task-oriented and role-oriented). We find that, on average, self-denoising -- whether performed by a frozen LLM or a fine-tuned model -- achieves substantially higher performance gains than alternative strategies, including more complex baselines such as ensembling and supervised methods.