LLMs can be easily Confused by Instructional Distractions

📄 arXiv: 2502.04362v1 📥 PDF

作者: Yerin Hwang, Yongil Kim, Jahyun Koo, Taegwan Kang, Hyunkyung Bae, Kyomin Jung

分类: cs.CL, cs.AI

发布日期: 2025-02-05

备注: 8 pages

期刊: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 19483-19496, Vienna, Austria, July 2025

DOI: 10.18653/v1/2025.acl-long.957

💡 一句话要点

DIM-Bench基准测试揭示LLM易受指令干扰，影响任务执行

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令跟随 指令干扰 基准测试 鲁棒性

📋 核心要点

  1. 现有LLM在指令跟随方面表现出色，但当输入信息与指令冲突时，模型容易混淆，无法正确执行任务。
  2. 论文提出DIM-Bench基准，旨在系统性地评估LLM在存在指令干扰情况下的性能表现，分析其脆弱性。
  3. 实验结果表明，即使是最先进的LLM也容易受到指令干扰的影响，无法准确理解用户意图并完成任务。

📝 摘要（中文）

大型语言模型（LLM）在指令跟随任务中表现出卓越的技能，但当模型需要忽略某些指令时，这种优势可能会转化为弱点。指令跟随任务通常包含明确的任务描述和包含待处理目标数据的输入文本。然而，当输入本身类似于指令时，即使有明确的提示来区分任务指令和输入，也可能出现混淆。我们将这种现象称为指令干扰。在本文中，我们引入了一个名为DIM-Bench的新基准，专门用于评估LLM在指令干扰下的性能。该基准对指令干扰的真实世界实例进行分类，并在四个指令任务（重写、校对、翻译和风格迁移）以及五个输入任务（推理、代码生成、数学推理、偏差检测和问答）中评估LLM。实验结果表明，即使是最先进的LLM也容易受到指令干扰，在这种情况下常常无法准确地遵循用户意图。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在面对指令干扰时表现出的脆弱性问题。现有方法在设计时，通常假设输入是干净的、不包含与任务指令相混淆的信息。然而，在实际应用中，输入文本可能包含类似于指令的内容，导致LLM无法区分真正的任务指令和输入数据，从而影响任务执行的准确性。这种指令干扰现象是现有LLM的一个痛点。

核心思路：论文的核心思路是构建一个专门用于评估LLM在指令干扰下性能的基准测试集，即DIM-Bench。通过DIM-Bench，可以系统性地测试LLM在各种指令和输入任务中对指令干扰的抵抗能力。这样设计的目的是为了更全面地了解LLM的弱点，并为未来的模型改进提供指导。

技术框架：DIM-Bench基准测试集包含两类任务：指令任务和输入任务。指令任务包括重写、校对、翻译和风格迁移，这些任务需要LLM根据指令对输入文本进行修改。输入任务包括推理、代码生成、数学推理、偏差检测和问答，这些任务需要LLM根据输入文本进行分析和判断。DIM-Bench的设计允许研究人员组合不同的指令任务和输入任务，以评估LLM在各种场景下的表现。

关键创新：DIM-Bench的关键创新在于其对指令干扰的系统性建模和评估。它不仅识别了指令干扰这一现象，还将其形式化为一个可测试的基准。与以往的基准测试不同，DIM-Bench专门关注LLM在面对与任务指令相混淆的输入时的表现，这更贴近实际应用场景。

关键设计：DIM-Bench的关键设计在于其任务的多样性和干扰的引入方式。通过组合不同的指令任务和输入任务，可以评估LLM在各种场景下的表现。干扰的引入方式包括在输入文本中包含类似于指令的短语或句子，这些干扰旨在迷惑LLM，使其难以区分真正的任务指令和输入数据。论文未明确提及具体的参数设置、损失函数或网络结构，因为DIM-Bench主要是一个基准测试集，而非一种新的模型或训练方法。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，即使是最先进的LLM，如GPT-3和T5，在DIM-Bench基准测试中也表现出对指令干扰的敏感性。在某些任务中，LLM的性能下降幅度高达20%-30%。这表明，现有的LLM在处理指令干扰方面仍有很大的改进空间。DIM-Bench的发布为研究人员提供了一个评估和改进LLM的新工具。

🎯 应用场景

该研究成果可应用于提升LLM在实际应用中的鲁棒性和可靠性，尤其是在处理包含噪声或歧义信息的场景下。例如，在智能客服、自动翻译、内容生成等领域，可以利用DIM-Bench评估和改进LLM，使其能够更好地理解用户意图，避免受到输入文本中干扰信息的影响，从而提供更准确、更可靠的服务。未来的研究可以基于DIM-Bench开发更强大的LLM，使其能够更好地应对指令干扰。

📄 摘要（原文）

Despite the fact that large language models (LLMs) show exceptional skill in instruction following tasks, this strength can turn into a vulnerability when the models are required to disregard certain instructions. Instruction-following tasks typically involve a clear task description and input text containing the target data to be processed. However, when the input itself resembles an instruction, confusion may arise, even if there is explicit prompting to distinguish between the task instruction and the input. We refer to this phenomenon as instructional distraction. In this paper, we introduce a novel benchmark, named DIM-Bench, specifically designed to assess LLMs' performance under instructional distraction. The benchmark categorizes real-world instances of instructional distraction and evaluates LLMs across four instruction tasks: rewriting, proofreading, translation, and style transfer -- alongside five input tasks: reasoning, code generation, mathematical reasoning, bias detection, and question answering. Our experimental results reveal that even the most advanced LLMs are susceptible to instructional distraction, often failing to accurately follow user intent in such cases.