Guiding LLM to Fool Itself: Automatically Manipulating Machine Reading Comprehension Shortcut Triggers

📄 arXiv: 2310.18360v1 📥 PDF

作者: Mosh Levy, Shauli Ravfogel, Yoav Goldberg

分类: cs.CL, cs.AI

发布日期: 2023-10-24

备注: Accepted to EMNLP 2023 Findings

💡 一句话要点

提出自动操控机器阅读理解快捷触发器的方法以提升LLM可靠性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器阅读理解 长语言模型 快捷触发器 模型脆弱性 数据集构建

📋 核心要点

  1. 现有的LLM在机器阅读理解中表现出色，但快捷触发器的存在威胁其可靠性，导致模型可能产生错误答案。
  2. 本文提出了一种新框架，利用GPT-4作为编辑者，自动添加快捷触发器以误导LLM的回答，探索LLM的脆弱性。
  3. 实验结果表明，GPT-4能够被其自身的编辑欺骗，F1分数下降15%，揭示了LLM在面对快捷知识时的脆弱性。

📝 摘要（中文）

近年来，LLM在机器阅读理解（MRC）系统中的应用取得了显著成果，但快捷触发器的使用，作为与真实标签虚假相关的特征机制，已成为其可靠性的一大威胁。本文从两个角度分析该问题：将LLM视为编辑者，指导其编辑文本以误导LLM；将LLM视为阅读者，根据编辑后的文本回答问题。我们提出了一种框架，指导编辑者向样本中添加潜在的快捷触发器。使用GPT-4作为编辑者，我们发现其能够成功编辑触发器，欺骗LLM。分析LLM作为阅读者时，我们观察到即使是能力强大的LLM也能被快捷知识欺骗。值得注意的是，我们发现GPT-4可以被其自身的编辑所欺骗（F1分数下降15%）。我们的研究揭示了LLM对快捷操控的固有脆弱性，并发布了由我们框架生成的ShortcutQA数据集，以供未来研究使用。

🔬 方法详解

问题定义：本文旨在解决LLM在机器阅读理解中因快捷触发器而导致的可靠性问题。现有方法未能有效识别和应对这些快捷触发器的影响，导致模型输出错误答案。

核心思路：我们提出的框架通过引导LLM作为编辑者，自动添加可能的快捷触发器，从而使得LLM在回答时受到误导。这样的设计旨在揭示LLM在面对这些操控时的脆弱性。

技术框架：整体架构包括两个主要模块：编辑者模块和阅读者模块。编辑者模块负责生成带有快捷触发器的文本，而阅读者模块则基于这些文本进行问题回答。

关键创新：最重要的创新在于利用LLM自身作为编辑者来生成操控样本，这与传统方法不同，后者通常依赖于人工设计的触发器。

关键设计：在技术细节上，我们使用了GPT-4作为编辑者，并设计了特定的损失函数来优化编辑效果，确保生成的文本能够有效欺骗LLM。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，GPT-4在面对自身编辑的文本时，F1分数下降了15%，这表明即使是先进的模型也容易受到快捷触发器的影响。该研究揭示了LLM在处理虚假相关性时的脆弱性，为未来的研究提供了重要的参考。

🎯 应用场景

该研究的潜在应用领域包括机器阅读理解系统的安全性评估和改进，尤其是在需要高可靠性的场景中，如医疗、法律和金融等领域。通过识别和修复LLM的脆弱性，可以提高其在实际应用中的表现和信任度。

📄 摘要（原文）

Recent applications of LLMs in Machine Reading Comprehension (MRC) systems have shown impressive results, but the use of shortcuts, mechanisms triggered by features spuriously correlated to the true label, has emerged as a potential threat to their reliability. We analyze the problem from two angles: LLMs as editors, guided to edit text to mislead LLMs; and LLMs as readers, who answer questions based on the edited text. We introduce a framework that guides an editor to add potential shortcuts-triggers to samples. Using GPT4 as the editor, we find it can successfully edit trigger shortcut in samples that fool LLMs. Analysing LLMs as readers, we observe that even capable LLMs can be deceived using shortcut knowledge. Strikingly, we discover that GPT4 can be deceived by its own edits (15% drop in F1). Our findings highlight inherent vulnerabilities of LLMs to shortcut manipulations. We publish ShortcutQA, a curated dataset generated by our framework for future research.