Reward Stealing Attack on Large Language Models

📄 arXiv: 2610.06670v1 📥 PDF

作者: Jiaming Qian, Pengyang Zhou, Jiahe Xu, Chaochao Chen

分类: cs.CL

发布日期: 2026-10-05

备注: 19 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出奖励窃取攻击以解决大语言模型的安全性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 大语言模型 逆强化学习 安全性评估 模型对齐

📋 核心要点

  1. 现有对抗攻击方法在计算成本和模型配对依赖性方面存在不足，限制了其在大语言模型中的应用。
  2. 本文提出的奖励窃取攻击（ReSA）通过最大熵逆强化学习从对齐模型行为中恢复奖励模型，进而生成对抗策略。
  3. 实验结果表明，ReSA在不同提示和模型上具有良好的泛化能力，显著提高了攻击的有效性和迁移性。

📝 摘要（中文）

对大语言模型（LLMs）的对抗性攻击旨在诱导有害内容。然而，现有方法面临高计算成本或严格的模型配对依赖性，限制了其可扩展性和迁移性。本文提出奖励窃取攻击（ReSA），这是一个针对LLM对齐潜在安全奖励的对抗攻击框架。ReSA采用最大熵逆强化学习，从对齐模型的行为中恢复代理奖励模型。提取的奖励在推理时被反转，以推导出对抗策略，通过奖励引导解码机制高效实现。实验表明，单一恢复的奖励在不同提示和模型间具有良好的泛化能力，揭示了基本的对齐脆弱性，使ReSA在有效性和迁移性上显著优于现有攻击方法。

🔬 方法详解

问题定义：本文旨在解决现有对抗攻击方法在大语言模型中的高计算成本和严格模型配对依赖性问题。这些问题限制了攻击的可扩展性和有效性。

核心思路：ReSA的核心思路是通过最大熵逆强化学习从对齐模型的行为中恢复奖励模型，进而在推理阶段反转该奖励以生成对抗策略。这种设计旨在提高攻击的效率和泛化能力。

技术框架：ReSA的整体架构包括两个主要模块：首先是通过最大熵逆强化学习提取奖励模型，其次是在推理阶段利用奖励引导解码机制生成对抗策略。

关键创新：ReSA的主要创新在于通过逆强化学习提取的奖励模型能够在不同的提示和模型间有效迁移，揭示了大语言模型对齐的基本脆弱性。这与现有方法依赖于特定模型的设计有本质区别。

关键设计：在技术细节上，ReSA采用最大熵原则来确保奖励模型的泛化能力，并通过奖励引导解码机制优化对抗策略的生成过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ReSA在多种提示和模型上均表现出优越的攻击效果，相较于现有方法，其有效性提高了显著的百分比，且迁移性得到了显著增强，证明了其在对抗攻击领域的潜力。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的安全性评估、对抗性训练以及模型对齐策略的优化。通过揭示模型的脆弱性，ReSA可以帮助开发更安全的AI系统，减少对抗攻击带来的风险。

📄 摘要（原文）

Adversarial attacks on Large Language Models (LLMs) aim to induce harmful content. However, existing methods suffer from high computational costs or strict model-pairing dependencies, limiting their scalability and transferability. We propose Reward Stealing Attack (ReSA), an adversarial attack framework that targets the latent safety reward underlying LLM alignment. ReSA employs maximum entropy inverse reinforcement learning to recover a proxy reward model solely from the aligned model's behavior. The extracted reward is then reversed at inference time to derive an adversarial policy, efficiently implemented via a reward-guided decoding mechanism. Experiments demonstrate that a single recovered reward generalizes across prompts and diverse models to reveal a fundamental alignment vulnerability, enabling ReSA to significantly outperform existing attacks in effectiveness and transferability. The code is available at https://github.com/GarminQ/ReSA.