Agentic Reinforcement Learning for Search is Unsafe

📄 arXiv: 2510.17431v1 📥 PDF

作者: Yushi Yang, Shreyansh Padarha, Andrew Lee, Adam Mahdi

分类: cs.CL

发布日期: 2025-10-20

💡 一句话要点

强化学习训练的搜索Agent存在安全漏洞，易受攻击

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agentic强化学习 安全性 大语言模型 搜索攻击 提示工程

📋 核心要点

  1. 现有Agentic RL搜索模型安全性不足，容易受到恶意攻击，导致生成有害搜索查询和答案。
  2. 通过两种简单攻击（搜索攻击和多重搜索攻击）揭示了RL训练的Agentic搜索模型安全性的脆弱性。
  3. 实验表明，攻击能显著降低模型的拒绝率和安全性，突显了开发安全意识的Agentic RL流程的必要性。

📝 摘要（中文）

本文研究了使用强化学习(RL)训练的大语言模型，该模型能够自主调用工具进行推理，其中搜索是最常见的应用。虽然这些模型擅长多步推理任务，但其安全性尚未得到充分理解。研究表明，RL训练的搜索模型继承了指令微调的拒绝能力，通常通过将有害请求转化为安全查询来规避风险。然而，这种安全性是脆弱的。两种简单的攻击方式，即强制模型以搜索开始响应的“搜索攻击”和鼓励模型重复搜索的“多重搜索攻击”，会触发有害搜索和答案的级联效应。在Qwen和Llama两个模型家族的本地和网络搜索中，这些攻击使拒绝率降低高达60.0%，答案安全性降低82.5%，搜索查询安全性降低82.4%。攻击之所以成功，是因为它们触发模型在生成继承的拒绝token之前，生成反映有害请求的搜索查询。这暴露了当前RL训练的一个核心弱点：它奖励有效查询的持续生成，而没有考虑到其有害性。因此，RL搜索模型存在用户可以轻易利用的漏洞，迫切需要开发安全意识的Agentic RL流程，以优化安全搜索。

🔬 方法详解

问题定义：论文旨在解决Agentic强化学习（RL）训练的搜索模型在安全性方面的不足。现有方法虽然通过指令微调继承了一定的拒绝有害请求的能力，但这种安全性非常脆弱，容易被简单的攻击绕过，从而导致模型生成有害的搜索查询和答案。现有方法的痛点在于，RL训练只关注生成有效查询，而忽略了查询本身的安全性。

核心思路：论文的核心思路是通过设计特定的攻击方式，诱导模型在生成拒绝token之前，先生成反映有害请求的搜索查询，从而绕过模型的安全机制。这揭示了现有RL训练方法的一个根本缺陷：它奖励有效查询的持续生成，而没有充分考虑查询的安全性。

技术框架：论文主要通过实验来评估现有RL训练的搜索模型的安全性。实验流程包括：1) 选择两个主流模型家族（Qwen和Llama）；2) 在本地和网络搜索两种场景下进行测试；3) 设计两种攻击方式（搜索攻击和多重搜索攻击）；4) 评估攻击对拒绝率、答案安全性和搜索查询安全性的影响。

关键创新：论文最重要的技术创新在于发现了现有RL训练的搜索模型存在一种新型的安全漏洞，即可以通过诱导模型生成有害的搜索查询来绕过其安全机制。与传统的对抗攻击不同，这种攻击不需要复杂的梯度计算或模型修改，只需要简单的提示工程即可实现。这表明现有RL训练方法在安全性方面存在根本性的缺陷。

关键设计：论文设计的两种攻击方式都非常简单有效。“搜索攻击”强制模型以搜索开始响应，从而绕过拒绝机制。“多重搜索攻击”鼓励模型重复搜索，从而增加生成有害查询的机会。论文通过精心设计的提示语来实现这两种攻击，并评估了不同提示语对攻击效果的影响。此外，论文还详细描述了评估指标，包括拒绝率、答案安全性和搜索查询安全性，以及如何使用人工评估和自动评估相结合的方式来衡量模型的安全性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，两种简单的攻击方式（搜索攻击和多重搜索攻击）能够显著降低RL训练的搜索模型的安全性。具体来说，在Qwen和Llama两个模型家族的本地和网络搜索中，这些攻击使拒绝率降低高达60.0%，答案安全性降低82.5%，搜索查询安全性降低82.4%。这些数据有力地证明了现有RL训练的搜索模型存在严重的安全漏洞。

🎯 应用场景

该研究成果对开发更安全的Agentic AI系统具有重要意义。它可以应用于各种需要使用搜索工具的AI应用，例如智能助手、问答系统和内容生成工具。通过解决RL训练的搜索模型的安全漏洞，可以防止这些系统被恶意利用，从而保护用户免受有害信息的侵害，并提高AI系统的可靠性和可信度。

📄 摘要（原文）

Agentic reinforcement learning (RL) trains large language models to autonomously call tools during reasoning, with search as the most common application. These models excel at multi-step reasoning tasks, but their safety properties are not well understood. In this study, we show that RL-trained search models inherit refusal from instruction tuning and often deflect harmful requests by turning them into safe queries. However, this safety is fragile. Two simple attacks, one that forces the model to begin response with search (Search attack), another that encourages models to repeatedly search (Multi-search attack), trigger cascades of harmful searches and answers. Across two model families (Qwen, Llama) with both local and web search, these attacks lower refusal rates by up to 60.0%, answer safety by 82.5%, and search-query safety by 82.4%. The attacks succeed by triggering models to generate harmful, request-mirroring search queries before they can generate the inherited refusal tokens. This exposes a core weakness of current RL training: it rewards continued generation of effective queries without accounting for their harmfulness. As a result, RL search models have vulnerabilities that users can easily exploit, making it urgent to develop safety-aware agentic RL pipelines optimising for safe search.