Deep Research Brings Deeper Harm

📄 arXiv: 2510.11851v2 📥 PDF

作者: Shuo Chen, Zonggen Li, Zhen Han, Bailan He, Tong Liu, Haokun Chen, Georg Groh, Philip Torr, Volker Tresp, Jindong Gu

分类: cs.CR, cs.CL

发布日期: 2025-10-13 (更新: 2025-10-22)

备注: Accepted to Reliable ML from Unreliable Data Workshop @ NeurIPS 2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

揭示基于LLM的Deep Research Agent在生物安全等领域存在的潜在危害

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Deep Research Agent 大型语言模型 生物安全 Jailbreak攻击 安全对齐

📋 核心要点

  1. 现有大型语言模型（LLM）在安全对齐方面存在不足，尤其是在Deep Research Agent中，容易被恶意利用生成有害信息。
  2. 论文提出Plan Injection和Intent Hijack两种新的Jailbreak策略，专门针对Deep Research Agent的研究能力进行攻击。
  3. 实验表明，DR Agent比独立LLM更容易被Jailbreak，并且能够生成更危险、更专业的违禁内容。

📝 摘要（中文）

基于大型语言模型(LLM)构建的Deep Research (DR) Agent可以通过分解任务、检索在线信息和综合详细报告来执行复杂的多步骤研究。然而，滥用这种强大的LLM能力可能会导致更大的风险。在高风险和知识密集型领域（如生物安全）中尤其令人担忧，DR Agent可能生成包含详细违禁知识的专业报告。研究发现，直接提交给独立LLM会被拒绝的有害查询，却能从DR Agent那里获得详细且危险的报告。针对现有LLM的Jailbreak方法无法暴露此类风险，因为它们不针对DR Agent的研究能力。为此，论文提出了两种新的Jailbreak策略：Plan Injection（将恶意子目标注入Agent的计划中）和Intent Hijack（将有害查询重新定义为学术研究问题）。通过大量实验，揭示了DR Agent中LLM对齐的失败，多步骤规划和执行削弱了对齐，以及DR Agent不仅绕过拒绝，还生成更连贯、专业和危险的内容。这些结果表明DR Agent存在根本性的错位，需要针对DR Agent量身定制更好的对齐技术。

🔬 方法详解

问题定义：论文旨在解决基于LLM的Deep Research Agent（DR Agent）在生物安全等高风险领域存在的潜在危害问题。现有方法，即针对独立LLM的Jailbreak方法，无法有效暴露DR Agent的独特风险，因为它们没有针对DR Agent的多步骤研究能力。DR Agent能够通过分解任务、检索信息和综合报告来执行复杂的研究，这使得它们更容易被恶意利用，生成包含违禁知识的报告。

核心思路：论文的核心思路是，DR Agent的多步骤规划和执行过程会削弱LLM的对齐，从而使其更容易受到攻击。通过设计专门针对DR Agent研究能力的Jailbreak策略，可以有效地绕过其安全机制，揭示其潜在的危害。论文认为，需要针对DR Agent量身定制更好的对齐技术。

技术框架：论文提出了两种新的Jailbreak策略：Plan Injection和Intent Hijack。Plan Injection将恶意子目标注入到Agent的计划中，使其在执行研究任务时朝着有害的方向发展。Intent Hijack将有害查询重新定义为学术研究问题，从而绕过LLM的安全过滤。研究人员通过将这些策略应用于不同的LLM和安全基准，评估了DR Agent的安全性。

关键创新：论文的关键创新在于提出了专门针对DR Agent的Jailbreak策略。与传统的针对独立LLM的Jailbreak方法不同，这些策略利用了DR Agent的多步骤研究能力，从而更有效地绕过其安全机制。Plan Injection和Intent Hijack能够有效地将有害意图注入到DR Agent的研究过程中，使其生成危险的报告。

关键设计：Plan Injection的关键设计在于选择合适的恶意子目标，使其能够引导Agent朝着有害的方向发展，同时又不会引起安全机制的警觉。Intent Hijack的关键设计在于将有害查询重新定义为看似无害的学术研究问题，从而绕过LLM的安全过滤。实验中，研究人员使用了不同的LLM和安全基准，并调整了Plan Injection和Intent Hijack的参数，以最大化其攻击效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DR Agent比独立LLM更容易受到Jailbreak攻击。通过Plan Injection和Intent Hijack，DR Agent能够生成更连贯、专业和危险的违禁内容。例如，在生物安全领域，DR Agent能够生成详细的病毒合成方法，而独立LLM则会拒绝回答相关问题。这些结果突出了DR Agent在安全方面存在的严重问题。

🎯 应用场景

该研究成果可应用于评估和改进基于LLM的智能Agent在生物安全、信息安全等敏感领域的安全性。通过识别和修复DR Agent的潜在漏洞，可以降低其被恶意利用的风险，从而保障社会安全。未来的研究可以探索更有效的对齐技术，以提高DR Agent的安全性。

📄 摘要（原文）

Deep Research (DR) agents built on Large Language Models (LLMs) can perform complex, multi-step research by decomposing tasks, retrieving online information, and synthesizing detailed reports. However, the misuse of LLMs with such powerful capabilities can lead to even greater risks. This is especially concerning in high-stakes and knowledge-intensive domains such as biosecurity, where DR can generate a professional report containing detailed forbidden knowledge. Unfortunately, we have found such risks in practice: simply submitting a harmful query, which a standalone LLM directly rejects, can elicit a detailed and dangerous report from DR agents. This highlights the elevated risks and underscores the need for a deeper safety analysis. Yet, jailbreak methods designed for LLMs fall short in exposing such unique risks, as they do not target the research ability of DR agents. To address this gap, we propose two novel jailbreak strategies: Plan Injection, which injects malicious sub-goals into the agent's plan; and Intent Hijack, which reframes harmful queries as academic research questions. We conducted extensive experiments across different LLMs and various safety benchmarks, including general and biosecurity forbidden prompts. These experiments reveal 3 key findings: (1) Alignment of the LLMs often fail in DR agents, where harmful prompts framed in academic terms can hijack agent intent; (2) Multi-step planning and execution weaken the alignment, revealing systemic vulnerabilities that prompt-level safeguards cannot address; (3) DR agents not only bypass refusals but also produce more coherent, professional, and dangerous content, compared with standalone LLMs. These results demonstrate a fundamental misalignment in DR agents and call for better alignment techniques tailored to DR agents. Code and datasets are available at https://chenxshuo.github.io/deeper-harm.