Investigating and Alleviating Harm Amplification in LLM Interactions

📄 arXiv: 2606.02423v1 📥 PDF

作者: Ruohao Guo, Wei Xu, Alan Ritter

分类: cs.CL, cs.LG

发布日期: 2026-06-01

💡 一句话要点

提出HarmAmp基准与TrajSafe主动防御框架，缓解LLM交互中的恶意放大问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全风险 危害放大 多轮对话 主动防御

📋 核心要点

  1. 现有工作忽略了LLM在多轮对话中放大危害的问题，缺乏针对性的评估和防御。
  2. 提出TrajSafe框架，通过主动监控和干预，预测并阻止LLM交互中的有害轨迹。
  3. 实验表明TrajSafe能有效降低多轮交互中的危害，同时保持模型的可用性。

📝 摘要（中文）

大型语言模型（LLMs）既可以作为有用的助手，也可能成为恶意用户的帮凶，通过扩展的交互实现超出其自身能力的有害结果。这种风险体现在两个方面：一是领域专业知识的民主化，使新手能够生成专业的有害内容；二是大规模的有害操作，其数量是人工无法比拟的。然而，现有工作往往忽略了LLMs在多轮对话中如何加剧危害。我们引入了HarmAmp，这是一个新的多轮危害放大场景基准，涵盖十二个风险类别。每个场景都基于真实世界的威胁，并满足严格的标准，即实质性放大、操作具体性和多轮必要性。我们进一步提出了TrajSafe，一种主动监控器，可以预测有害轨迹，并通过探测用户真实意图和引导模型走向更安全的完成等行动进行干预。我们的大量实验表明，TrajSafe显著降低了多轮交互中产生的危害，同时保持了较低的过度拒绝率和目标模型的一般能力。我们的工作为缓解LLM交互中细微的安全风险提供了一个有希望的范例。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在多轮交互中被恶意利用，放大危害的问题。现有方法往往关注单轮对话的安全，忽略了LLM在多轮交互中，通过逐步引导，使恶意用户能够实现超出其自身能力的有害目标。这种危害放大的痛点在于，LLM降低了恶意行为的门槛，并能以人工无法比拟的规模进行。

核心思路：论文的核心思路是主动监控LLM的交互轨迹，预测潜在的有害发展方向，并在危害发生前进行干预。通过这种方式，可以有效阻止恶意用户利用LLM放大危害，同时避免过度限制LLM的正常功能。

技术框架：TrajSafe框架包含以下主要模块：1) 交互历史记录模块，用于跟踪多轮对话的历史；2) 危害预测模块，用于评估当前对话状态的潜在危害；3) 干预策略模块，根据危害预测结果，选择合适的干预措施，例如探测用户意图、引导模型输出或直接拒绝请求；4) 模型输出模块，负责生成最终的回复。

关键创新：TrajSafe的关键创新在于其主动性和预测性。与被动检测有害输出的方法不同，TrajSafe能够提前识别潜在的有害轨迹，并在危害发生前进行干预。此外，TrajSafe的干预策略是可变的，可以根据不同的情况选择最合适的干预方式，从而在安全性和可用性之间取得平衡。

关键设计：危害预测模块可以使用各种机器学习模型，例如分类器或回归器，来评估对话状态的危害程度。干预策略可以基于规则或学习算法，例如强化学习，来选择最佳的干预措施。论文中可能使用了特定的参数设置和损失函数来训练危害预测模型和干预策略模型，但具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了HarmAmp基准，包含12个风险类别的多轮危害放大场景，为评估LLM的安全性提供了新的工具。实验结果表明，TrajSafe能够显著降低多轮交互中的危害，同时保持较低的过度拒绝率。具体的性能数据和对比基线未知，但整体效果表明TrajSafe是一种有效的LLM安全防御方法。

🎯 应用场景

该研究成果可应用于各种基于LLM的对话系统，例如智能客服、虚拟助手和内容生成平台。通过部署TrajSafe等主动防御机制，可以有效降低LLM被恶意利用的风险，保护用户免受有害内容的侵害，并提升LLM应用的安全性与可靠性。未来，该技术还可扩展到其他类型的AI系统，例如机器人和自动驾驶汽车，以确保其安全运行。

📄 摘要（原文）

Large language models (LLMs) can serve as helpful assistants, yet they can equally function as harm amplifiers that enable malicious users to achieve harmful outcomes beyond their capabilities through extended interactions. This risk manifests along two axes, i.e., democratizing domain expertise that allows novices to produce specialized harmful content, and scaling harmful operations at volumes that manual effort cannot match. Existing works, however, often overlook how LLMs compound harm across multi-turn conversations. We introduce HarmAmp, a new benchmark for multi-turn harm amplification scenarios spanning twelve risk categories. Each scenario is grounded in real-world threats and satisfies rigorous criteria, i.e., substantive amplification, operational specificity, and multi-turn necessity. We further propose TrajSafe, a proactive monitor that anticipates harmful trajectories and intervenes through actions such as probing users' genuine intents and steering the models towards safer completion. Our extensive experiments demonstrate that TrajSafe significantly reduces the harmfulness incurred in multi-turn interactions while preserving a low over-refusal rate and the target model's general capabilities. Our work offers a promising paradigm to alleviate the nuanced safety risks in LLM interactions.