Stress Testing Concept Erasure with Large Language Model Agents

📄 arXiv: 2607.17890v1 📥 PDF

作者: Yuyang Xue, Feng Chen, Zhihua Liu, Edward Moroshko, Jingyu Sun, Steven McDonagh, Sotirios A. Tsaftaris

分类: cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出STACE框架以解决概念消除评估的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 概念消除 压力测试 大型语言模型 自适应评估 人工智能安全 模型验证 动态假设搜索

📋 核心要点

  1. 现有的概念消除评估方法通常是静态的，无法有效揭示模型在多样化自然语言探测下的脆弱性。
  2. 论文提出的STACE框架通过多个LLM代理进行自适应假设搜索，系统性地扩展失败模式的覆盖范围。
  3. 实验结果显示，STACE在四个概念类别上超越了五个基线方法，且在不同设置下表现稳健。

📝 摘要（中文）

概念消除旨在从训练好的生成模型中移除语义概念，对于负责任的人工智能部署越来越重要。然而，验证模型是否有效移除目标概念仍然是一个关键挑战。现有评估方法通常是预定义和静态的，无法在多样的自然语言探测和挑战条件下揭示脆弱性。我们提出了概念消除评估的自适应假设搜索框架STACE，利用多个大型语言模型（LLM）代理，迭代生成和验证基于外部知识的压力测试假设。实验表明，STACE在四个概念类别上优于五个LLM评估基线，并且在不同设置下表现稳健。STACE还可以扩展到其他问题领域，如LLM越狱。

🔬 方法详解

问题定义：本论文旨在解决概念消除后模型评估的有效性问题。现有方法往往静态且预定义，无法适应多样化的自然语言探测，导致评估结果的偏差和局限性。

核心思路：我们提出STACE框架，将概念消除评估视为自适应假设搜索，利用多个LLM代理迭代生成和验证测试，从而系统性地扩展对失败模式的覆盖。

技术框架：STACE框架包括多个模块：首先，LLM代理生成压力测试假设；其次，代理对假设进行批判和验证；最后，基于外部知识调整测试策略，以提高评估的全面性和有效性。

关键创新：STACE的主要创新在于将概念消除评估转化为动态的假设搜索过程，而不是依赖静态的预定义测试。这种方法能够更全面地揭示模型的脆弱性。

关键设计：在设计中，STACE使用了多种评估指标来衡量LLM代理的性能和效率，确保评估过程的全面性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STACE在四个概念类别上超越了五个基线方法，显示出显著的性能提升，尤其在不同的概念消除方法和强度下，STACE表现出良好的稳健性。

🎯 应用场景

该研究的潜在应用领域包括人工智能模型的安全性评估、责任AI的部署以及其他需要动态评估的领域，如自然语言处理中的模型安全性。STACE框架的灵活性使其能够适应不同的评估需求，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Concept erasure aims to remove semantic concepts from a trained generative model and is increasingly important for responsible AI deployment. However, verifying whether a model has robustly removed targeted concepts remains a critical challenge. Existing evaluation methods are typically pre-defined and static, failing to expose vulnerabilities under diverse natural-language probes and challenging conditions. Moreover, manually designed evaluation strategies can be biased and difficult to scale. We posit that concept erasure evaluation is best formulated as an adaptive hypothesis search, operationalised by agents that iteratively propose, critique, and verify tests to systematically expand coverage of failure modes. To this end, we propose Stress Testing Agents for Concept Erasure (STACE), a framework that autonomously stress-tests concept-erased models using multiple Large Language Model (LLM) agents, by iteratively generating and verifying stress-testing hypotheses grounded by external knowledge. We also introduce a suite of metrics for assessing the performance and efficiency of LLM-agent-powered stress-testing frameworks. Our extensive experiments show that STACE outperforms five LLM-based evaluation baselines on four concept categories. Further analysis across two T2I models, six concept erasure approaches, and various erasure strengths show that STACE is robust for different settings. We also show that STACE can be adapted beyond concept erasure evaluation to other problem domains, such as LLM jailbreaking. Our code is available anonymously.