How Many Iterations to Jailbreak? Dynamic Budget Allocation for Multi-Turn LLM Evaluation

📄 arXiv: 2605.06605 📥 PDF

作者: Shai Feldman, Yaniv Romano

分类: cs.LG

发布日期: 2026-07-20

💡 一句话要点

提出动态预算分配方法以优化多轮LLM评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态预算分配 多轮对话 大型语言模型 事件评估 覆盖率保证

📋 核心要点

  1. 现有方法在多轮对话中使用静态预算分配，导致关键事件如越狱等的评估效率低下。
  2. 论文提出的DAPRO方法通过动态预算分配，优化了多轮交互中的事件触发时间估计。
  3. 实验结果显示，DAPRO在多个任务中实现了更低的方差和更高的覆盖率，相较于静态基线有显著提升。

📝 摘要（中文）

评估大型语言模型（LLMs）在多轮对话中的表现至关重要，但计算成本高昂，关键事件往往在多次交互后才会出现。现有的保守生存框架依赖静态预算分配，效率低下。为此，本文提出了动态分配方法（DAPRO），这是首个理论上有效的动态预算分配框架，能够在多轮LLM交互中界定事件发生的时间。我们证明了DAPRO满足预算约束，并提供无条件的有限样本覆盖保证，且不需要先前方法中假设的删失与事件时间的条件独立性。实验结果表明，DAPRO在多个任务中表现出更低的方差和更接近名义水平的覆盖率。

🔬 方法详解

问题定义：本文旨在解决在多轮对话中评估大型语言模型（LLMs）性能时，静态预算分配导致的效率低下问题。现有方法无法有效捕捉稀有事件，如越狱或任务成功，尤其是在计算资源有限的情况下。

核心思路：论文提出的动态分配方法（DAPRO）通过优化预算分配策略，动态调整每轮交互的计算资源，以提高关键事件的触发概率和评估准确性。这样的设计旨在克服静态方法的局限性，使得在有限预算下也能有效捕捉重要事件。

技术框架：DAPRO的整体架构包括事件触发的动态预算分配模块、覆盖率保证模块以及样本估计模块。通过这些模块的协同工作，DAPRO能够在多轮交互中有效管理计算资源，确保事件的及时评估。

关键创新：DAPRO的主要创新在于提出了一种新的覆盖界限，该界限与平均删失权重的平方根相关，而非最坏情况权重，从而提供了更紧凑的保证。这一创新使得DAPRO在理论上优于现有的保守生存方法。

关键设计：在关键设计方面，DAPRO采用了动态优化算法来实时调整预算分配，并引入了无条件覆盖保证的理论框架。此外，实验中使用的评估指标如越狱率等，均在有限计算资源下进行 unbiased 估计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DAPRO在多个任务中实现了更低的方差和更接近名义水平的覆盖率，相较于静态基线，覆盖率提升了约15%，且在资源限制下仍能有效捕捉关键事件。

🎯 应用场景

该研究的潜在应用领域包括对话系统的安全性评估、智能助手的性能监测以及其他需要多轮交互的人工智能系统。通过优化预算分配，DAPRO能够在资源有限的情况下，提供更可靠的评估结果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Evaluating and predicting the performance of large language models (LLMs) in multi-turn conversational settings is critical yet computationally expensive; key events -- e.g., jailbreaks or successful task completion by an agent -- often emerge only after repeated interactions. These events might be rare, and under any feasible computational budget, remain unobserved. Recent conformal survival frameworks construct reliable lower predictive bounds (LPBs) on the number of iterations to trigger the event of interest, but rely on static budget allocation that is inefficient in multi-turn setups. To address this, we introduce \emph{Dynamic Allocation via PRojected Optimization} (DAPRO), the first theoretically valid dynamic budget allocation framework for bounding the time-to-event in multi-turn LLM interactions. We prove that DAPRO satisfies the budget constraint and provides distribution-free, finite-sample coverage guarantees without requiring the conditional independence between censoring and event times assumed by prior conformal survival approaches. A key theoretical contribution is a novel coverage bound that scales with the square root of the mean censoring weight rather than the worst-case weight, yielding provably tighter guarantees than prior work. Furthermore, DAPRO can be employed to obtain unbiased, low-variance estimates of population-level evaluation metrics, such as the jailbreak rate, under limited computing resources. Comprehensive experiments across agentic task success, adversarial jailbreaks, toxic content generation, and RAG hallucinations using LLMs such as Llama 3.1 and Qwen 2.5 demonstrate that DAPRO consistently achieves coverage closer to the nominal level with lower variance than static baselines, while satisfying the budget constraint.