The LLM Has Left The Chat: Evidence of Bail Preferences in Large Language Models

📄 arXiv: 2509.04781v1 📥 PDF

作者: Danielle Ensign, Henry Sleight, Kyle Fish

分类: cs.CY, cs.AI, cs.LG

发布日期: 2025-09-05

💡 一句话要点

研究大型语言模型中的退出对话偏好，揭示不同退出机制的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 退出行为 对话系统 安全可靠性 BailBench数据集

📋 核心要点

  1. 大型语言模型在对话中可能出现“退出”行为，现有研究缺乏对退出偏好的系统性分析。
  2. 通过设计退出工具、字符串和提示，研究模型在不同情境下的退出意愿和行为模式。
  3. 实验表明，退出率受模型、退出方法和提示措辞影响，并构建BailBench数据集用于评估。

📝 摘要（中文）

本文研究了大型语言模型（LLM）在给定选择时是否会选择退出对话（bail）。通过三种不同的退出方法：模型可以调用的退出工具、模型可以输出的退出字符串以及询问模型是否希望离开的退出提示，来探究这个问题。在真实世界数据（Wildchat和ShareGPT）的延续对话中，所有三种退出方法都发现模型退出率约为0.28-0.32%（取决于模型和退出方法）。然而，退出率很大程度上取决于用于转录的模型，这意味着可能高估了高达4倍的真实世界退出率。如果考虑到退出提示的误报率（22%），估计真实世界退出率范围为0.06-7%，具体取决于模型和退出方法。基于真实世界数据的延续对话观察，构建了一个非详尽的退出案例分类法，并使用该分类法构建了BailBench：一个代表性的合成数据集，包含一些模型退出的情况。在BailBench上测试了许多模型，并观察到大多数模型都出现了一些退出行为。退出率在模型、退出方法和提示措辞之间差异很大。最后，研究了拒绝和退出之间的关系，发现：1) 0-13%的真实世界对话延续导致了退出，但没有相应的拒绝；2) 越狱攻击倾向于降低拒绝率，但增加退出率；3) 拒绝消除增加了无拒绝退出率，但仅适用于某些退出方法；4) BailBench上的拒绝率似乎不能预测退出率。

🔬 方法详解

问题定义：本文旨在研究大型语言模型（LLM）在对话过程中，是否以及如何选择退出（bail out）对话。现有方法缺乏对LLM退出行为的系统性分析，难以评估和预测LLM在实际应用中的可靠性。LLM可能因为各种原因选择退出，例如检测到不安全内容、超出自身能力范围或遇到不明确的指令。理解和控制LLM的退出行为对于确保其安全可靠的应用至关重要。

核心思路：核心思路是通过设计不同的退出机制，观察LLM在各种对话情境下的退出行为，并分析影响退出率的因素。通过构建合成数据集BailBench，模拟真实世界中可能导致LLM退出的场景，从而更全面地评估不同LLM的退出偏好。这种方法允许研究人员系统地研究退出行为，并识别潜在的问题和改进方向。

技术框架：整体框架包括以下几个主要阶段：1) 数据收集：使用真实世界对话数据（Wildchat和ShareGPT）作为对话延续的基础。2) 退出机制设计：设计三种不同的退出方法：退出工具（模型可以调用API）、退出字符串（模型输出特定字符串）和退出提示（模型回答是否退出）。3) 实验评估：在真实世界数据和合成数据集BailBench上评估不同LLM的退出率。4) 关系分析：研究拒绝（refusal）和退出之间的关系，以及越狱攻击（jailbreak）和拒绝消除（refusal abliteration）对退出行为的影响。5) 分类法构建：根据观察到的退出案例，构建退出案例分类法。

关键创新：主要创新点在于：1) 系统性研究LLM退出行为：首次对LLM的退出偏好进行了系统性研究，并提出了多种评估方法。2) BailBench数据集：构建了一个代表性的合成数据集BailBench，用于评估LLM在各种退出场景下的表现。3) 多维度分析：分析了模型、退出方法和提示措辞对退出率的影响，以及拒绝和退出之间的关系。

关键设计：关键设计包括：1) 三种退出机制：退出工具、退出字符串和退出提示，允许从不同角度观察LLM的退出行为。2) BailBench数据集的构建：BailBench数据集包含多种可能导致LLM退出的场景，例如不安全内容、超出能力范围和不明确指令。3) 实验设置：通过控制变量，例如模型、退出方法和提示措辞，来分析不同因素对退出率的影响。4) 评估指标：使用退出率作为主要评估指标，并分析退出和拒绝之间的关系。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，LLM的退出率受多种因素影响，包括模型本身、退出方法和提示措辞。在真实世界数据上，退出率范围为0.06-7%。越狱攻击会降低拒绝率，但增加退出率。BailBench数据集的评估结果表明，不同模型在各种退出场景下的表现差异显著。

🎯 应用场景

该研究成果可应用于提升大型语言模型的安全性和可靠性，例如在聊天机器人、智能客服等应用中，通过控制模型的退出行为，避免其在不适当的场景下退出，从而提高用户体验。此外，该研究还可以帮助开发者更好地理解和调试LLM，使其在各种应用场景中表现更稳定。

📄 摘要（原文）

When given the option, will LLMs choose to leave the conversation (bail)? We investigate this question by giving models the option to bail out of interactions using three different bail methods: a bail tool the model can call, a bail string the model can output, and a bail prompt that asks the model if it wants to leave. On continuations of real world data (Wildchat and ShareGPT), all three of these bail methods find models will bail around 0.28-32\% of the time (depending on the model and bail method). However, we find that bail rates can depend heavily on the model used for the transcript, which means we may be overestimating real world bail rates by up to 4x. If we also take into account false positives on bail prompt (22\%), we estimate real world bail rates range from 0.06-7\%, depending on the model and bail method. We use observations from our continuations of real world data to construct a non-exhaustive taxonomy of bail cases, and use this taxonomy to construct BailBench: a representative synthetic dataset of situations where some models bail. We test many models on this dataset, and observe some bail behavior occurring for most of them. Bail rates vary substantially between models, bail methods, and prompt wordings. Finally, we study the relationship between refusals and bails. We find: 1) 0-13\% of continuations of real world conversations resulted in a bail without a corresponding refusal 2) Jailbreaks tend to decrease refusal rates, but increase bail rates 3) Refusal abliteration increases no-refuse bail rates, but only for some bail methods 4) Refusal rate on BailBench does not appear to predict bail rate.