CAT-alyzing Honesty: Continuous Adversarial Training for Transferable LLM Honesty

📄 arXiv: 2610.22292v1 📥 PDF

作者: Yuan-Chen Chang, Niklas Herbster, Gauthier Gidel, Tommaso Tosato

分类: cs.LG, cs.CL, cs.CY

发布日期: 2026-10-15

备注: 9 pages, 6 figures

💡 一句话要点

提出CATCH以解决大型语言模型的诚实性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 诚实性 对抗训练 自报告场景 模型评估 效用保持 多任务学习

📋 核心要点

  1. 现有的大型语言模型在诚实性方面存在显著不足，仍然会输出不准确或不支持的声明。
  2. 论文提出的CATCH方法通过持续对抗训练，旨在引导模型产生诚实回答，同时保持其原有能力。
  3. 实验结果显示，CATCH在多个基准测试中表现优异，显著降低了不诚实行为，并提高了模型的自白率。

📝 摘要（中文）

大型语言模型（LLMs）在诚实性至关重要的场景中变得越来越普遍。然而，尽管经过对齐训练，这些模型仍然表现出不诚实的行为，例如输出与知识相矛盾或不支持上下文的声明。我们提出了持续对抗训练以实现一致诚实性（CATCH），该方法源于一种旨在稳健拒绝有害查询的技术。CATCH训练模型朝向诚实回答，远离不诚实回答，同时保持模型的能力。我们评估了两种架构（Llama-3.3-70B-Instruct和Qwen3-3.6-27B），结果表明，CATCH在仅用数百个自报告场景构建的目标进行训练时，能够学习到稳健的诚实行为，并在不同基准上有效迁移。CATCH在MASK上持续减少不诚实行为，在多人游戏Among Us中增加了自白率，并提高了AuditBench中模型隐藏行为的发现率。CATCH在提升诚实性方面优于提示和监督微调，并与最先进的诚实性激活引导相当，但在保持效用方面超越了诚实性引导，得益于其新颖的效用数据选择。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在输出中表现出不诚实行为的问题。现有的对齐训练方法未能有效消除模型输出的矛盾声明和不支持的内容，导致模型在关键场景中的可信度下降。

核心思路：CATCH方法通过持续对抗训练，专注于引导模型朝向诚实回答，避免不诚实输出，同时保持模型的能力。该方法借鉴了用于拒绝有害查询的技术，强调在训练过程中对诚实性和效用的平衡。

技术框架：CATCH的整体架构包括数据生成、对抗训练和评估三个主要模块。首先，通过自报告场景生成训练目标；然后，利用对抗训练策略优化模型输出；最后，在多个基准上评估模型的诚实性和效用。

关键创新：CATCH的主要创新在于其持续对抗训练策略，能够有效引导模型学习诚实行为，并在不同任务中实现良好的迁移能力。这一方法与传统的提示和监督微调方法相比，能够在保持模型效用的同时显著提高诚实性。

关键设计：在CATCH中，关键参数设置包括对抗训练的损失函数设计，确保模型在训练过程中能够有效区分诚实与不诚实的输出。此外，模型结构的选择（如Llama和Qwen架构）也经过精心设计，以支持对抗训练的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，CATCH在MASK基准上显著减少了不诚实行为，并在多人游戏Among Us中提高了自白率。此外，CATCH在AuditBench中提升了模型隐藏行为的发现率，整体性能超越了传统的提示和监督微调方法，且在保持模型效用方面表现优异。

🎯 应用场景

该研究的潜在应用领域包括智能助手、在线客服和教育工具等，尤其是在需要高可信度和诚实性的场景中。通过提升大型语言模型的诚实性，CATCH有助于增强用户信任，减少误导信息的传播，未来可能对人机交互的质量产生深远影响。

📄 摘要（原文）

Large language models (LLMs) are becoming prevalent in scenarios where honesty is critical. However, despite alignment training, these models still exhibit dishonest behaviour, such as outputting claims that contradict some knowledge or are not supported by what is accessible in context. We introduce Continuous Adversarial Training for Consistent Honesty (CATCH), inspired by a method originally developed to robustly refuse harmful queries. CATCH trains the model towards an honest answer and away from a dishonest one while maintaining the model's capabilities. We evaluate two architectures (Llama-3.3-70B-Instruct and Qwen3-3.6-27B). We show that trained with only hundreds of targets built from self-reporting scenarios, CATCH learns an honest behaviour that robustly generalizes and transfers across distinct benchmarks. It consistently reduces dishonesty under pressure on MASK, increases confessions in the multi-agent game of Among Us, and improves the discovery rates of the model's hidden behaviours in AuditBench. We show that CATCH outperforms prompting and supervised fine-tuning in improving honesty, and it is on par with state-of-the-art honesty activation steering. However, CATCH surpasses honesty steering in maintaining utility, thanks to a novel choice of utility data.