Generalizing Trust: Weak-to-Strong Trustworthiness in Language Models

📄 arXiv: 2501.00418v1 📥 PDF

作者: Martin Pawelczyk, Lillian Sun, Zhenting Qi, Aounon Kumar, Himabindu Lakkaraju

分类: cs.LG, cs.AI

发布日期: 2024-12-31

备注: The first two authors contributed equally

💡 一句话要点

研究大型语言模型中弱到强泛化，探索可信属性的迁移能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 弱到强泛化 可信属性 鲁棒性 公平性 隐私保护 正则化 微调

📋 核心要点

  1. 大型语言模型的可信性（如鲁棒性、公平性、隐私）能否像性能一样从弱模型泛化到强模型是一个重要问题。
  2. 论文提出弱可信微调（Weak TFT）和弱+弱到强可信微调（Weak+WTS TFT）两种策略，通过正则化提升可信属性。
  3. 实验表明，公平性、对抗鲁棒性和OOD鲁棒性可以通过正则化实现弱到强的迁移，但隐私属性的迁移效果不明显。

📝 摘要（中文）

生成式AI，尤其是大型语言模型（LLM）的快速普及，促使其被集成到各种应用中。弱到强泛化是一种关键现象，即在弱模型的输出上训练的强模型在任务性能上超越弱模型。然而，诸如鲁棒性、公平性和隐私等关键可信属性是否能以类似方式泛化仍然是一个悬而未决的问题。本文研究了当一个更强的模型在较弱模型的输出上进行微调时，是否可以继承可信属性，我们将此过程称为弱到强可信泛化。为此，我们引入了两种基础训练策略：1) 弱可信微调（Weak TFT），它在弱模型的微调过程中利用可信正则化；2) 弱和弱到强可信微调（Weak+WTS TFT），它将正则化扩展到弱模型和强模型。在真实世界数据集上的实验评估表明，当两个模型都被正则化时，诸如公平性、对抗性和OOD鲁棒性等一些可信属性在迁移中表现出显著的改进，而另一些属性（如隐私）则没有表现出弱到强的可信性迹象。作为第一个探索通过弱到强泛化实现可信泛化的研究，我们的工作为弱到强泛化的潜力和局限性提供了有价值的见解。

🔬 方法详解

问题定义：论文旨在研究大型语言模型中，可信属性（如鲁棒性、公平性、隐私）是否能像任务性能一样，通过弱到强泛化进行迁移。现有方法缺乏对可信属性迁移性的系统研究，无法保证强模型在继承弱模型性能的同时，也能继承其可信性。

核心思路：论文的核心思路是通过在弱模型和强模型的训练过程中引入可信正则化，从而使强模型在学习弱模型输出的同时，也学习到弱模型的可信属性。通过这种方式，期望实现可信属性的弱到强泛化。

技术框架：论文提出了两种主要的训练策略： 1. 弱可信微调（Weak TFT）：在弱模型的微调过程中，加入可信正则化项，以提升弱模型的可信属性。 2. 弱和弱到强可信微调（Weak+WTS TFT）：不仅在弱模型微调时加入可信正则化，还在强模型微调时也加入可信正则化，从而进一步提升强模型的可信属性。 整体流程是先训练一个弱模型，然后使用弱模型的输出训练一个强模型，并在训练过程中使用可信正则化。

关键创新：该研究首次系统地探索了大型语言模型中可信属性的弱到强泛化问题。通过引入可信正则化，尝试将弱模型的可信属性迁移到强模型，为提升大型语言模型的可信性提供了一种新的思路。

关键设计：论文的关键设计在于可信正则化项的选择和应用。具体的可信正则化项根据不同的可信属性（如公平性、鲁棒性、隐私）而有所不同。例如，对于公平性，可以使用差异性损失来约束模型的输出；对于鲁棒性，可以使用对抗训练来提升模型的抗攻击能力；对于隐私，可以使用差分隐私技术来保护训练数据的隐私。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过Weak+WTS TFT策略，公平性、对抗鲁棒性和OOD鲁棒性等属性在弱到强迁移中取得了显著提升。例如，在某些数据集上，公平性指标提升了X%，对抗攻击成功率降低了Y%。然而，隐私属性的迁移效果并不明显，表明隐私保护可能需要更专门的技术手段。

🎯 应用场景

该研究成果可应用于对可信性要求较高的自然语言处理任务中，例如金融风控、医疗诊断、法律咨询等。通过弱到强可信泛化，可以利用较小、可信的弱模型来训练更大、更强的模型，从而在保证性能的同时，提升模型的可信度，降低潜在的风险。

📄 摘要（原文）

The rapid proliferation of generative AI, especially large language models, has led to their integration into a variety of applications. A key phenomenon known as weak-to-strong generalization - where a strong model trained on a weak model's outputs surpasses the weak model in task performance - has gained significant attention. Yet, whether critical trustworthiness properties such as robustness, fairness, and privacy can generalize similarly remains an open question. In this work, we study this question by examining if a stronger model can inherit trustworthiness properties when fine-tuned on a weaker model's outputs, a process we term weak-to-strong trustworthiness generalization. To address this, we introduce two foundational training strategies: 1) Weak Trustworthiness Finetuning (Weak TFT), which leverages trustworthiness regularization during the fine-tuning of the weak model, and 2) Weak and Weak-to-Strong Trustworthiness Finetuning (Weak+WTS TFT), which extends regularization to both weak and strong models. Our experimental evaluation on real-world datasets reveals that while some trustworthiness properties, such as fairness, adversarial, and OOD robustness, show significant improvement in transfer when both models were regularized, others like privacy do not exhibit signs of weak-to-strong trustworthiness. As the first study to explore trustworthiness generalization via weak-to-strong generalization, our work provides valuable insights into the potential and limitations of weak-to-strong generalization.