Adaptive Activation Steering: A Tuning-Free LLM Truthfulness Improvement Method for Diverse Hallucinations Categories

📄 arXiv: 2406.00034v2 📥 PDF

作者: Tianlong Wang, Xianfeng Jiao, Yinghao Zhu, Zhongzhi Chen, Yifan He, Xu Chu, Junyi Gao, Yasha Wang, Liantao Ma

分类: cs.CL, cs.AI

发布日期: 2024-05-26 (更新: 2025-02-26)

备注: ACM TheWebConf 2025 Conference (WWW 2025) Research Track

DOI: 10.1145/3696410.3714640

🔗 代码/项目: GITHUB

💡 一句话要点

提出自适应激活引导（ACT）方法，无需微调即可提升LLM的真实性，解决幻觉问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 真实性 幻觉 激活引导 无需微调

📋 核心要点

  1. 大型语言模型虽然具备对真实性的内在理解，但经常产生幻觉，无法始终如一地表达真实信息，这是一个关键挑战。
  2. 论文提出自适应激活引导（ACT）方法，将真实性视为LLM中线性编码的概念，通过调整激活向“真实”方向引导。
  3. ACT在多个LLM模型上显著提升了真实性，例如LLaMA提升142%，并在更大规模的模型上验证了其可扩展性。

📝 摘要（中文）

近期研究表明，大型语言模型（LLM）内在具备对真实性的理解，但常常无法持续地表达真实信息，并生成虚假陈述。这种“知”与“言”之间的差距对确保生成内容的真实性构成了挑战。受启发于将人类可解释的概念线性编码到大型语言模型中的实践，我们将真实性视为LLM中一种特殊的线性编码概念，并提出自适应激活引导（ACT），这是一种无需微调的方法，可以在推理过程中自适应地将LLM的激活转移到“真实”方向。ACT通过利用不同的与真实性相关的引导向量并自适应地调整引导强度来解决各种类型的幻觉问题。作为一种附加组件，ACT显著提高了LLaMA（↑142%）、LLaMA2（↑24%）、Alpaca（↑36%）、Vicuna（↑28%）、LLaMA2-Chat（↑19%）和LLaMA3（↑34%）的真实性。此外，我们验证了ACT在更大模型（13B、33B、65B）上的可扩展性，强调了ACT对大规模语言模型的适应性。我们的代码可在https://github.com/tianlwang/ACT获取。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中普遍存在的幻觉问题，即模型生成不真实或与事实相悖的内容。现有方法，如微调或提示工程，通常需要大量的计算资源或人工干预，且泛化能力有限。这些方法难以有效地弥合LLM“知”与“言”之间的差距。

核心思路：论文的核心思路是将“真实性”视为LLM内部的一种线性编码概念。通过识别和调整LLM在推理过程中的激活状态，使其向“真实”的方向偏移，从而引导模型生成更真实的内容。这种方法无需对模型进行微调，具有更高的效率和灵活性。

技术框架：ACT方法主要包含以下几个阶段：1) 确定真实性相关的引导向量：通过实验或分析，找到能够代表“真实”概念的激活向量。2) 自适应调整引导强度：根据输入文本和模型的当前状态，动态调整引导向量的强度，避免过度干预或引导不足。3) 激活引导：在LLM的推理过程中，将调整后的引导向量添加到模型的激活状态中，从而影响模型的输出。

关键创新：ACT的关键创新在于其无需微调的自适应引导机制。与传统的微调方法相比，ACT更加高效和灵活，可以快速应用于不同的LLM模型。此外，ACT通过自适应调整引导强度，能够更好地平衡模型的生成质量和真实性。

关键设计：ACT的关键设计包括：1) 引导向量的选择：论文可能采用不同的方法来确定引导向量，例如使用已知的真实语句的激活向量作为正向引导，使用虚假语句的激活向量作为负向引导。2) 引导强度的调整：论文可能使用不同的策略来动态调整引导强度，例如基于模型置信度或输入文本的语义信息。3) 激活引导的位置：论文可能选择在LLM的不同层或模块进行激活引导，以获得最佳效果。具体参数设置和损失函数细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ACT在多个LLM模型上取得了显著的真实性提升，无需微调即可实现。具体而言，在LLaMA模型上提升了142%，LLaMA2提升了24%，Alpaca提升了36%，Vicuna提升了28%，LLaMA2-Chat提升了19%，LLaMA3提升了34%。此外，该方法在更大规模的模型（13B、33B、65B）上验证了其可扩展性。

🎯 应用场景

ACT方法可广泛应用于需要高真实性保证的自然语言生成任务中，例如：问答系统、新闻生成、医疗诊断报告生成等。该方法能够有效减少LLM的幻觉问题，提高生成内容的可靠性和实用性，从而增强用户信任度，并降低因虚假信息带来的潜在风险。

📄 摘要（原文）

Recent studies have indicated that Large Language Models (LLMs) harbor an inherent understanding of truthfulness, yet often fail to consistently express it and generate false statements. This gap between "knowing" and "telling" poses a challenge for ensuring the truthfulness of generated content. Inspired by recent work on the practice of encoding human-interpretable concepts linearly within large language models, we treat truthfulness as a specially linearly encoded concept within LLMs, and introduce Adaptive Activation Steering (ACT), a tuning-free method that adaptively shifts LLM's activations in the "truthful" direction during inference. ACT addresses diverse categories of hallucinations by utilizing diverse truthfulness-related steering vectors and adjusting the steering intensity adaptively. Applied as an add-on across various models, ACT significantly improves truthfulness in LLaMA ($\uparrow$ 142%), LLaMA2 ($\uparrow$ 24%), Alpaca ($\uparrow$ 36%), Vicuna ($\uparrow$ 28%), LLaMA2-Chat ($\uparrow$ 19%), and LLaMA3($\uparrow$ 34%). Furthermore, we verify ACT's scalability across larger models (13B, 33B, 65B), underscoring the adaptability of ACT to large-scale language models. Our code is available at https://github.com/tianlwang/ACT.