Balancing Stylization and Truth via Disentangled Representation Steering

📄 arXiv: 2508.04530v2 📥 PDF

作者: Chenglei Shen, Zhongxiang Sun, Teng Shi, Xiao Zhang, Jun Xu

分类: cs.CL

发布日期: 2025-08-06 (更新: 2025-08-07)

💡 一句话要点

提出StyliTruth以解决风格化与真实性之间的权衡问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 风格化生成 真实性控制 表示编辑 大型语言模型 正交消减 自适应引导向量 自然语言处理

📋 核心要点

  1. 现有的表示编辑方法在注入风格信号时，常常导致模型的真实性表示受到污染，降低答案的正确性。
  2. 论文提出StyliTruth机制，通过正交消减过程分离风格和真实性的表示子空间，实现独立控制。
  3. 实验结果显示，StyliTruth显著减少了风格化引起的真实性崩溃，并在多种风格和语言上表现优于现有方法。

📝 摘要（中文）

生成风格化的大型语言模型（LLM）响应通过表示编辑是一种有效的细粒度输出控制方式。然而，施加独特风格往往会降低真实性。现有的表示编辑方法通过简单地注入风格信号，忽视了这种影响，导致模型的核心真实性表示受到污染，从而降低答案的正确性。我们称这种现象为风格化引起的真实性崩溃。我们将这一问题归因于某些关键注意力头中风格与真实性方向之间的潜在耦合，并提出了StyliTruth机制，该机制在保持风格化的同时保持真实性不变。StyliTruth通过正交消减过程分离模型表示空间中的风格相关和真实性相关子空间，从而实现风格和真实性的独立控制。我们在多个风格和语言上验证了该方法，实验结果表明，StyliTruth显著减少了风格化引起的真实性崩溃，并在风格遵循与真实性之间的平衡方面优于现有的推理时干预方法。

🔬 方法详解

问题定义：本论文旨在解决风格化生成与真实性之间的权衡问题。现有方法在注入风格信号时，往往导致真实性表示的污染，造成答案的准确性下降。

核心思路：提出StyliTruth机制，通过正交消减过程将风格相关和真实性相关的表示分离，从而实现对风格和真实性的独立控制，避免相互干扰。

技术框架：整体架构包括表示空间的分解、风格和真实性的独立控制模块，以及动态的token级引导向量设计，确保生成过程中的风格和真实性的平衡。

关键创新：StyliTruth的核心创新在于通过正交消减实现风格与真实性的表示分离，这一方法与现有的简单注入风格信号的方式本质上不同，能够有效避免风格化引起的真实性崩溃。

关键设计：在设计中，采用了自适应的token级引导向量，能够动态调整生成过程中的风格和真实性，确保在不同风格和语言下的表现一致性。

📊 实验亮点

实验结果表明，StyliTruth在多个风格和语言上显著减少了风格化引起的真实性崩溃，相较于现有推理时干预方法，提升了风格遵循与真实性的平衡，具体性能提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话生成、内容创作和个性化推荐等。通过实现风格与真实性的平衡，能够提升用户体验，满足不同场景下的需求，具有重要的实际价值和未来影响。

📄 摘要（原文）

Generating stylized large language model (LLM) responses via representation editing is a promising way for fine-grained output control. However, there exists an inherent trade-off: imposing a distinctive style often degrades truthfulness. Existing representation editing methods, by naively injecting style signals, overlook this collateral impact and frequently contaminate the model's core truthfulness representations, resulting in reduced answer correctness. We term this phenomenon stylization-induced truthfulness collapse. We attribute this issue to latent coupling between style and truth directions in certain key attention heads, and propose StyliTruth, a mechanism that preserves stylization while keeping truthfulness intact. StyliTruth separates the style-relevant and truth-relevant subspaces in the model's representation space via an orthogonal deflation process. This decomposition enables independent control of style and truth in their own subspaces, minimizing interference. By designing adaptive, token-level steering vectors within each subspace, we dynamically and precisely control the generation process to maintain both stylistic fidelity and truthfulness. We validate our method on multiple styles and languages. Extensive experiments and analyses show that StyliTruth significantly reduces stylization-induced truthfulness collapse and outperforms existing inference-time intervention methods in balancing style adherence with truthfulness.