TRACESTEER: Trace Driven Activation Steering for Hallucination Mitigation in Diffusion Language Models

📄 arXiv: 2610.18173v1 📥 PDF

作者: Xin Zhang, Yili Wang, Yue Tan, Xin He, Rui Miao, Yixin Liu, Yi Chang, Xin Wang

分类: cs.CL

发布日期: 2026-10-13

💡 一句话要点

提出TRACESTEER以解决扩散语言模型中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散语言模型 激活引导 幻觉缓解 去噪反馈 模型泛化 自然语言处理 事实可靠性

📋 核心要点

  1. 现有的激活引导方法未能充分考虑dLLMs的动态去噪状态和时间幻觉风险，导致引导效果不佳。
  2. TRACESTEER通过利用前期去噪预测作为反馈，联合调整引导方向和强度，从而改善激活引导的效果。
  3. 在TruthfulQA和五个下游基准上进行的实验表明，TRACESTEER显著提高了事实可靠性和模型的泛化能力。

📝 摘要（中文）

扩散大型语言模型（dLLMs）作为自回归语言模型的有力替代方案，仍然容易出现幻觉现象。激活引导是一种有前景的缓解方法，通过内部表示引导并行的标记预测。然而，现有的引导方法在很大程度上忽视了dLLMs的动态去噪状态和时间幻觉风险，这对预定义的引导向量和统一的干预强度构成挑战。我们提出了TRACESTEER，一个基于轨迹的激活引导框架，利用前期去噪预测作为反馈，联合调整引导方向和强度。具体而言，去噪反馈引导（DF-Steering）从前期预测和当前隐藏状态构建特定步骤的引导向量。轨迹引导引导门（TS-Gate）使用预测不确定性和去噪时间步来调节其强度。在冻结骨干网络的情况下，事实监督和幅度正则化共同引导自适应引导干预的学习，促进去噪过程中的事实可靠性和稳定性。在两个dLLMs上的实验表明，在TruthfulQA上提高了事实可靠性，并在五个下游基准上实现了更好的泛化能力。

🔬 方法详解

问题定义：本论文旨在解决扩散大型语言模型（dLLMs）中的幻觉问题，现有的激活引导方法未能有效应对动态去噪状态和时间幻觉风险，导致引导效果不理想。

核心思路：论文提出TRACESTEER框架，通过前期去噪预测反馈来动态调整引导方向和强度，以提高模型的事实可靠性和稳定性。

技术框架：TRACESTEER包括两个主要模块：去噪反馈引导（DF-Steering）和轨迹引导引导门（TS-Gate）。DF-Steering根据前期预测和当前隐藏状态构建引导向量，TS-Gate则根据预测不确定性和去噪时间步调节引导强度。

关键创新：TRACESTEER的创新在于其动态调整引导向量和强度的能力，克服了传统方法中预定义引导向量和统一干预强度的局限性。

关键设计：在设计中，冻结骨干网络，结合事实监督和幅度正则化来引导自适应引导干预的学习，确保模型在去噪过程中的稳定性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TRACESTEER在TruthfulQA上显著提高了事实可靠性，且在五个下游基准上实现了更好的泛化能力，证明了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提高扩散语言模型的事实可靠性，TRACESTEER可以在信息检索、自动问答等场景中提供更准确的结果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Diffusion large language models (dLLMs) have emerged as a promising alternative to autoregressive LLMs, yet remain susceptible to hallucination. Activation steering offers a promising mitigation approach by guiding parallel token predictions through internal representations. However, existing steering methods largely overlook two characteristics of dLLMs: dynamic denoising states and temporal hallucination risks, which challenge predefined steering vectors and uniform intervention strengths. We propose TRACESTEER, a trace-driven activation steering framework that uses preceding denoising predictions as feedback to jointly adapt steering direction and strength. Specifically, Denoising Feedback Steering (DF-Steering) constructs step-specific steering vectors from preceding predictions and current hidden states. Trajectory-Guided Steering Gate (TS-Gate) regulates their strength using prediction uncertainty and the denoising timestep. With the backbone frozen, factual supervision and magnitude regularization jointly guide the learning of adaptive steering interventions, promoting factual reliability and stability throughout denoising. Experiments on two dLLMs show improved factual reliability on TruthfulQA and generalization across five downstream benchmarks.