DeLTa: A Decoding Strategy based on Logit Trajectory Prediction Improves Factuality and Reasoning Ability

📄 arXiv: 2503.02343v1 📥 PDF

作者: Yunzhen He, Yusuke Takase, Yoichi Ishibashi, Hidetoshi Shimodaira

分类: cs.CL, cs.LG

发布日期: 2025-03-04

备注: Source code is available at https://github.com/githubhyz/DeLTa

💡 一句话要点

DeLTa：基于Logit轨迹预测的解码策略，提升大语言模型的真实性和推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 解码策略 Logit轨迹 真实性 推理能力 线性回归 Transformer 文本生成

📋 核心要点

  1. 现有大语言模型在生成内容时，常出现与事实不符或逻辑推理不足的问题，限制了其可靠性。
  2. DeLTa通过分析Transformer各层logits的轨迹，利用线性回归调整token概率，从而提升生成内容的真实性和推理能力。
  3. 实验结果表明，DeLTa在TruthfulQA、StrategyQA和GSM8K等基准测试中均取得了显著的性能提升。

📝 摘要（中文）

大型语言模型（LLMs）在实际应用中日益普及。然而，它们生成内容的可靠性问题仍然存在，因为这些内容经常偏离事实或在逻辑推理方面存在缺陷。本文提出了一种新的解码策略，旨在增强事实准确性和推理能力，而无需修改LLM的架构或预训练参数。我们的方法通过分析Transformer中从较低层到较高层的logits轨迹并应用线性回归来调整下一个token的概率。我们发现，这种基于Logit轨迹的解码方法（DeLTa）有效地增强了真实性和推理能力，同时减少了错误生成。在TruthfulQA上的实验表明，DeLTa比基线方法提高了高达4.9%。此外，它在需要强大推理能力的StrategyQA和GSM8K上分别提高了高达8.1%和7.3%的性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在生成文本时存在的真实性不足和推理能力欠缺的问题。现有的解码策略往往无法有效保证生成内容的准确性和逻辑性，导致LLMs在实际应用中受到限制。

核心思路：DeLTa的核心思路是利用Transformer模型中不同层之间的logits轨迹来预测下一个token的概率，从而引导模型生成更真实、更符合逻辑的内容。通过分析logits的变化趋势，可以更好地捕捉模型内部的推理过程，并对生成结果进行校正。

技术框架：DeLTa解码策略主要包含以下步骤：1) 对于给定的输入，通过Transformer模型的前向传播，获取每一层的logits输出；2) 对每一层的logits进行分析，提取logits轨迹的特征；3) 利用线性回归模型，基于logits轨迹的特征预测下一个token的概率；4) 使用预测的概率分布进行token采样，生成最终的文本。

关键创新：DeLTa的关键创新在于利用logits轨迹来指导解码过程。与传统的解码策略不同，DeLTa不仅考虑了最后一层的logits输出，还考虑了中间层的logits信息，从而更全面地捕捉了模型的推理过程。此外，DeLTa采用线性回归模型来预测下一个token的概率，计算效率高，易于实现。

关键设计：DeLTa的关键设计包括：1) 如何选择合适的logits轨迹特征，例如logits的均值、方差、梯度等；2) 如何训练线性回归模型，例如使用交叉熵损失函数；3) 如何将预测的概率分布与原始的概率分布进行融合，例如使用加权平均的方法。论文中可能还涉及一些超参数的设置，例如线性回归模型的学习率、训练epoch数等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DeLTa在多个基准测试中取得了显著的性能提升。在TruthfulQA上，DeLTa比基线方法提高了高达4.9%。在需要强大推理能力的StrategyQA和GSM8K上，DeLTa分别提高了高达8.1%和7.3%。这些结果表明，DeLTa能够有效提升大语言模型的真实性和推理能力。

🎯 应用场景

DeLTa解码策略可应用于各种需要高真实性和强推理能力的大语言模型应用场景，例如问答系统、知识图谱构建、文本摘要、机器翻译等。通过提升生成内容的准确性和逻辑性，DeLTa可以提高这些应用的可靠性和实用性，并有望推动大语言模型在更多领域的应用。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly being used in real-world applications. However, concerns about the reliability of the content they generate persist, as it frequently deviates from factual correctness or exhibits deficiencies in logical reasoning. This paper proposes a novel decoding strategy aimed at enhancing both factual accuracy and inferential reasoning without requiring any modifications to the architecture or pre-trained parameters of LLMs. Our approach adjusts next-token probabilities by analyzing the trajectory of logits from lower to higher layers in Transformers and applying linear regression. We find that this Decoding by Logit Trajectory-based approach (DeLTa) effectively reinforces factuality and reasoning while mitigating incorrect generation. Experiments on TruthfulQA demonstrate that DeLTa attains up to a 4.9% improvement over the baseline. Furthermore, it enhances performance by up to 8.1% on StrategyQA and 7.3% on GSM8K, both of which demand strong reasoning capabilities.