ToW: Thoughts of Words Improve Reasoning in Large Language Models

📄 arXiv: 2410.16235v2 📥 PDF

作者: Zhikun Xu, Ming Shen, Jacob Dineen, Zhaonan Li, Xiao Ye, Shijie Lu, Aswin RRV, Chitta Baral, Ben Zhou

分类: cs.CL

发布日期: 2024-10-21 (更新: 2025-01-30)

备注: Accepted by NAACL 2025 Main Conference

💡 一句话要点

提出词语思考(ToW)数据增强方法，提升大语言模型推理能力并减少幻觉。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理能力 数据增强 幻觉减少 下一词预测

📋 核心要点

  1. 现有下一词预测方法易产生事实性幻觉，且模型难以从原始文本中学习到隐含的推理过程。
  2. ToW通过注入细粒度的“词语思考”，显式地建模下一词与上下文的推理关系，从而增强模型推理能力。
  3. 实验表明，仅使用少量ToW标注进行持续预训练，即可显著提升模型推理性能并减少幻觉现象。

📝 摘要（中文）

本文提出了一种名为“词语思考”（Thoughts of Words, ToW）的训练时数据增强方法，用于下一词预测。ToW将下一词预测视为核心推理任务，并在预训练文本中注入细粒度的思考，解释下一个词应该是什么以及它与先前上下文的关系。我们的方法解决了现有下一词预测学习方案的两个根本缺陷：诱导事实幻觉，以及模型难以学习原始文本中隐含的推理过程。我们探索了通过从更大的模型中蒸馏来获取ToW标注的第一步。仅使用7万个ToW标注进行持续预训练后，我们有效地将模型的推理性能平均提高了7%到9%，并将模型幻觉减少了高达10%。同时，ToW完全独立于任务和应用，不会对标签或语义引入额外的偏差。

🔬 方法详解

问题定义：现有的大语言模型在进行下一词预测时，容易产生与事实不符的幻觉，并且难以有效地从原始文本中学习到隐含的推理过程。这限制了模型在需要复杂推理的任务中的表现。现有方法缺乏对推理过程的显式建模，导致模型只能隐式地学习推理关系，效率较低。

核心思路：ToW的核心思路是将下一词预测任务视为一个推理任务，并通过显式地提供“词语思考”来指导模型学习。这些“词语思考”解释了为什么下一个词应该是某个特定的词，以及它与之前的上下文是如何相关的。通过这种方式，模型可以更有效地学习到推理过程，从而提高推理能力并减少幻觉。

技术框架：ToW方法主要包含两个阶段：首先，使用一个更大的模型（例如，一个经过良好训练的大型语言模型）来生成ToW标注。这些标注包含了对每个词的“词语思考”，解释了该词与上下文的推理关系。然后，使用这些ToW标注对较小的模型进行持续预训练。这个持续预训练过程使得模型能够学习到如何利用“词语思考”来进行下一词预测。

关键创新：ToW的关键创新在于它将下一词预测任务显式地建模为一个推理任务，并通过注入“词语思考”来指导模型学习。与传统的下一词预测方法不同，ToW不仅关注预测下一个词，还关注解释为什么这个词是正确的。这种显式的推理建模使得模型能够更有效地学习到推理过程，从而提高推理能力。

关键设计：ToW标注的获取是通过从更大的模型中蒸馏得到的。具体来说，给定一个上下文，我们使用更大的模型生成多个可能的下一个词，并为每个词生成一个解释，说明为什么这个词是合适的。然后，我们选择最合适的词和解释作为ToW标注。在持续预训练阶段，我们使用标准的下一词预测损失函数，并结合ToW标注来指导模型学习。具体的参数设置和网络结构与原始的预训练模型保持一致。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，仅使用7万个ToW标注进行持续预训练，即可将模型的推理性能平均提高7%到9%，并将模型幻觉减少高达10%。这些结果表明，ToW是一种有效的数据增强方法，可以显著提升大语言模型的推理能力和减少幻觉。

🎯 应用场景

ToW方法可以应用于各种需要推理能力的自然语言处理任务，例如问答、文本摘要、对话生成等。通过提高模型的推理能力和减少幻觉，ToW可以提升这些任务的性能，并使得模型更加可靠和可信。此外，ToW还可以用于改进模型的预训练过程，使得模型能够更有效地学习到知识和推理能力。

📄 摘要（原文）

We introduce thoughts of words (ToW), a novel training-time data-augmentation method for next-word prediction. ToW views next-word prediction as a core reasoning task and injects fine-grained thoughts explaining what the next word should be and how it is related to the previous contexts in pre-training texts. Our formulation addresses two fundamental drawbacks of existing next-word prediction learning schemes: they induce factual hallucination and are inefficient for models to learn the implicit reasoning processes in raw texts. While there are many ways to acquire such thoughts of words, we explore the first step of acquiring ToW annotations through distilling from larger models. After continual pre-training with only 70K ToW annotations, we effectively improve models' reasoning performances by 7% to 9% on average and reduce model hallucination by up to 10%. At the same time, ToW is entirely agnostic to tasks and applications, introducing no additional biases on labels or semantics.