Chain-of-Thought Tuning: Masked Language Models can also Think Step By Step in Natural Language Understanding

📄 arXiv: 2310.11721v1 📥 PDF

作者: Caoyun Fan, Jidong Tian, Yitian Li, Wenqing Chen, Hao He, Yaohui Jin

分类: cs.CL, cs.LG

发布日期: 2023-10-18

备注: EMNLP2023 Main Conference

💡 一句话要点

提出Chain-of-Thought Tuning以提升Masked Language Models的自然语言理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维调优 掩码语言模型 自然语言理解 逐步推理 提示调优 层次分类 关系抽取

📋 核心要点

  1. 现有的自然语言理解任务中，LLMs的逐步推理能力不如小规模的MLMs，导致性能不足。
  2. 提出Chain-of-Thought Tuning (CoTT)，通过提示调优实现MLMs的逐步思考和任务分解。
  3. 实验结果显示，CoTT在层次分类和关系抽取任务上超越了基线，取得了最先进的性能。

📝 摘要（中文）

Chain-of-Thought (CoT) 是一种引导大型语言模型（LLMs）通过自然语言形式的中间步骤将复杂任务分解为多步骤推理的技术。尽管许多自然语言理解（NLU）任务也需要逐步思考，但LLMs在这些任务上的表现不如小规模的掩码语言模型（MLMs）。为此，本文提出了Chain-of-Thought Tuning (CoTT)，一个基于提示调优的两步推理框架，旨在使MLMs在NLU任务中实现逐步思考。通过CoT的视角，CoTT的两步框架使MLMs能够进行任务分解，而提示调优则允许以自然语言形式使用中间步骤。实验结果表明，CoTT在层次分类和关系抽取两个NLU任务上超越了基线，达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在自然语言理解任务中逐步推理能力不足的问题，尤其是与小规模掩码语言模型的性能差距。

核心思路：通过Chain-of-Thought Tuning (CoTT) 框架，将逐步思考的能力迁移至MLMs，利用提示调优实现任务的分解与中间步骤的自然语言表达。

技术框架：CoTT框架包含两个主要阶段：第一步是任务分解，第二步是通过提示调优生成中间步骤的自然语言描述。这一过程使得MLMs能够有效地进行复杂任务的逐步推理。

关键创新：CoTT的创新在于将CoT的思想引入MLMs，通过提示调优实现逐步思考的能力，这与传统的LLMs方法有本质区别。

关键设计：在模型设计中，CoTT采用了特定的损失函数和参数设置，以优化中间步骤的生成效果，并确保模型在NLU任务中的表现达到最优。具体的网络结构和调优策略在实验中进行了详细的验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在层次分类和关系抽取任务中，CoTT显著超越了基线模型，达到了最先进的性能，具体表现为在层次分类任务中提升了X%（具体数据待补充），在关系抽取任务中提升了Y%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、信息抽取、文本分类等自然语言处理任务。通过提升MLMs的逐步推理能力，CoTT能够在实际应用中提供更高的准确性和效率，推动自然语言理解技术的发展。

📄 摘要（原文）

Chain-of-Thought (CoT) is a technique that guides Large Language Models (LLMs) to decompose complex tasks into multi-step reasoning through intermediate steps in natural language form. Briefly, CoT enables LLMs to think step by step. However, although many Natural Language Understanding (NLU) tasks also require thinking step by step, LLMs perform less well than small-scale Masked Language Models (MLMs). To migrate CoT from LLMs to MLMs, we propose Chain-of-Thought Tuning (CoTT), a two-step reasoning framework based on prompt tuning, to implement step-by-step thinking for MLMs on NLU tasks. From the perspective of CoT, CoTT's two-step framework enables MLMs to implement task decomposition; CoTT's prompt tuning allows intermediate steps to be used in natural language form. Thereby, the success of CoT can be extended to NLU tasks through MLMs. To verify the effectiveness of CoTT, we conduct experiments on two NLU tasks: hierarchical classification and relation extraction, and the results show that CoTT outperforms baselines and achieves state-of-the-art performance.