CorrectionLM: Self-Corrections with SLM for Dialogue State Tracking

📄 arXiv: 2410.18209v1 📥 PDF

作者: Chia-Hsuan Lee, Hao Cheng, Mari Ostendorf

分类: cs.CL

发布日期: 2024-10-23

💡 一句话要点

提出CorrectionLM，利用SLM在对话状态跟踪中实现无LLM参与的自纠正。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话状态跟踪 小型语言模型 自纠正 上下文学习 低资源学习

📋 核心要点

  1. 现有纠正方法依赖LLM知识蒸馏，计算成本高昂，限制了SLM的自纠正能力。
  2. CORRECTIONLM利用上下文范例，使SLM无需LLM参与即可进行自纠正，降低计算需求。
  3. 在低资源DST任务中，CORRECTIONLM以远低于LLM的计算成本，达到与其相似的性能。

📝 摘要（中文）

大型语言模型(LLMs)已经展示了通过反馈和改进进行自我提升的能力，但目前小型语言模型(SLMs)在这方面的成功有限。现有的纠正方法通常依赖于从LLMs中提炼知识，这带来了巨大的计算需求。在这项工作中，我们介绍了一种新颖的纠正框架CORRECTIONLM，该框架使SLMs能够使用上下文范例进行自我纠正，而无需LLM的参与。应用于低资源环境中的两个对话状态跟踪(DST)任务，CORRECTIONLM以一小部分的计算成本实现了与最先进的LLM相似的结果。

🔬 方法详解

问题定义：论文旨在解决对话状态跟踪（DST）任务中，小型语言模型（SLM）难以进行有效自纠正的问题。现有方法通常依赖于大型语言模型（LLM）的知识蒸馏，这带来了巨大的计算开销，并且限制了SLM在资源受限场景下的应用。因此，如何在不依赖LLM的情况下，提升SLM在DST任务中的自纠正能力是本研究的核心问题。

核心思路：论文的核心思路是利用上下文范例（in-context exemplars）来指导SLM进行自纠正。通过提供一系列包含正确对话状态转移的示例，SLM可以学习到如何识别和纠正自身的错误。这种方法避免了对LLM的依赖，从而降低了计算成本，并使SLM能够在低资源环境下进行有效学习。

技术框架：CORRECTIONLM框架主要包含以下几个阶段：1) 输入对话历史和当前用户话语；2) SLM生成初步的对话状态；3) 从训练集中检索与当前对话上下文相似的范例；4) 将检索到的范例与SLM的初步输出拼接，作为新的输入；5) SLM基于新的输入进行自纠正，生成最终的对话状态。整个过程无需LLM参与。

关键创新：该论文的关键创新在于提出了一种无需LLM参与的SLM自纠正框架。与以往依赖LLM知识蒸馏的方法不同，CORRECTIONLM通过上下文范例学习，使SLM能够在低资源环境下实现有效的自纠正。这种方法显著降低了计算成本，并提高了SLM的泛化能力。

关键设计：在范例检索方面，可以使用基于余弦相似度的检索方法，选择与当前对话上下文最相似的范例。在模型训练方面，可以使用交叉熵损失函数来优化SLM的参数，使其能够更好地利用上下文范例进行自纠正。此外，还可以探索不同的范例选择策略和拼接方式，以进一步提升CORRECTIONLM的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在低资源对话状态跟踪任务中，CORRECTIONLM能够以远低于LLM的计算成本，达到与其相似的性能。具体而言，CORRECTIONLM在两个DST数据集上取得了显著的提升，证明了其在低资源环境下的有效性。该方法为SLM的自纠正能力提升提供了一种新的思路。

🎯 应用场景

CORRECTIONLM可应用于各种对话系统，尤其是在计算资源有限或数据稀缺的场景下。例如，在移动设备上运行的智能助手、面向特定领域的小型对话机器人等。该研究有助于降低对话系统的部署成本，并提高其在实际应用中的鲁棒性和准确性，具有广泛的应用前景。

📄 摘要（原文）

Large language models (LLMs) have demonstrated self-improvement capabilities via feedback and refinement, but current small language models (SLMs) have had limited success in this area. Existing correction approaches often rely on distilling knowledge from LLMs, which imposes significant computation demands. In this work, we introduce CORRECTIONLM, a novel correction framework that enables SLMs to self-correct using in-context exemplars without LLM involvement. Applied to two dialogue state tracking (DST) tasks in low-resource settings, CORRECTIONLM achieves results similar to a state-of-the-art LLM at a small fraction of the computation costs.