Speculate, then Collaborate: Fusing Knowledge of Language Models during Decoding

📄 arXiv: 2502.08020v2 📥 PDF

作者: Ziyao Wang, Muneeza Azmat, Ang Li, Raya Horesh, Mikhail Yurochkin

分类: cs.CL, cs.AI

发布日期: 2025-02-11 (更新: 2025-03-19)

💡 一句话要点

提出协同推测解码（CoSD），在解码时融合多个LLM知识，提升性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识融合 协同解码 推测解码 模型推理 决策树 模型优化

📋 核心要点

  1. 大型语言模型在特定领域表现出色，但受限于训练数据，在其他领域表现欠佳。
  2. CoSD算法通过草稿模型生成序列，并利用辅助模型进行改进，实现高效的知识融合。
  3. 实验表明，CoSD在多个基准测试中，相比现有方法，准确率提升高达10%。

📝 摘要（中文）

大型语言模型（LLM）通常在特定领域表现出色，但在其他领域由于训练的局限性而表现不佳。因此，通过整合LLM的互补知识，使它们能够协同解决问题，有望提高其跨领域的性能。为了实现这一潜力，我们引入了一种新颖的协同推测解码（CoSD）算法，该算法能够在测试时高效地融合LLM知识，而无需额外的模型训练。CoSD采用一个草稿模型来生成初始序列，并使用一个易于学习的规则或决策树来决定何时调用辅助模型来改进这些草稿。CoSD不仅增强了知识融合，还提高了推理效率，可跨领域和模型迁移，并提供了更好的可解释性。实验结果表明，与现有方法相比，CoSD在基准测试中提高了高达10%的准确率，为基于LLM的应用提供了一种可扩展且有效的解决方案。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在特定领域外表现不佳的问题。现有方法要么需要重新训练模型，成本高昂；要么知识融合效果不佳，无法充分利用不同LLM的优势。这些方法的痛点在于效率低、泛化性差，且难以解释。

核心思路：论文的核心思路是利用一个“草稿模型”快速生成初步的文本序列，然后通过一个轻量级的规则或决策树来判断何时需要调用一个或多个“辅助模型”来修正和改进这些草稿。这种“推测，然后协同”的模式旨在高效地融合不同LLM的知识，同时降低计算成本。

技术框架：CoSD算法主要包含以下几个阶段：1) 草稿模型生成初始序列；2) 规则/决策树判断是否需要辅助模型；3) 如果需要，辅助模型对草稿进行修正；4) 将修正后的序列作为最终输出。整个过程无需重新训练模型，可以在测试时动态进行知识融合。

关键创新：CoSD的关键创新在于其“推测，然后协同”的解码模式。与传统的解码方法不同，CoSD不是简单地选择概率最高的token，而是先快速生成一个草稿，然后有选择性地利用其他模型的知识进行改进。这种方法既保证了效率，又实现了知识融合。

关键设计：CoSD的关键设计包括：1) 草稿模型的选择，需要选择一个推理速度快的模型；2) 规则/决策树的设计，需要能够准确判断何时需要辅助模型；3) 辅助模型的选择，需要选择在特定领域表现出色的模型。规则/决策树可以使用少量数据进行训练，以适应不同的任务和模型。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CoSD算法在多个基准测试中显著提高了准确率，最高提升达10%。与现有方法相比，CoSD在知识融合效果、推理效率和可解释性方面均表现出优势。这些结果验证了CoSD算法的有效性和实用性，表明其是一种有前景的LLM知识融合方法。

🎯 应用场景

CoSD算法可广泛应用于各种需要利用多个LLM知识的场景，例如问答系统、机器翻译、文本摘要等。通过融合不同LLM的优势，可以提高这些应用的准确性和可靠性。该方法无需重新训练模型，降低了部署成本，具有很高的实际应用价值。未来，CoSD可以进一步扩展到更多模态的数据，例如图像和语音，实现更强大的多模态知识融合。

📄 摘要（原文）

Large Language Models (LLMs) often excel in specific domains but fall short in others due to the limitations of their training. Thus, enabling LLMs to solve problems collaboratively by integrating their complementary knowledge promises to improve their performance across domains. To realize this potential, we introduce a novel Collaborative Speculative Decoding (CoSD) algorithm that enables efficient LLM knowledge fusion at test time without requiring additional model training. CoSD employs a draft model to generate initial sequences and an easy-to-learn rule or decision tree to decide when to invoke an assistant model to improve these drafts. CoSD not only enhances knowledge fusion but also improves inference efficiency, is transferable across domains and models, and offers greater explainability. Experimental results demonstrate that CoSD improves accuracy by up to 10\% across benchmarks compared to existing methods, providing a scalable and effective solution for LLM-based applications