Chameleon: a Heterogeneous and Disaggregated Accelerator System for Retrieval-Augmented Language Models

📄 arXiv: 2310.09949v4 📥 PDF

作者: Wenqi Jiang, Marco Zeller, Roger Waleffe, Torsten Hoefler, Gustavo Alonso

分类: cs.LG, cs.AI, cs.AR, cs.CL

发布日期: 2023-10-15 (更新: 2025-03-24)

备注: Accepted by VLDB 2025

💡 一句话要点

提出Chameleon以高效支持检索增强语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强语言模型 异构加速器 向量搜索 解耦架构 性能优化

📋 核心要点

  1. 现有的检索增强语言模型在推理和检索效率上存在瓶颈，难以满足多样化的应用需求。
  2. Chameleon通过异构加速器系统，结合LLM和向量搜索加速器，采用解耦架构以实现灵活扩展。
  3. 实验结果表明，Chameleon在延迟和吞吐量上分别提升了2.16倍和3.18倍，显著优于传统混合架构。

📝 摘要（中文）

检索增强语言模型（RALM）结合了大型语言模型（LLM）与向量数据库，在文本生成过程中检索上下文特定知识。这种策略即使在较小模型下也能实现令人印象深刻的生成质量，从而大幅降低计算需求。为高效灵活地服务RALM，本文提出了Chameleon，一个异构加速器系统，集成了LLM和向量搜索加速器，采用解耦架构。异构性确保了推理和检索的高效服务，而解耦则允许LLM和向量搜索加速器独立扩展，以满足多样化的RALM需求。Chameleon原型在FPGA上实现了向量搜索加速器，并将LLM推理分配给GPU，CPU作为集群协调器。评估结果显示，Chameleon在多种RALM上实现了高达2.16倍的延迟降低和3.18倍的吞吐量提升，相较于混合CPU-GPU架构，展现出良好的前景。

🔬 方法详解

问题定义：本论文旨在解决现有检索增强语言模型在推理和检索效率上的不足，尤其是在多样化应用场景下的性能瓶颈。现有方法通常依赖于单一类型的加速器，导致资源利用率低下。

核心思路：论文提出的Chameleon系统通过异构加速器的结合，允许LLM和向量搜索加速器独立扩展，从而提高整体系统的灵活性和效率。这样的设计使得不同任务可以根据需求动态分配资源。

技术框架：Chameleon的整体架构包括三个主要模块：向量搜索加速器（基于FPGA）、LLM推理加速器（基于GPU）和集群协调器（基于CPU）。这种解耦架构使得各个模块可以独立优化和扩展。

关键创新：Chameleon的主要创新在于其异构和解耦的设计理念，允许不同类型的加速器根据任务需求进行灵活配置。这与传统的混合CPU-GPU架构形成鲜明对比，后者通常难以实现资源的高效利用。

关键设计：在设计中，Chameleon对加速器的选择和配置进行了优化，确保向量搜索和LLM推理的高效协同。此外，系统还采用了适应性负载均衡策略，以进一步提升性能。实验中使用的具体参数和损失函数设置也经过精心调整，以确保最佳的模型表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Chameleon在多种检索增强语言模型上实现了显著的性能提升，延迟降低高达2.16倍，吞吐量提升达到3.18倍。这些结果表明，Chameleon在处理复杂任务时具有更高的效率，展示了异构加速器在未来RALM系统中的应用潜力。

🎯 应用场景

Chameleon系统的潜在应用场景包括自然语言处理、智能问答系统和对话生成等领域。通过提高检索增强语言模型的效率，Chameleon能够支持更复杂的应用需求，推动智能系统的进一步发展。未来，该系统的设计理念也可能被应用于其他需要高效推理和检索的AI任务中。

📄 摘要（原文）

A Retrieval-Augmented Language Model (RALM) combines a large language model (LLM) with a vector database to retrieve context-specific knowledge during text generation. This strategy facilitates impressive generation quality even with smaller models, thus reducing computational demands by orders of magnitude. To serve RALMs efficiently and flexibly, we propose Chameleon, a heterogeneous accelerator system integrating both LLM and vector search accelerators in a disaggregated architecture. The heterogeneity ensures efficient serving for both inference and retrieval, while the disaggregation allows independent scaling of LLM and vector search accelerators to fulfill diverse RALM requirements. Our Chameleon prototype implements vector search accelerators on FPGAs and assigns LLM inference to GPUs, with CPUs as cluster coordinators. Evaluated on various RALMs, Chameleon exhibits up to 2.16$\times$ reduction in latency and 3.18x speedup in throughput compared to the hybrid CPU-GPU architecture. The promising results pave the way for adopting heterogeneous accelerators for not only LLM inference but also vector search in future RALM systems.