Let Models Speak Ciphers: Multiagent Debate through Embeddings

📄 arXiv: 2310.06272v2 📥 PDF

作者: Chau Pham, Boyi Liu, Yingxiang Yang, Zhengyu Chen, Tianyi Liu, Jianbo Yuan, Bryan A. Plummer, Zhaoran Wang, Hongxia Yang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-10 (更新: 2024-02-26)

备注: Accepted to ICLR 2024

💡 一句话要点

提出CIPHER以解决LLM间信息传递不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 信息传递 嵌入表示 推理任务 多智能体系统

📋 核心要点

  1. 现有的LLM辩论方法依赖自然语言，存在信息损失的风险，影响推理效果。
  2. CIPHER通过去除token采样步骤，利用嵌入表示直接传递模型信念，提升信息传递的完整性。
  3. CIPHER在多个推理任务中表现优异，超越传统方法0.5-5.0%，展示了嵌入的有效性。

📝 摘要（中文）

大规模语言模型（LLMs）之间的讨论和辩论因其增强推理能力的潜力而受到广泛关注。尽管自然语言是沟通的显而易见选择，但生成自然语言时的token采样步骤可能导致信息损失。本文提出了一种名为CIPHER（通过嵌入表示的模型间沟通协议）的沟通机制，去除了token采样步骤，使模型通过原始变换器输出嵌入的期望值进行信念传递。CIPHER在不修改模型权重的情况下，编码了更广泛的信息，并在五个推理任务和多种开源LLM上超越了现有自然语言辩论方法0.5-5.0%。这表明嵌入作为LLMs间沟通的替代“语言”的优越性和鲁棒性。

🔬 方法详解

问题定义：本文旨在解决大规模语言模型（LLMs）在进行辩论时因token采样导致的信息损失问题。现有方法依赖自然语言进行交流，可能无法充分表达模型的信念。

核心思路：CIPHER的核心思路是通过去除token采样步骤，直接利用原始变换器输出的嵌入表示进行信念传递。这种设计允许模型在更广泛的信息空间中进行交流，从而提高信息的完整性和准确性。

技术框架：CIPHER的整体架构包括输入嵌入的生成、信念的期望值计算以及模型间的嵌入传递。主要模块包括变换器网络、嵌入层和信念聚合机制。

关键创新：CIPHER的主要创新在于使用嵌入表示作为模型间的沟通语言，避免了自然语言中可能出现的信息损失。这一方法在信息传递的完整性和表达能力上优于现有的自然语言辩论方法。

关键设计：在技术细节方面，CIPHER的设计包括对嵌入的期望值计算、损失函数的优化以及变换器网络的结构调整，以确保信息的有效传递和模型的稳定性。具体参数设置和网络结构设计在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CIPHER在五个推理任务上超越了现有的自然语言辩论方法，提升幅度达0.5-5.0%。这一结果表明，嵌入表示作为沟通方式在信息传递的完整性和表达能力上具有显著优势，展示了其在LLMs间交流中的潜力。

🎯 应用场景

CIPHER的研究成果在多种领域具有潜在应用价值，包括智能对话系统、自动化推理和多智能体系统的设计。通过提升LLMs间的沟通效率，CIPHER可能为未来的人工智能交互提供新的思路，推动智能体系统的进一步发展。

📄 摘要（原文）

Discussion and debate among Large Language Models (LLMs) have gained considerable attention due to their potential to enhance the reasoning ability of LLMs. Although natural language is an obvious choice for communication due to LLM's language understanding capability, the token sampling step needed when generating natural language poses a potential risk of information loss, as it uses only one token to represent the model's belief across the entire vocabulary. In this paper, we introduce a communication regime named CIPHER (Communicative Inter-Model Protocol Through Embedding Representation) to address this issue. Specifically, we remove the token sampling step from LLMs and let them communicate their beliefs across the vocabulary through the expectation of the raw transformer output embeddings. Remarkably, by deviating from natural language, CIPHER offers an advantage of encoding a broader spectrum of information without any modification to the model weights, outperforming the state-of-the-art LLM debate methods using natural language by 0.5-5.0% across five reasoning tasks and multiple open-source LLMs of varying sizes. This showcases the superiority and robustness of embeddings as an alternative "language" for communication among LLMs. We anticipate that CIPHER will inspire further exploration for the design of interactions within LLM agent systems, offering a new direction that could significantly influence future developments in the field.