Adaptable Logical Control for Large Language Models

📄 arXiv: 2406.13892v2 📥 PDF

作者: Honghua Zhang, Po-Nien Kung, Masahiro Yoshida, Guy Van den Broeck, Nanyun Peng

分类: cs.CL

发布日期: 2024-06-19 (更新: 2024-08-16)

💡 一句话要点

Ctrl-G：一种可控的大语言模型生成框架，通过HMM实现逻辑约束

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 逻辑约束 可控生成 隐马尔可夫模型 文本编辑 确定性有限自动机

📋 核心要点

  1. 现有大语言模型在遵循人类指令方面表现出色，但在推理时控制模型生成仍然是一个挑战。
  2. Ctrl-G框架结合LLM与隐马尔可夫模型，利用确定性有限自动机表示逻辑约束，从而实现可控的LLM生成。
  3. 实验表明，Ctrl-G在文本编辑和数学推理任务上优于GPT3.5、GPT4和GPT2-large等模型，提升显著。

📝 摘要（中文）

本文提出了一种名为Ctrl-G的自适应框架，旨在实现对大语言模型（LLM）生成过程的可控性和灵活性，使其能够可靠地遵循逻辑约束。Ctrl-G将任何已部署的LLM与隐马尔可夫模型（HMM）相结合，从而使LLM的输出能够遵守表示为确定性有限自动机的逻辑约束。实验结果表明，当应用于TULU2-7B模型时，Ctrl-G在交互式文本编辑任务上优于GPT3.5和GPT4：具体而言，在生成遵循逻辑约束的文本插入/延续的任务中，与GPT4相比，Ctrl-G在人类评估中实现了超过30%的更高满意率。此外，当应用于中等规模的语言模型（例如GPT2-large）时，Ctrl-G在标准基准测试中也大幅超越了同类模型。最后，作为概念验证研究，我们在Grade School Math基准测试中实验了Ctrl-G，以辅助LLM推理，预示了Ctrl-G以及其他约束生成方法在传统语言生成任务之外的应用。

🔬 方法详解

问题定义：现有大语言模型虽然在各种任务上表现出色，但难以在生成过程中可靠地遵循复杂的逻辑约束。例如，在文本编辑任务中，需要保证插入或修改的文本满足特定的语法或语义规则，而现有方法往往无法保证这一点。这限制了LLM在需要精确控制输出的应用场景中的使用。

核心思路：Ctrl-G的核心思路是将LLM的生成过程与一个隐马尔可夫模型（HMM）相结合。HMM的状态转移概率由LLM的输出概率决定，而HMM的状态空间则对应于逻辑约束的状态。通过这种方式，LLM的生成过程被约束在满足逻辑约束的状态序列上，从而保证输出的逻辑一致性。这种设计允许在不修改LLM本身的情况下，对其生成过程进行灵活的控制。

技术框架：Ctrl-G框架主要包含两个模块：LLM和HMM。LLM负责生成候选文本，HMM负责评估候选文本是否满足逻辑约束。具体流程如下：1) LLM生成一个或多个候选文本；2) HMM根据当前状态和候选文本，计算转移到下一个状态的概率；3) 选择概率最高的候选文本作为最终输出，并更新HMM的状态。这个过程迭代进行，直到生成完整的文本。

关键创新：Ctrl-G的关键创新在于将LLM的生成过程与HMM相结合，从而实现对LLM生成过程的逻辑约束。与现有方法相比，Ctrl-G不需要修改LLM本身，而是通过外部的HMM来控制LLM的输出。这种方法具有很强的灵活性和可扩展性，可以应用于各种不同的LLM和逻辑约束。

关键设计：HMM的状态空间对应于确定性有限自动机（DFA）的状态，DFA用于表示逻辑约束。HMM的状态转移概率由LLM的输出概率和DFA的状态转移函数共同决定。具体来说，如果LLM生成的候选文本能够使DFA从当前状态转移到下一个状态，则HMM的状态转移概率较高；否则，状态转移概率较低。通过调整LLM的输出概率和DFA的状态转移函数，可以实现对LLM生成过程的精细控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Ctrl-G在交互式文本编辑任务上显著优于GPT3.5和GPT4。具体而言，在生成遵循逻辑约束的文本插入/延续的任务中，与GPT4相比，Ctrl-G在人类评估中实现了超过30%的更高满意率。此外，在Grade School Math基准测试中，Ctrl-G也表现出辅助LLM推理的潜力。

🎯 应用场景

Ctrl-G具有广泛的应用前景，例如：交互式文本编辑、代码生成、对话系统等。在交互式文本编辑中，可以利用Ctrl-G保证编辑后的文本满足语法和语义规则。在代码生成中，可以利用Ctrl-G保证生成的代码符合编程规范。在对话系统中，可以利用Ctrl-G保证对话的逻辑一致性。未来，Ctrl-G还可以应用于更复杂的任务，例如：知识图谱推理、机器人控制等。

📄 摘要（原文）

Despite the success of Large Language Models (LLMs) on various tasks following human instructions, controlling model generation at inference time poses a persistent challenge. In this paper, we introduce Ctrl-G, an adaptable framework that facilitates tractable and flexible control of LLM generation to reliably follow logical constraints. Ctrl-G combines any production-ready LLM with a Hidden Markov Model, enabling LLM outputs to adhere to logical constraints represented as deterministic finite automata. We show that Ctrl-G, when applied to a TULU2-7B model, outperforms GPT3.5 and GPT4 on the task of interactive text editing: specifically, for the task of generating text insertions/continuations following logical constraints, Ctrl-G achieves over 30% higher satisfaction rate in human evaluation compared to GPT4. When applied to medium-size language models (e.g., GPT2-large), Ctrl-G also beats its counterparts for constrained generation by large margins on standard benchmarks. Additionally, as a proof-of-concept study, we experiment Ctrl-G on the Grade School Math benchmark to assist LLM reasoning, foreshadowing the application of Ctrl-G, as well as other constrained generation approaches, beyond traditional language generation tasks.