Breaking the Autoregressive Chain: Hyper-Parallel Decoding for Efficient LLM-Based Attribute Value Extraction

📄 arXiv: 2604.26209v1 📥 PDF

作者: Theodore Glavas, Nikhita Vedula, Dushyanta Dhyani, Yilun Zhu, Shervin Malmasi

分类: cs.CL, cs.AI

发布日期: 2026-04-29

💡 一句话要点

提出超并行解码（HPD）算法，加速基于LLM的属性值抽取任务。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 大型语言模型 属性值抽取 并行解码 自回归解码 推理加速

📋 核心要点

  1. 自回归解码的串行特性限制了LLM在属性值抽取等任务中的效率，尤其是在需要解码多个独立序列时。
  2. HPD算法通过操纵位置ID，实现乱序token生成，从而在批处理中利用共享内存和计算资源，实现并行解码。
  3. 实验表明，HPD在AVE任务中实现了高达13.8倍的加速，且不影响输出质量，具有显著的成本效益。

📝 摘要（中文）

本文提出了一种名为超并行解码（Hyper-Parallel Decoding, HPD）的新型解码算法，旨在加速离线属性值抽取（AVE）任务。HPD通过利用批处理中的共享内存和计算资源，实现了输出序列间的并行解码。该算法通过位置ID操作实现乱序token生成，显著提高了效率。实验表明，属性-值对在条件上是独立的，因此可以在每个prompt中并行生成值。通过在单个prompt中堆叠多个文档，HPD能够并行解码每个prompt最多96个token。HPD与所有LLM兼容，在不影响输出质量的前提下，可将推理成本和总推理时间最多降低13.8倍，从而为工业AVE任务节省大量成本。虽然HPD是为属性抽取设计的，但它不依赖于AVE领域的特定假设，理论上可以应用于其他具有独立输出结构的场景。

🔬 方法详解

问题定义：论文旨在解决基于大型语言模型（LLM）的属性值抽取（AVE）任务中，由于标准自回归解码的串行特性导致的效率瓶颈问题。现有方法在处理需要从同一文档上下文中解码多个独立序列的任务时，效率低下，限制了LLM的应用。

核心思路：论文的核心思路是利用属性值对之间的条件独立性，以及多个文档之间的独立性，通过并行解码来加速推理过程。具体而言，HPD算法允许乱序生成token，从而打破了自回归解码的串行依赖，实现了在单个prompt内和跨多个文档的并行处理。

技术框架：HPD算法的核心在于对位置ID的操纵，使得模型可以并行生成多个token，而无需等待前一个token生成完毕。整体流程包括：1) 将多个文档或属性值对组合成一个prompt；2) 通过特定的位置ID分配策略，指示模型并行生成不同的token；3) 利用共享内存和计算资源，加速并行解码过程。

关键创新：HPD算法最重要的创新点在于打破了自回归解码的串行依赖，实现了真正意义上的并行解码。与传统的并行解码方法（如 speculative decoding）不同，HPD不需要额外的模型或复杂的训练过程，可以直接应用于现有的LLM。

关键设计：HPD的关键设计包括：1) 位置ID分配策略，确保模型能够正确地并行生成token，而不会产生混淆；2) prompt构建策略，将多个文档或属性值对有效地组合成一个prompt，以最大化并行度；3) 批处理策略，利用共享内存和计算资源，加速并行解码过程。论文没有提及特定的损失函数或网络结构修改，因为HPD主要关注解码算法的优化。

📊 实验亮点

实验结果表明，HPD算法在属性值抽取任务中实现了显著的性能提升。与传统的自回归解码相比，HPD可以将推理成本和总推理时间最多降低13.8倍，且不影响输出质量。这一提升对于工业界的大规模AVE任务具有重要的意义，可以节省大量的计算资源和成本。

🎯 应用场景

HPD算法可广泛应用于需要从同一上下文中提取多个独立信息的场景，例如信息抽取、知识图谱构建、文档理解等。该算法能够显著降低LLM的推理成本和时间，提高相关应用的效率，具有重要的实际应用价值。未来，HPD可以进一步扩展到其他具有独立输出结构的生成任务中。

📄 摘要（原文）

Some text generation tasks, such as Attribute Value Extraction (AVE), require decoding multiple independent sequences from the same document context. While standard autoregressive decoding is slow due to its sequential nature, the independence between output sequences offers an opportunity for parallelism. We present Hyper-Parallel Decoding, a novel decoding algorithm that accelerates offline decoding by leveraging both shared memory and computation across batches. HPD enables out-of-order token generation through position ID manipulation, significantly improving efficiency. Experiments on AVE show that attribute-value pairs are conditionally independent, enabling us to parallelize value generation within each prompt. By further stacking multiple documents within a single prompt, we can decode in parallel up to 96 tokens per prompt. HPD works with all LLMs, and reduces both inference costs and total inference time by up to 13.8X without compromising output quality, potentially saving hundreds of thousands of dollars on industry AVE tasks. Although designed for attribute extraction, HPD makes no assumptions unique to the AVE domain and can in theory be applied to other scenarios with independent output structures.