Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG

📄 arXiv: 2610.30664v1 📥 PDF

作者: Zehao Lin, Qianfeng Shen, Xixuan Hao, Shaobo Cui, Chunyu Li, Kai Chen, Bo Tang, Zhenjun Wang, Jin Yan, Zhiyu Li, Feiyu Xiong

分类: cs.CL, cs.IR

发布日期: 2026-10-22

备注: 5 pages, 2 figures, 1 table

💡 一句话要点

提出层次化RAG的策略精确并行推理以优化自回归LLM控制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自回归模型 层次化RAG 控制策略 并行推理 性能优化 决策支持

📋 核心要点

  1. 现有方法在层次化RAG中依赖序列化生成，导致控制效率低下和延迟增加。
  2. 本文提出了一种编译方法，通过构建动作前缀树，消除不必要的序列化，提升控制效率。
  3. 实验表明，编译控制在多个任务上与传统序列策略匹配率高达89%，并显著降低了控制延迟。

📝 摘要（中文）

大型语言模型（LLM）在结构化决策流程中越来越多地充当控制器，但其决策仍依赖于自回归文本解码。本文提出了一种新的方法，针对层次化RAG设置，展示了在有界控制中序列化是多余的。通过编译可达未来形成的浅层动作前缀树，利用一个根预填充和一个树因果探测器评估每个前缀条件下的动作分布，显著提高了控制效率。实验结果表明，编译控制在多个文档分割和规模上与序列策略匹配率达到84%至89%，并且控制延迟减少了35%至47%。

🔬 方法详解

问题定义：本文旨在解决层次化RAG中自回归LLM控制的低效率问题，现有方法依赖序列化生成，导致延迟和性能瓶颈。

核心思路：通过编译可达未来形成的浅层动作前缀树，利用一个根预填充和一个树因果探测器，评估每个前缀条件下的动作分布，从而消除序列化的必要性。

技术框架：整体架构包括动作前缀树的构建、根预填充的生成和树因果探测器的评估，形成高效的控制策略。

关键创新：最重要的创新在于提出了前缀状态引理，使得编译控制策略在精确算术下保持策略一致性，显著提高了控制效率。

关键设计：关键设计包括参数设置的优化、损失函数的选择以及网络结构的调整，以确保在不同任务上的高效性和准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，编译控制在多个文档分割和规模上与序列策略匹配率达到84%至89%，每个偏差均为浮点近似，并且控制延迟减少了35%至47%，相较于逐字序列解码和理想化的分块引擎均有显著提升。

🎯 应用场景

该研究的潜在应用领域包括智能决策系统、自动化文本生成和复杂任务的控制策略优化。通过提高控制效率和降低延迟，能够在实际应用中实现更快速和可靠的决策支持，推动相关领域的发展。

📄 摘要（原文）

Large language models increasingly act as controllers in structured decision pipelines, yet their decisions are still executed by autoregressive text decoding. Hierarchical RAG is one such setting: at each frontier of a document tree, an LLM commits to $b$ of $k$ sections under an input-dependent action grammar, executed as either failure-prone free-form JSON or reliable but strictly serial grammar-constrained generation. We show that this serialization is unnecessary for bounded-horizon control: the reachable future forms a shallow action-prefix tree, which we compile --- one root prefill plus one tree-causal probe evaluate every prefix-conditioned action distribution with serial decoding's tokens, positions, and causal ancestry. A prefix-state lemma makes compiled control policy-exact in exact arithmetic: the same policy with a two-forward critical path and zero output tokens. One further probe pass certifies the exact order-marginalized MAP set. Across four document-disjoint splits and two scales on the primary MetaX device, compiled control matches the serial policy on $84$--$89\%$ of questions --- every instrumented divergence a floating-point near-tie --- and cuts control latency by $35$--$47\%$ versus token-wise serial decoding and $6$--$7\%$ versus an idealized chunked engine; an H800 repetition preserves the ordering.