LACE: Lattice Attention for Cross-thread Exploration

📄 arXiv: 2604.15529v1 📥 PDF

作者: Yang Li, Zirui Zhang, Yang Liu, Chengzhi Mao

分类: cs.AI

发布日期: 2026-04-16

备注: 22 pages, 15 figures

💡 一句话要点

提出LACE框架以解决大语言模型推理孤立问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理机制 跨线程注意力 并行推理 合成数据 模型训练 智能问答 决策支持

📋 核心要点

  1. 现有的大型语言模型在推理时缺乏路径间的互动，导致冗余错误频发。
  2. LACE框架通过跨线程注意力机制，使得并行推理路径能够共享信息和相互纠正。
  3. 实验结果显示，LACE在推理准确率上提升超过7个百分点，显著优于传统的并行搜索方法。

📝 摘要（中文）

当前的大型语言模型在推理过程中往往是孤立进行的，虽然可以并行采样多个推理路径，但这些路径之间缺乏互动，常常以相同的冗余方式失败。本文提出LACE框架，将独立试验的推理转变为协调的并行过程。通过重新设计模型架构以实现跨线程注意力，LACE允许并行推理路径在推理过程中共享中间见解并相互纠正。由于缺乏自然训练数据来展示这种协作行为，本文通过合成数据管道显式教导模型在不同线程间进行沟通和错误修正。实验结果表明，这种统一探索显著优于标准的并行搜索，推理准确率提高了超过7个百分点。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理过程中路径间缺乏互动的问题。现有方法往往在独立推理时产生冗余错误，无法有效利用并行路径的潜力。

核心思路：LACE框架的核心思想是通过跨线程注意力机制，使得多个推理路径能够在推理过程中进行信息共享和相互纠正，从而提高推理的准确性和效率。

技术框架：LACE的整体架构包括数据生成模块、模型训练模块和推理模块。数据生成模块负责合成具有协作特性的训练数据，模型训练模块则利用这些数据训练具有跨线程注意力的模型，推理模块则实现并行推理路径的协作。

关键创新：LACE的主要创新在于引入了跨线程注意力机制，使得并行推理路径能够实时共享信息并进行错误修正。这一设计与传统的独立推理方法形成了鲜明对比，显著提升了模型的推理能力。

关键设计：在模型设计上，LACE采用了特定的损失函数以鼓励路径间的协作，并在网络结构中引入了跨线程注意力层，以实现信息的有效传递和纠正。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LACE框架在推理准确率上提升超过7个百分点，相较于标准的并行搜索方法表现出显著的优势。这一结果验证了跨线程注意力机制在提升推理能力方面的有效性，为未来的研究提供了新的方向。

🎯 应用场景

LACE框架具有广泛的应用潜力，尤其适用于需要高准确度推理的场景，如智能问答系统、对话系统和复杂决策支持系统。通过提高推理路径间的协作，LACE能够显著提升模型在实际应用中的表现和可靠性，未来可能推动更智能的交互式AI系统的发展。

📄 摘要（原文）

Current large language models reason in isolation. Although it is common to sample multiple reasoning paths in parallel, these trajectories do not interact, and often fail in the same redundant ways. We introduce LACE, a framework that transforms reasoning from a collection of independent trials into a coordinated, parallel process. By repurposing the model architecture to enable cross-thread attention, LACE allows concurrent reasoning paths to share intermediate insights and correct one another during inference. A central challenge is the absence of natural training data that exhibits such collaborative behavior. We address this gap with a synthetic data pipeline that explicitly teaches models to communicate and error-correct across threads. Experiments show that this unified exploration substantially outperforms standard parallel search, improving reasoning accuracy by over 7 points. Our results suggest that large language models can be more effective when parallel reasoning paths are allowed to interact.