Large Flow Language Models
作者: Arnav Chavan, Chanhyuk Lee, Udbhav Bamba, Jaehoon Yoo, Seunghoon Hong, Aditi Raghunathan, Jinwoo Kim
分类: cs.CL, cs.AI
发布日期: 2026-10-20
备注: Code available at: https://github.com/lafa-gh/large-flow-lms
💡 一句话要点
提出Lafa以解决大规模流语言模型训练效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 流语言模型 大规模训练 并行生成 自回归模型 多标记预测 高效推理 自然语言处理 代码生成
📋 核心要点
- 现有的离散扩散模型在大规模语言生成中效率低下，缺乏有效的并行生成技术。
- Lafa通过块状流模型设计，结合因果和双向流，提升了训练和推理效率。
- 实验结果表明，Lafa在多个任务上超越了自回归模型，且在吞吐量上提升了2.54倍。
📝 摘要（中文）
连续流语言模型为并行生成提供了控制和加速的工具，但在亿参数规模下构建有效技术仍不成熟。本文提出了Lafa（大型流语言模型），以数据高效的方式扩展至80亿参数。Lafa采用块状流模型，前缀上使用因果注意力，在每个块内实现双向异步流。这一设计通过适应预训练的自回归模型实现高效训练，并通过前缀缓存和块状并行解码实现快速推理。Lafa在0.5B、7B和8B规模下训练，使用少于300亿个标记，效率优于以往的扩散模型，并在指令跟随、推理和编码任务上表现出色，流模型的质量与自回归模型相当或更优，并可提炼为流图进行一步和少步生成。流训练通过多标记预测效应保留或提升了预训练自回归能力，结合自我推测解码方案，验证流草稿，最终实现了与自回归模型相当的质量下2.54倍的吞吐量，超越了多标记预测和离散扩散方法。研究结果表明，连续流可以作为语言建模的可扩展基础。
🔬 方法详解
问题定义：本文旨在解决大规模流语言模型在训练和推理效率上的不足，现有方法在亿参数规模下的构建技术尚不成熟，导致生成效率低下。
核心思路：Lafa采用块状流模型，结合因果注意力和双向异步流的设计，旨在提高训练效率和推理速度，同时保持生成质量。
技术框架：Lafa的整体架构包括预训练的自回归模型适应、块状并行解码和前缀缓存等模块，形成高效的训练和推理流程。
关键创新：Lafa的主要创新在于流训练过程中的多标记预测效应，这一设计不仅提升了生成质量，还保留了自回归模型的能力，显著提高了吞吐量。
关键设计：在参数设置上，Lafa在0.5B、7B和8B规模下训练，使用少于300亿个标记，采用适应性损失函数和优化的网络结构，以实现高效的训练和推理。
🖼️ 关键图片
📊 实验亮点
Lafa在多个任务上表现出色，尤其在指令跟随、推理和编码方面，其生成质量与自回归模型相当或更优。同时，在吞吐量上，Lafa达到了自回归模型的2.54倍，显著超越了多标记预测和离散扩散方法，展示了其在效率上的优势。
🎯 应用场景
Lafa模型的潜在应用场景包括自然语言处理中的文本生成、对话系统、代码生成等领域。其高效的训练和推理能力使其在实际应用中能够处理更大规模的数据，提升用户体验，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Continuous flow language models offer a path to parallel generation with tools for control and acceleration unavailable to discrete diffusion, yet effective techniques for building them at the billion-parameter scale remain less established. We present Lafa (Large flow language model), a fast, high-performing flow language model scaled to 8B parameters in a data-efficient manner. Lafa is a blockwise flow model with causal attention on the prefix and bidirectional, asynchronous flow within each block. This design enables efficient training by adapting pretrained autoregressive (AR) models and fast inference via prefix caching and blockwise parallel decoding. We train Lafa at 0.5B, 7B, and 8B scales with fewer than 30B tokens, more efficient than previous diffusion models, and evaluate it on instruction following, reasoning, and coding, where the learned flow matches or surpasses the quality of AR and can be distilled into flow maps for one- and few-step generation. Notably, flow training preserves or even improves pretrained AR capabilities via a multi-token prediction effect, which we leverage in a self-speculative decoding scheme that verifies flow-based drafts autoregressively within a single model. This yields 2.54x the throughput of an AR model at comparable quality, outperforming multi-token prediction and discrete diffusion methods. Our findings show that continuous flows can serve as a scalable foundation for language modeling.