LLaCO: Continuous Diffusion for Large Language Models with Competition-Aware Semantic Scheduling

📄 arXiv: 2610.32604v1 📥 PDF

作者: Zijian Jia, Peixuan Zhang, Genying Li, Di Wu, Yujie Fu, Si Li, Boxin Shi, Shuchen Weng

分类: cs.AI

发布日期: 2026-10-23

💡 一句话要点

提出LLaCO以解决连续扩散模型的时间压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 连续扩散模型 文本生成 竞争阈值理论 语义保留调度 自然语言处理 高维超越 生成框架

📋 核心要点

  1. 现有的连续扩散模型在时间进程与几何轨迹之间存在不一致，导致生成过程中的时间压缩问题。
  2. 论文提出了竞争阈值理论（CTT）和语义保留调度（SRS），以优化标记竞争和时间分配。
  3. LLaCO模型在8B参数下超越了现有的连续扩散基线，并与同规模的离散扩散模型表现相当。

📝 摘要（中文）

连续扩散模型作为一种非自回归的文本生成范式，面临着几何轨迹与时间进程不一致的问题，导致严重的时间压缩。本文提出竞争阈值理论（CTT），强调在语义分离超过有效噪声幅度时，候选标记才能超越源标记。为了解决这一问题，论文引入了语义保留调度（SRS），并提出了LLaCO框架，通过方向适配器和时间步调制，将预训练模型适配到连续表示。LLaCO在8B模型中表现优于现有的连续扩散基线，并与同规模的离散扩散模型相媲美。

🔬 方法详解

问题定义：本文旨在解决连续扩散模型中几何轨迹与时间进程不一致的问题，导致的时间压缩现象影响了文本生成的质量和效率。

核心思路：提出竞争阈值理论（CTT），强调在有效噪声幅度超过语义分离时，候选标记才能超越源标记，从而优化标记间的竞争关系。引入语义保留调度（SRS）来调整时间分配，使其与身份衰减的进程相一致。

技术框架：LLaCO框架包括一个预训练的主干网络，通过方向适配器和时间步调制将其适配到连续表示。采用球面噪声过程，形成向掩蔽偏置端点的测地插值，消除范数衰减，同时保持准确的标记竞争。

关键创新：LLaCO的核心创新在于结合了竞争阈值理论和语义保留调度，优化了标记竞争的评估方式，显著改善了生成质量。与现有方法相比，LLaCO在处理高维超越时表现出更高的有效性。

关键设计：LLaCO采用了基于对数秩衰减的去噪轨迹重新分配，确保在高噪声水平下仍能保持标记的准确性。模型的设计细节包括适配器的结构、损失函数的选择以及调制机制的实现。

📊 实验亮点

LLaCO模型在8B参数下的实验结果显示，其性能超越了现有的连续扩散基线，生成质量显著提升，且在与同规模离散扩散模型的比较中表现相当，验证了其有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括自然语言生成、对话系统和文本摘要等。通过优化文本生成过程，LLaCO能够在多种语言处理任务中提供更高质量的输出，具有重要的实际价值和未来影响。

📄 摘要（原文）

Continuous diffusion models have emerged as a promising non-autoregressive paradigm for text generation over continuous embedding spaces. Along the continuous trajectory, the residual token identity directly shapes the denoising objective. However, the geometric trajectory misaligns with temporal progression, triggering severe temporal compression. In this paper, we show that embedding norm decay causes Euclidean distance to yield spurious overtaking, indicating that token competition must be evaluated directionally. In this space, a candidate overtakes the source token only when the effective noise magnitude surpasses their semantic separation. We formalize these pairwise dynamics as the Competition Threshold Theory (CTT). Crucially, high-dimensional overtaking requires extreme noise levels, causing standard trajectories to concentrate identity decay into a narrow window near the noisy endpoint. To resolve this, we propose Semantic Retention Scheduling (SRS) to align time allocation with the progression of identity decay, and demonstrate that existing token identity metrics are fundamentally statistical aggregations of these pairwise crossings. Building on these theoretical insights, we introduce LLaCO, a generative framework powered by competition-aware semantic scheduling. LLaCO adapts a pretrained backbone to continuous representations via an embedding directional adapter and timestep-conditioned modulation. To operate within the directional space, LLaCO employs a spherical noising process formulated as a geodesic interpolation toward a mask-biased endpoint, eliminating norm decay while preserving accurate token competition. Guided by SRS, LLaCO reallocates the denoising trajectory proportionally to the logarithmic rank decay. Instantiated as an 8B model, LLaCO outperforms previous continuous diffusion baselines and rivals discrete diffusion models of comparable scale.