Dynamic Infilling Anchors for Format-Constrained Generation in Diffusion Large Language Models

📄 arXiv: 2606.04535v1 📥 PDF

作者: Boyan Han, Yiwei Wang, Yi Song, Yujun Cai, Chi Zhang

分类: cs.CL, cs.AI

发布日期: 2026-06-03

备注: Accepted to the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

💡 一句话要点

提出动态填充锚点以解决格式约束生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 动态填充 格式约束生成 自然语言处理 推理任务

📋 核心要点

  1. 现有的固定锚点方法在生成过程中往往导致内容的截断或冗余，无法灵活适应格式约束。
  2. 本文提出的动态填充锚点（DIA）方法通过动态估计锚点位置，灵活调整生成长度，避免了固定锚点的局限性。
  3. 实验结果显示，DIA在GSM8K和MATH基准测试中显著提高了格式合规性和答案准确性，展现出强大的零-shot 生成能力。

📝 摘要（中文）

扩散大型语言模型（dLLMs）具有双向注意力和并行生成的能力，使其能够利用全局上下文，自然支持可解析的JSON或推理模板等格式约束任务。尽管固定锚点可以强制执行这些约束，但它们往往会导致生成的内容过于僵化，造成推理被截断或冗余内容。为此，本文提出了一种动态填充锚点（DIA）的方法，该方法无需训练，能够动态估计结束锚点位置，以在迭代填充之前调整生成长度。这一灵活机制确保了结构的正确性和语义的一致性，避免了固定跨度方法的低效。实验结果表明，DIA在格式合规性和答案准确性方面显著提升，在GSM8K和MATH上实现了显著的零-shot 增益。这些结果确立了DIA作为可靠、结构感知生成的强大途径。

🔬 方法详解

问题定义：本文旨在解决扩散大型语言模型在格式约束生成任务中存在的固定锚点导致的内容截断和冗余问题。现有方法的痛点在于其生成过程缺乏灵活性，无法适应不同长度的生成需求。

核心思路：论文提出的动态填充锚点（DIA）方法通过动态估计锚点位置，允许模型在生成之前调整生成长度，从而实现更灵活的格式约束生成。这样的设计使得生成内容在结构上更加正确，语义上更加连贯。

技术框架：DIA方法的整体架构包括两个主要阶段：首先是动态估计结束锚点位置，其次是基于估计结果进行迭代填充生成。该方法不需要额外的训练过程，直接应用于现有的生成模型中。

关键创新：DIA的核心创新在于其动态估计机制，与传统的固定锚点方法相比，DIA能够根据上下文灵活调整生成长度，从而避免了生成过程中的低效和不一致性。

关键设计：在DIA中，关键的参数设置包括锚点位置的动态估计算法，损失函数的设计确保生成内容的结构和语义一致性，网络结构则基于现有的扩散模型进行优化，以适应新的生成需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DIA在GSM8K和MATH基准测试中显著提高了格式合规性和答案准确性，具体表现为在零-shot 设置下，DIA相较于基线方法实现了显著的性能提升，展示了其在复杂推理任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的格式约束生成任务，如自动生成可解析的JSON数据、推理模板等。DIA方法的灵活性和高效性使其在实际应用中具有重要价值，能够提升生成模型在多种场景下的表现，未来可能推动更多结构感知生成技术的发展。

📄 摘要（原文）

Diffusion large language models (dLLMs) offer bidirectional attention and parallel generation, enabling them to exploit global context and naturally support format-constrained tasks like parseable JSON or reasoning templates. While straightforward fixed anchors can enforce such constraints, they often impose rigid spans, leading to truncated reasoning or redundant content. To overcome this, we propose Dynamic Infilling Anchors (DIA), a training-free method that dynamically estimates end-anchor positions to adjust generation length before iterative infilling. This flexible mechanism ensures structural correctness and semantic coherence, avoiding the inefficiencies of fixed-span methods. Experiments on reasoning benchmarks demonstrate that DIA substantially improves format compliance and answer accuracy, achieving significant zero-shot gains on GSM8K and MATH. These results establish DIA as a robust pathway toward reliable, structure-aware generation.