CoTA++: Understanding the Repeat Curse in dMLLMs from an Information Flow Perspective

📄 arXiv: 2610.23290v1 📥 PDF

作者: Qiyan Zhao, Xiaofeng Zhang, Xu-Yao Zhang, Shijie Han, Zhepeng Li, Shunzhi Zhu, Da-Han Wang

分类: cs.AI

发布日期: 2026-10-16

💡 一句话要点

提出CoTA++以解决dMLLMs中的重复诅咒问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 信息流 重复诅咒 注意力机制 解码优化 缓存技术 自然语言处理

📋 核心要点

  1. 现有的dMLLMs在使用近似缓存时，容易导致响应重复，形成所谓的“重复诅咒”，影响生成质量。
  2. 本文提出CoTA++框架，通过重新锚定上下文-标记注意力、解码感知刷新和上下文-标记熵引导投票等方法，解决了重复问题。
  3. 在三个dMLLMs和两个缓存后端的实验中，CoTA++将长响应的样本重复率从最高99.6%降低至17.0%，并恢复了大部分准确性。

📝 摘要（中文）

基于扩散的多模态大语言模型（dMLLMs）通过双向注意力进行迭代去噪解码，这使得标准的自回归键值缓存无法使用。实际应用依赖于近似缓存，但这种缓存常导致响应在相邻位置重复一个标记，形成我们称之为“重复诅咒”的失败。通过追踪上下文-标记信息流，发现了三种干扰。为此，本文提出了CoTA++，一个无训练、即插即用的框架，针对每种干扰提出解决方案。实验表明，CoTA++显著降低了长响应的样本重复率，并恢复了大部分因缓存而损失的准确性。

🔬 方法详解

问题定义：本文解决的是在dMLLMs中，由于近似缓存导致的响应重复问题，即“重复诅咒”。现有方法在缓存使用上存在注意力分散、过时状态解码等痛点。

核心思路：CoTA++框架通过三个主要组件，分别在不同阶段解决信息流中的干扰，确保生成的响应更连贯且准确。

技术框架：CoTA++包含三个主要模块：上下文-标记注意力重新锚定、解码感知刷新和上下文-标记熵引导投票，分别在解码步骤的不同阶段发挥作用。

关键创新：最重要的创新在于提出了针对信息流干扰的三种解决方案，显著改善了生成质量，与传统方法相比，能够有效减少重复现象。

关键设计：在设计中，注意力重新锚定模块重新形成注意力路由，解码感知刷新模块为即将提交的位置保留缓存刷新预算，熵引导投票则通过上下文的深层熵来调整位置的置信度，确保生成的多样性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CoTA++在三个dMLLMs和两个缓存后端的测试中，将长响应的样本重复率从最高99.6%降低至17.0%，并在九个基准测试中恢复了大部分因缓存损失的准确性，同时保持了低于15%的速度开销。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和内容生成等。通过提高dMLLMs的生成质量，CoTA++能够在实际应用中提供更连贯的响应，提升用户体验，未来可能对智能助手和自动化内容创作产生深远影响。

📄 摘要（原文）

Diffusion-based multimodal large language models (dMLLMs) decode by iterative denoising with bidirectional attention, which precludes the standard autoregressive key--value cache. Practical deployments therefore rely on approximate caching that reuses intermediate states across denoising steps. Such caching, however, often makes a response repeat one token at adjacent positions in a run that breaks the sentence, a failure we term the \emph{Repeat Curse}. Tracing the context-token information flow reveals three disruptions. Within a step, caching disperses the attention that anchors a position on nearby context tokens. Across steps, similarity-based refresh is not staleness-aware, so some positions are decoded against stale key--value states. Across layers, the deep-layer entropy of the context fails to converge where repetition arises. We accordingly propose CoTA++, a training-free, plug-and-play framework that counteracts each disruption where it originates: Context-Token Attention Re-anchoring re-forms the attention routing against the current context, Decode-Aware Refresh reserves part of the cache's refresh budget for the positions about to be committed, and Context-Token Entropy-Guided Voting discounts the confidence of a position by the deep-layer entropy of its context, which reorders the unmasking. The three components act at non-overlapping stages of a decoding step and compose freely with existing dMLLMs and caches. Across three dMLLMs and two caching backends, CoTA++ reduces the sample repetition rate of long responses from up to 99.6\% to at most 17.0\%, recovers most of the accuracy lost to caching on nine benchmarks, and keeps the speedup of caching at under 15\% overhead, making approximate caching reliable for dMLLMs.