Beyond the Sequentiality Bottleneck: A Hybrid Diffusion-Autoregressive Framework for Efficient Multimodal Reasoning

📄 arXiv: 2610.28584v1 📥 PDF

作者: Wei Cai, Jian Zhao, Yuchen Yuan, Xuelong Li

分类: cs.AI

发布日期: 2026-10-20

💡 一句话要点

提出CoRAL框架以解决自回归模型推理效率低下问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 自回归模型 扩散模型 协作学习 视觉-语言任务

📋 核心要点

  1. 现有自回归模型在推理时受到顺序处理的限制，导致效率低下，而扩散模型虽然并行但缺乏语义一致性。
  2. 本文提出的CoRAL框架结合了DLM和ARM的优点，通过不对称规划-执行者架构实现高效推理。
  3. 实验结果显示，CoRAL在视觉-语言任务上显著超越了传统扩散方法，并与强大的自回归模型竞争，展现出更高的效率和质量。

📝 摘要（中文）

自回归模型（ARMs）在推理过程中面临“顺序瓶颈”，而扩散语言模型（DLMs）虽然提供了并行性，但缺乏语义连贯性。为了解决这两个问题，本文提出了协作推理不对称学习（CoRAL）框架，采用不对称规划-执行者（APE）架构：DLM规划器并行生成K条多样化推理轨迹，而大型ARM执行者选择最佳计划并综合最终答案。为有效训练规划器，本文引入了基于奖励的去噪（RDC），将基于结果的奖励整合到扩散过程中，以引导其朝向目标导向的推理。实验结果表明，CoRAL在视觉-语言基准测试中显著优于以往的扩散方法，并在强ARMs中表现出竞争力，实现了效率和质量的双重提升。

🔬 方法详解

问题定义：本文旨在解决自回归模型在推理过程中存在的顺序瓶颈问题，以及扩散语言模型在语义连贯性方面的不足。

核心思路：提出的CoRAL框架通过不对称规划-执行者架构，利用DLM并行生成多条推理轨迹，并通过ARM选择最佳方案，从而提高推理效率和质量。

技术框架：CoRAL框架包含两个主要模块：DLM规划器和ARM执行者。规划器生成K条多样化的推理轨迹，执行者则从中选择最优计划并合成最终答案。

关键创新：最重要的创新在于引入了基于奖励的去噪（RDC）机制，将结果导向的奖励整合到扩散过程中，以引导推理朝向目标。与现有方法相比，CoRAL在推理效率和结果质量上均有显著提升。

关键设计：在训练过程中，RDC机制通过奖励信号优化DLM的生成过程，确保生成的推理轨迹更具目标导向性。此外，规划器和执行者之间的协作设计也增强了整体推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoRAL在视觉-语言基准测试中显著超越了以往的扩散方法，具体性能提升幅度达到XX%（具体数据待补充），并在与强自回归模型的对比中表现出竞争力，展示了其在效率和质量上的双重优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像理解、自然语言处理等多模态任务。通过提高推理效率和质量，CoRAL框架能够在实际应用中提供更快速和准确的决策支持，推动相关领域的发展。

📄 摘要（原文）

Autoregressive models (ARMs) face a "Sequentiality Bottleneck" in reasoning, while diffusion language models (DLMs) offer parallelism but lack semantic coherence. To addresses both limitations, we propose Collaborative Reasoning Asymmetric Learning (CoRAL), a hybrid framework via an Asymmetric Planner-Executor (APE) architecture: a DLM Planner generates K diverse reasoning trajectories in parallel, while a large ARM Executor selects the optimal plan and synthesizes the final answer. To train the Planner effectively, we introduce Reward-Guided Denoising for CoT (RDC), which integrates outcome-based rewards into the diffusion process to steer it toward goal-directed reasoning. Experiments on vision-language benchmarks show that CoRAL significantly outperforms prior diffusion-based methods and achieves competitive performance against strong ARMs, achieving both superior efficiency and quality.