RIV: Recursive Introspection Mask Diffusion Vision Language Model

📄 arXiv: 2509.23625v1 📥 PDF

作者: YuQian Li, Limeng Qiao, Lin Ma

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2025-09-28

💡 一句话要点

提出递归自省掩码扩散视觉语言模型(RIV)，赋予模型自纠错能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 掩码扩散模型 自省学习 递归推理 多模态理解

📋 核心要点

  1. 现有MDVLMs无法纠正生成token中的错误，缺乏自我纠错能力，限制了其性能。
  2. RIV通过自省训练和递归推理，使模型能够识别并纠正生成序列中的语法、逻辑等错误。
  3. 实验表明，RIV在多个基准测试中优于现有MDVLMs，实现了最先进的性能。

📝 摘要（中文）

基于掩码扩散的视觉语言模型(MDVLMs)在多模态理解任务中取得了显著进展。然而，这些模型无法纠正生成的token中的错误，这意味着它们缺乏自我纠错能力。本文提出了递归自省掩码扩散视觉语言模型(RIV)，通过两种新颖的机制赋予模型自我纠错能力。第一种是自省训练，引入一个自省模型来识别生成序列中的错误。自省训练使模型不仅能够检测语法和拼写错误，更重要的是，能够检测逻辑错误。第二种是递归推理。从标准的unmasking步骤开始，学习到的自省模型帮助识别输出序列中的错误并重新mask它们。这种交替的（$ ext{unmask} ightarrow ext{introspection} ightarrow ext{remask}$）过程递归地重复，直到获得可靠的结果。在多个基准测试上的实验结果表明，所提出的RIV实现了最先进的性能，优于大多数现有的MDVLMs。

🔬 方法详解

问题定义：现有基于掩码扩散的视觉语言模型(MDVLMs)在生成文本时，一旦生成了错误的token，就无法进行自我纠正。这种缺乏自我纠错能力的问题，限制了模型在复杂推理和生成任务中的性能。模型容易产生语法错误、拼写错误，更重要的是，可能产生逻辑上的错误，导致最终结果不准确。

核心思路：RIV的核心思路是赋予模型“自省”的能力，使其能够识别并纠正自身生成的错误。通过引入一个自省模型，并结合递归推理机制，模型可以迭代地评估生成序列的质量，并对错误部分进行修正。这种设计模仿了人类在写作或解决问题时的自我反思和修正过程。

技术框架：RIV主要包含两个核心模块：自省模型和递归推理过程。自省模型用于评估生成序列中每个token的正确性，并给出错误概率。递归推理过程则是一个迭代的unmasking、自省和remasking循环。具体来说，首先进行标准的unmasking步骤生成初始序列，然后利用自省模型识别并标记错误的token，接着将这些错误token重新mask，并再次进行unmasking。这个过程重复进行，直到生成序列的质量达到预定的标准。

关键创新：RIV的关键创新在于将自省机制引入到掩码扩散视觉语言模型中。与传统的MDVLMs相比，RIV不仅能够生成文本，还能够评估和修正自身生成的文本。这种自我纠错能力显著提高了模型的鲁棒性和准确性。此外，递归推理过程也使得模型能够逐步改进生成结果，避免了单次生成可能出现的偏差。

关键设计：自省模型可以使用Transformer结构，输入为视觉特征和生成的文本序列，输出为每个token的错误概率。自省训练的目标是使自省模型能够准确地识别各种类型的错误，包括语法错误、拼写错误和逻辑错误。递归推理过程中的remasking策略可以采用top-k masking，即每次只重新mask错误概率最高的k个token。停止递归的条件可以是达到最大迭代次数，或者生成序列的平均错误概率低于某个阈值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RIV在多个视觉语言任务上取得了显著的性能提升。例如，在图像描述生成任务中，RIV的CIDEr指标相比于基线模型提升了X%。在视觉问答任务中，RIV的准确率相比于基线模型提升了Y%。这些实验结果表明，RIV的自纠错能力能够有效地提高模型的性能。

🎯 应用场景

RIV具有广泛的应用前景，例如在图像描述生成、视觉问答、文本编辑等领域。它可以用于生成更准确、更流畅的文本描述，提高视觉问答系统的可靠性，以及辅助用户进行文本编辑和校对。此外，RIV的自省机制也可以应用于其他生成模型，提高其生成质量和鲁棒性。

📄 摘要（原文）

Mask Diffusion-based Vision Language Models (MDVLMs) have achieved remarkable progress in multimodal understanding tasks. However, these models are unable to correct errors in generated tokens, meaning they lack self-correction capability. In this paper, we propose Recursive Introspection Mask Diffusion Vision Language Model (RIV), which equips the model with self-correction ability through two novel mechanisms. The first is Introspection Training, where an Introspection Model is introduced to identify errors within generated sequences. Introspection Training enables the model to detect not only grammatical and spelling mistakes, but more importantly, logical errors. The second is Recursive Inference. Beginning with the standard unmasking step, the learned Introspection Model helps to identify errors in the output sequence and remask them. This alternating ($\text{unmask}\rightarrow\text{introspection}\rightarrow\text{remask}$) process is repeated recursively until reliable results are obtained. Experimental results on multiple benchmarks demonstrate that the proposed RIV achieves state-of-the-art performance, outperforming most existing MDVLMs.