Distilling Visual Reasoning into Text Space

📄 arXiv: 2609.34408v1 📥 PDF

作者: Wenhan Yang, Nilay Naharas, Ali Payani, Baharan Mirzasoleiman

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出V2T框架以解决视觉推理中的中间表示问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉推理 知识蒸馏 多模态推理 视觉语言模型 强化学习 文本推理 模型训练

📋 核心要点

  1. 现有方法在多模态推理中依赖中间视觉表示，导致推理过程中的错误和干扰。
  2. V2T框架通过知识蒸馏，使LVLMs能够直接从视觉推理中学习，而无需中间视觉表示。
  3. 实验结果显示，V2T在多个基准上超越教师模型和现有基线，准确率提升显著。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在多模态推理中展现出强大的潜力，但在处理需要超出输入图像直接可观察概念的任务时常常面临挑战。现有方法生成中间图像或潜在视觉标记来指导推理，但这些表示可能引入错误，并在推理过程中干扰文本推理。我们提出了视觉到文本的思维链蒸馏（V2T）框架，使LVLMs能够在推理时内化视觉推理，而无需生成中间视觉表示。V2T首先训练一个教师LVLM，使用交错的视觉和文本思维链，然后通过知识蒸馏训练学生LVLM。实验表明，V2T在多个多模态推理基准上表现优异，平均准确率提升14.3%。

🔬 方法详解

问题定义：本论文旨在解决大型视觉语言模型在多模态推理中对中间视觉表示的依赖问题。现有方法在推理过程中生成中间表示，容易引入错误并影响最终的文本推理效果。

核心思路：V2T框架的核心思想是通过知识蒸馏，使学生模型能够直接学习教师模型的推理过程，而不需要生成中间视觉表示。这种设计旨在减少推理过程中的干扰，提高推理的准确性。

技术框架：V2T的整体架构包括两个主要阶段：首先训练教师LVLM，使用交错的视觉和文本思维链；然后通过知识蒸馏训练学生LVLM，利用教师的logits和真实文本推理的交叉熵监督。

关键创新：V2T的主要创新在于不依赖中间视觉表示，直接通过文本推理来实现视觉推理的内化。这一方法显著减少了推理过程中的错误，并提高了效率。

关键设计：在训练过程中，V2T使用了教师模型的注意力机制来指导学生模型，同时利用真实的边界框信息来增强后续的强化学习阶段。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，V2T在多个多模态推理基准上超越了教师模型和现有基线，平均准确率在持出集上提升了14.3%，在更广泛的视觉评估套件上提升了2.7%。此外，V2T的训练速度比最先进的基线快42倍。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像描述生成以及多模态搜索引擎等。通过提高视觉推理的准确性，V2T框架能够在实际应用中提供更为可靠的推理结果，推动多模态人工智能的发展。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) have shown strong promise for multimodal reasoning, yet often struggle with tasks requiring concepts beyond what is directly observable in the input image. Existing methods generate intermediate images or latent visual tokens to guide reasoning, but these representations can introduce errors and increasingly interfere with textual reasoning as reasoning progresses. We propose Visual-to-Text Chain-of-Thought Distillation (V2T), a framework that enables LVLMs to internalize visual reasoning without generating intermediate visual representations at inference time. V2T first trains a teacher LVLM using interleaved visual and textual chains of thought, and then uses knowledge distillation to train a student LVLM using the teacher's logits and cross-entropy supervision from ground-truth textual reasoning. When reasoning images can be mapped to the original image, V2T can additionally distill the teacher's attention to corresponding regions, while ground-truth bounding boxes can further guide a subsequent reinforcement learning stage. Experiments across multiple multimodal reasoning benchmarks show that V2T consistently outperforms the teacher and existing baselines, improving average accuracy by 14.3% on a held-out set and 2.7% on the broader visual evaluation suite. Moreover, lightweight SFT and substantially reduced RL make V2T up to 42x faster to train than state-of-the-art baselines.