Latent Sketchpad: Sketching Visual Thoughts to Elicit Multimodal Reasoning in MLLMs

📄 arXiv: 2510.24514v1 📥 PDF

作者: Huanyu Zhang, Wenshan Wu, Chengzu Li, Ning Shang, Yan Xia, Yangyu Huang, Yifan Zhang, Li Dong, Zhang Zhang, Liang Wang, Tieniu Tan, Furu Wei

分类: cs.CV, cs.CL

发布日期: 2025-10-28

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

Latent Sketchpad：利用草图视觉思维提升多模态大语言模型的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉推理 视觉规划 草图生成 自回归模型

📋 核心要点

  1. 现有MLLM在复杂视觉场景中缺乏有效的视觉规划和想象能力，限制了其推理性能。
  2. Latent Sketchpad通过引入内部视觉草稿板，使MLLM能够进行生成式视觉思考，辅助推理过程。
  3. 实验表明，该框架在多个MLLM上实现了与基线模型相当或更优越的推理性能，并具有良好的泛化能力。

📝 摘要（中文）

多模态大语言模型(MLLM)在视觉理解方面表现出色，但在需要视觉规划和想象的复杂场景中常常遇到困难。受人类使用草图作为视觉思维来发展和交流想法的启发，我们提出了Latent Sketchpad，一个为MLLM配备内部视觉草稿板的框架。MLLM的内部视觉表征传统上仅限于感知理解。我们重新利用它们来支持生成式视觉思维，同时不影响推理能力。在先进的MLLM基础上，我们的方法将视觉生成直接集成到其原生的自回归推理过程中。它允许模型将文本推理与视觉潜码的生成交织在一起。这些潜码指导内部思维过程，并且可以被翻译成草图图像以提高可解释性。为了实现这一点，我们引入了两个组件：一个上下文感知的视觉头自回归地产生视觉表征，以及一个预训练的草图解码器将这些表征渲染成人类可解释的图像。我们在我们新的数据集MazePlanning上评估了该框架。跨各种MLLM的实验表明，Latent Sketchpad提供了与它们的基础模型相当甚至更优越的推理性能。它进一步推广到不同的前沿MLLM，包括Gemma3和Qwen2.5-VL。通过将模型的文本推理扩展到视觉思维，我们的框架为更丰富的人机交互和更广泛的应用开辟了新的机会。

🔬 方法详解

问题定义：现有的多模态大语言模型虽然在视觉理解方面取得了显著进展，但在需要复杂视觉规划和想象的场景中表现不佳。它们缺乏有效的机制来将视觉信息融入到推理过程中，导致在解决需要视觉推理的任务时性能受限。现有方法主要依赖于对输入图像的直接理解，而无法进行主动的视觉探索和规划。

核心思路：Latent Sketchpad的核心思想是赋予MLLM一个内部的“视觉草稿板”，使其能够像人类一样通过草图来辅助思考。模型可以生成视觉潜码，这些潜码代表了模型对场景的理解和规划，并可以被解码成人类可理解的草图。通过将文本推理与视觉生成交织在一起，模型可以更好地进行视觉推理和规划。

技术框架：Latent Sketchpad框架包含两个主要组件：上下文感知的视觉头（Context-Aware Vision Head）和预训练的草图解码器（Sketch Decoder）。视觉头负责自回归地生成视觉表征，这些表征捕捉了模型对场景的理解和规划。草图解码器则将这些视觉表征渲染成人类可理解的草图图像，从而提高模型的可解释性。整个框架集成到MLLM的自回归推理过程中，允许模型在文本推理的同时生成视觉潜码。

关键创新：该方法最重要的创新点在于将视觉生成直接集成到MLLM的自回归推理过程中。与以往方法不同，Latent Sketchpad不是简单地将视觉信息作为输入，而是允许模型主动生成视觉表征来辅助推理。这种方法使得模型能够进行更灵活和高效的视觉推理和规划。

关键设计：上下文感知的视觉头采用自回归的方式生成视觉表征，其具体网络结构和训练方式未知。预训练的草图解码器负责将视觉表征解码成草图图像，其训练数据和具体实现细节未知。MazePlanning数据集被用于评估该框架的性能，该数据集的具体内容和评估指标未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Latent Sketchpad在MazePlanning数据集上取得了与基线模型相当甚至更优越的推理性能。该框架还具有良好的泛化能力，可以应用于不同的前沿MLLM，包括Gemma3和Qwen2.5-VL。这些结果表明，通过引入内部视觉草稿板，可以有效提升MLLM的视觉推理能力。

🎯 应用场景

Latent Sketchpad具有广泛的应用前景，例如机器人导航、视觉问答、图像生成和编辑等。通过赋予模型视觉思考能力，可以实现更自然和高效的人机交互。该技术还可以用于辅助设计和创作，例如帮助设计师快速生成草图和原型。未来，该技术有望应用于更广泛的领域，例如教育、医疗和娱乐。

📄 摘要（原文）

While Multimodal Large Language Models (MLLMs) excel at visual understanding, they often struggle in complex scenarios that require visual planning and imagination. Inspired by how humans use sketching as a form of visual thinking to develop and communicate ideas, we introduce Latent Sketchpad, a framework that equips MLLMs with an internal visual scratchpad. The internal visual representations of MLLMs have traditionally been confined to perceptual understanding. We repurpose them to support generative visual thought without compromising reasoning ability. Building on frontier MLLMs, our approach integrates visual generation directly into their native autoregressive reasoning process. It allows the model to interleave textual reasoning with the generation of visual latents. These latents guide the internal thought process and can be translated into sketch images for interpretability. To realize this, we introduce two components: a Context-Aware Vision Head autoregressively produces visual representations, and a pretrained Sketch Decoder renders these into human-interpretable images. We evaluate the framework on our new dataset MazePlanning. Experiments across various MLLMs show that Latent Sketchpad delivers comparable or even superior reasoning performance to their backbone. It further generalizes across distinct frontier MLLMs, including Gemma3 and Qwen2.5-VL. By extending model's textual reasoning to visual thinking, our framework opens new opportunities for richer human-computer interaction and broader applications. More details and resources are available on our project page: https://latent-sketchpad.github.io/.