Flow-of-Thought: A Framework for Visual Reasoning

📄 arXiv: 2610.09746v1 📥 PDF

作者: Mariia Baidachna, Nicolas Pugeault

分类: cs.CV

发布日期: 2026-10-07

备注: NeurIPS WiML 2026 version: OpenReview version: https://openreview.net/forum?id=QBcqVOacYO

💡 一句话要点

提出Flow-of-Thought框架以解决视觉推理中的空间理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉推理 心理意象 空间理解 生成模型 轨迹流场 前景加权 多视图学习

📋 核心要点

  1. 现有的大型语言模型和视觉变换器在空间理解任务上表现不佳，限制了其应用。
  2. 提出Flow-of-Thought框架，通过生成视觉草图作为推理中间步骤，模拟人类的心理意象。
  3. FoT在多个测试中表现优异，Tetris和彩色形状的准确率分别达到100%和99%。

📝 摘要（中文）

心理意象，即“用心灵的眼睛看”，是人类认知的重要方面。尽管大型语言模型（LLMs）和视觉变换器（ViTs）在许多任务上取得了快速进展，但在需要空间理解的任务上仍表现不佳。为了解决这一问题，本文提出了Flow-of-Thought（FoT）框架，该框架将生成视觉草图作为中间推理步骤，模拟人类的心理意象。我们在$SO(2)$群轨道和累积最短路径上训练坐标感知的轨迹流场，然后冻结学习到的动态；通过前景加权重建能量比较同类与异类决策，FoT在锁定测试中在Tetris上达到100.0%的准确率，在彩色形状上达到99.0%。在冻结转移下，轨道训练的2D流在BLINK多视图上优于仅端点控制（72.2%对63.9%），支持连续视觉轨迹作为某些分布外设置中空间推理的有效且可解释的表示。

🔬 方法详解

问题定义：本文旨在解决现有视觉推理模型在空间理解任务中的不足，尤其是在生成和处理视觉信息方面的局限性。现有方法在处理复杂的空间关系时表现不佳，导致推理能力受限。

核心思路：Flow-of-Thought框架的核心思想是通过生成视觉草图来模拟人类的心理意象，从而增强模型的空间推理能力。该方法通过引入中间推理步骤，使得模型能够更好地理解和处理空间信息。

技术框架：FoT的整体架构包括坐标感知的轨迹流场训练、生成视觉草图的过程以及通过前景加权重建能量进行决策比较。模型首先在$SO(2)$群轨道和累积最短路径上进行训练，然后冻结学习到的动态。

关键创新：FoT的主要创新在于将视觉草图生成作为推理过程中的中间步骤，这与传统方法直接进行决策的方式有本质区别。通过这种方式，FoT能够更有效地捕捉空间关系，提升推理能力。

关键设计：在模型设计中，采用了坐标感知的轨迹流场，损失函数使用前景加权重建能量，以增强模型对空间信息的理解和处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Flow-of-Thought框架在Tetris上达到了100%的准确率，在彩色形状任务中达到了99%的准确率。此外，在BLINK多视图任务中，轨道训练的2D流相较于仅端点控制的模型表现出显著提升（72.2%对63.9%），验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶、增强现实等需要高水平空间理解的场景。通过提升模型的空间推理能力，FoT框架能够在复杂环境中更好地进行决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Mental imagery, ``seeing with the mind's eye'' is an essential aspect of human cognition. Despite rapid progress Large Language Models (LLMs) and Vision Transformers (ViTs) still underperform on tasks requiring spatial understanding. To address this, we introduce Flow-of-Thought (FoT), a framework that integrates the generation of visual sketches as intermediate reasoning steps, mimicking mental imagery in humans. We train coordinate-aware trajectory flow fields on $SO(2)$ group orbits and cumulative shortest paths, then freeze the learned dynamics; same vs. different decisions compare competing generative hypotheses using foreground-weighted reconstruction energy. On locked tests FoT reaches 100.0% accuracy on Tetris and 99.0% on colored shapes. Under frozen transfer, the orbit-trained 2D flow improves over its endpoint-only control on BLINK Multi-view (72.2% vs. 63.9% on 133 public validation pairs), supporting continuous visual traces as an effective and interpretable representation for spatial reasoning in some out-of-distribution settings.