VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL

📄 arXiv: 2505.23977v1 📥 PDF

作者: Yichen Feng, Zhangchen Xu, Fengqing Jiang, Yuetai Li, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-05-29

备注: Project page at https://visualsphinx.github.io/

💡 一句话要点

VisualSphinx：用于强化学习的大规模合成视觉逻辑谜题数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 逻辑推理 合成数据 强化学习 图像合成

📋 核心要点

  1. 现有视觉语言模型在逻辑推理方面面临挑战，缺乏大规模、结构化的训练数据是主要瓶颈。
  2. VisualSphinx提出了一种规则到图像的合成流程，从种子问题提取规则并生成图像合成代码，从而构建大规模数据集。
  3. 实验表明，在VisualSphinx上训练的VLM在逻辑推理任务上表现出显著提升，并能泛化到其他推理任务。

📝 摘要（中文）

视觉语言模型(VLM)需要执行有效多模态推理并做出逻辑连贯的决策，这对于图表理解和空间问题解决等任务至关重要。然而，当前的VLM推理缺乏大规模且结构良好的训练数据集。为了弥补这一差距，我们提出了VisualSphinx，这是首个大规模合成视觉逻辑推理训练数据。为了解决图像合成与答案对齐的挑战，我们提出了一种规则到图像的合成流程，该流程从种子问题中提取和扩展谜题规则，并生成用于谜题样本组装的图像合成代码。实验表明，使用VisualSphinx上的GRPO训练的VLM受益于我们数据集的逻辑连贯性和可读性，并在逻辑推理任务上表现出改进的性能。从VisualSphinx开发的增强的推理能力也有助于其他推理任务，如代数推理、算术推理和几何推理。

🔬 方法详解

问题定义：现有视觉语言模型(VLM)在进行复杂推理时，尤其是在需要逻辑连贯性的任务中，表现不足。主要痛点在于缺乏大规模、高质量、结构化的训练数据。现有的数据集要么规模有限，要么缺乏明确的逻辑规则，难以有效训练VLM的推理能力。

核心思路：VisualSphinx的核心思路是利用程序化生成的方法，自动创建大规模的视觉逻辑谜题数据集。通过定义明确的规则，并将其转化为图像合成代码，可以保证数据集的逻辑一致性和可控性，从而有效训练VLM的推理能力。这种方法避免了人工标注的成本和偏差，并能够灵活地扩展数据集的规模和复杂度。

技术框架：VisualSphinx的整体框架包含以下几个主要模块：1) 规则提取与扩展：从少量的种子问题中提取逻辑规则，并利用规则组合和变异生成新的规则。2) 图像合成代码生成：将逻辑规则转化为图像合成代码，该代码能够根据规则生成对应的视觉场景。3) 谜题样本组装：根据生成的图像和规则，组装成完整的视觉逻辑谜题样本，包括问题描述、视觉场景和正确答案。4) 数据集构建：将生成的谜题样本整理成数据集，用于训练VLM。

关键创新：VisualSphinx的关键创新在于提出了一种“规则到图像”的合成流程，将逻辑推理问题转化为图像合成问题。这种方法能够保证数据集的逻辑一致性，并能够灵活地控制数据集的规模和复杂度。此外，VisualSphinx还提出了一种规则提取与扩展的方法，能够从少量的种子问题中生成大量的逻辑规则，从而降低了数据集构建的成本。

关键设计：在规则提取与扩展方面，采用了基于图的规则表示方法，能够有效地表示复杂的逻辑关系。在图像合成代码生成方面，采用了基于场景图的图像合成方法，能够保证图像的语义一致性。在谜题样本组装方面，采用了基于模板的方法，能够保证谜题的结构一致性。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用VisualSphinx训练的VLM在逻辑推理任务上取得了显著的性能提升。具体而言，在GRPO训练框架下，VLM受益于数据集的逻辑连贯性和可读性，性能优于在其他数据集上训练的模型。此外，VisualSphinx训练的VLM在代数推理、算术推理和几何推理等其他推理任务上也表现出良好的泛化能力。

🎯 应用场景

VisualSphinx数据集可以广泛应用于训练和评估视觉语言模型的逻辑推理能力，尤其是在图表理解、空间问题解决、机器人导航等领域。该数据集的规模和结构化特点使其能够有效提升VLM的推理性能，并促进相关领域的研究进展。未来，可以进一步扩展VisualSphinx数据集，使其包含更复杂的逻辑规则和视觉场景，以满足更高级的推理需求。

📄 摘要（原文）

Vision language models (VLMs) are expected to perform effective multimodal reasoning and make logically coherent decisions, which is critical to tasks such as diagram understanding and spatial problem solving. However, current VLM reasoning lacks large-scale and well-structured training datasets. To bridge this gap, we propose VisualSphinx, a first-of-its-kind large-scale synthetic visual logical reasoning training data. To tackle the challenge of image synthesis with grounding answers, we propose a rule-to-image synthesis pipeline, which extracts and expands puzzle rules from seed questions and generates the code of grounding synthesis image synthesis for puzzle sample assembly. Experiments demonstrate that VLM trained using GRPO on VisualSphinx benefit from logical coherence and readability of our dataset and exhibit improved performance on logical reasoning tasks. The enhanced reasoning capabilities developed from VisualSphinx also benefit other reasoning tasks such as algebraic reasoning, arithmetic reasoning and geometry reasoning.