Symbolic Grounding Reveals Representational Bottlenecks in Abstract Visual Reasoning

📄 arXiv: 2604.21346v1 📥 PDF

作者: Mohit Vaishnav, Tanel Tammet

分类: cs.AI, cs.CL, cs.CV

发布日期: 2026-04-23

期刊: 30th Conference on Computational Natural Language Learning (CoNLL), 2026

💡 一句话要点

提出符号基础方法以解决抽象视觉推理瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 抽象视觉推理 符号推理 Bongard问题 大型语言模型 组件-语法范式 表示能力 推理瓶颈

📋 核心要点

  1. 现有的视觉-语言模型在处理抽象视觉推理任务时表现不佳，尤其是在Bongard问题上，推理能力与表示能力之间的瓶颈尚不明确。
  2. 本文提出了一种新的组件-语法（C-G）范式，通过将Bongard-LOGO重新定义为符号推理任务，利用符号输入来提升模型的推理能力。
  3. 实验结果显示，使用符号输入的LLMs在自由形式问题上达到了中高90%的准确率，而传统视觉基线的表现则接近随机，表明表示能力的重要性。

📝 摘要（中文）

视觉-语言模型（VLMs）在抽象视觉推理基准（如Bongard问题）上表现不佳，本文探讨了推理与表示之间的瓶颈。通过对Bongard-LOGO的研究，比较了基于原始图像的VLMs与基于符号输入的大型语言模型（LLMs）。采用符号输入作为诊断工具，提出了组件-语法（C-G）范式，将Bongard-LOGO重新定义为基于LOGO风格动作程序的符号推理任务。结果表明，LLMs在自由形式问题上取得了中高90%的准确率，而强视觉基线的表现接近随机。研究发现，表示是抽象视觉推理的关键瓶颈，符号输入可以作为受控的诊断上限。

🔬 方法详解

问题定义：本文旨在解决视觉-语言模型在抽象视觉推理任务中的表现不足，尤其是在Bongard问题上，现有方法的推理与表示能力存在明显瓶颈。

核心思路：论文提出的组件-语法（C-G）范式通过将任务转化为符号推理，利用符号输入来增强模型的推理能力，从而克服传统视觉模型的局限性。

技术框架：整体架构包括两个主要模块：一是基于原始图像的视觉-语言模型，二是基于符号输入的大型语言模型。通过对比这两种模型在相同任务下的表现，分析其推理能力的差异。

关键创新：最重要的技术创新在于将抽象视觉推理任务重新定义为符号推理任务，利用符号输入作为诊断工具，从而明确了表示能力在推理中的关键作用。

关键设计：在实验中，输入格式、概念提示和视觉基础的最小化设计都进行了详细的消融实验，结果表明，符号结构的转变对模型性能的提升起到了决定性作用。通过这些设计，模型在自由形式问题上达到了中高90%的准确率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用符号输入的LLMs在自由形式问题上达到了中高90%的准确率，而在相同任务下，强视觉基线的表现接近随机。这一结果表明，符号输入的使用显著提升了模型的推理能力，验证了表示能力在抽象视觉推理中的关键作用。

🎯 应用场景

该研究的潜在应用领域包括教育、机器人视觉系统和人机交互等。通过提升模型在抽象推理任务上的表现，可以更好地支持复杂决策和自动化系统的开发，未来可能对智能系统的理解与推理能力产生深远影响。

📄 摘要（原文）

Vision--language models (VLMs) often fail on abstract visual reasoning benchmarks such as Bongard problems, raising the question of whether the main bottleneck lies in reasoning or representation. We study this on Bongard-LOGO, a synthetic benchmark of abstract concept learning with ground-truth generative programs, by comparing end-to-end VLMs on raw images with large language models (LLMs) given symbolic inputs derived from those images. Using symbolic inputs as a diagnostic probe rather than a practical multimodal architecture, our \emph{Componential--Grammatical (C--G)} paradigm reformulates Bongard-LOGO as a symbolic reasoning task based on LOGO-style action programs or structured descriptions. LLMs achieve large and consistent gains, reaching mid--90s accuracy on Free-form problems, while a strong visual baseline remains near chance under matched task definitions. Ablations on input format, explicit concept prompts, and minimal visual grounding show that these factors matter much less than the shift from pixels to symbolic structure. These results identify representation as a key bottleneck in abstract visual reasoning and show how symbolic input can serve as a controlled diagnostic upper bound.