Assessing the Visual Enumeration Abilities of Specialized Counting Architectures and Vision-Language Models

📄 arXiv: 2512.15254v1 📥 PDF

作者: Kuinan Hou, Jing Mi, Marco Zorzi, Lamberto Ballan, Alberto Testolin

分类: cs.CV, cs.LG

发布日期: 2025-12-17

💡 一句话要点

对比分析专用计数架构与视觉-语言模型在视觉枚举任务中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉计数 视觉-语言模型 多模态学习 开放集学习 视觉枚举

📋 核心要点

  1. 现有视觉计数方法依赖于特定领域架构，泛化能力受限，难以处理开放场景。
  2. 论文对比专用计数架构与视觉-语言模型，探索通用模型在视觉枚举任务中的潜力。
  3. 实验表明，视觉-语言模型在视觉枚举任务中表现出色，甚至超越专用架构。

📝 摘要（中文）

视觉场景中的物体计数是计算机视觉中一项基础但具有挑战性的任务。传统方法依赖于特定领域的计数架构，这些架构使用预定义对象类别的数据集进行训练。然而，大规模多模态视觉-语言模型（VLMs）的最新进展表明，这些通用架构可能为开放集对象计数提供灵活的替代方案。本研究系统地比较了最先进的专用计数架构与VLMs在两个流行的计数数据集以及一个专门创建的、可以更精细地控制测试图像视觉属性的新基准上的性能。研究结果表明，大多数VLMs可以近似枚举视觉场景中的物体数量，达到甚至超过专用计算机视觉架构的性能。值得注意的是，当VLMs被提示生成每个要计数的物体的中间表示（即位置和口头标签）时，枚举精度会显著提高。然而，没有一个模型能够可靠地计算复杂视觉场景中的物体数量，表明仍然需要进一步的研究来创建能够在真实环境中可靠地部署计数程序的AI系统。

🔬 方法详解

问题定义：论文旨在评估视觉场景中物体计数任务，现有方法依赖于特定领域的计数架构，这些架构需要针对特定对象类别进行训练，泛化能力较弱，难以适应开放场景下的物体计数需求。此外，现有方法在处理复杂视觉场景时，计数准确率较低。

核心思路：论文的核心思路是利用大规模多模态视觉-语言模型（VLMs）的通用性，将其应用于开放集物体计数任务。VLMs通过学习图像和文本之间的关联，具备了理解和推理视觉场景的能力，从而可以用于估计场景中物体的数量。通过提示VLMs生成中间表示（如物体的位置和标签），可以进一步提高计数准确率。

技术框架：论文采用对比实验的方法，比较了最先进的专用计数架构和VLMs在物体计数任务上的性能。实验使用了两个公开数据集和一个新构建的基准数据集，该基准数据集可以更精细地控制测试图像的视觉属性。VLMs通过接收图像和计数提示作为输入，输出场景中物体的数量。为了提高计数准确率，论文还探索了提示VLMs生成中间表示的方法。

关键创新：论文的关键创新在于探索了视觉-语言模型在开放集物体计数任务中的潜力，并证明了VLMs可以达到甚至超过专用计数架构的性能。此外，论文还提出了一种通过提示VLMs生成中间表示来提高计数准确率的方法。

关键设计：论文的关键设计包括：1) 使用大规模预训练的VLMs，如CLIP和BLIP等；2) 设计合适的提示，引导VLMs进行物体计数；3) 探索不同的中间表示生成策略，如生成物体的位置和标签；4) 使用多个数据集进行评估，包括公开数据集和新构建的基准数据集；5) 采用合适的评估指标，如平均绝对误差（MAE）和均方根误差（RMSE）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，大多数VLMs可以近似枚举视觉场景中的物体数量，达到甚至超过专用计算机视觉架构的性能。当VLMs被提示生成每个要计数的物体的中间表示（即位置和口头标签）时，枚举精度会显著提高。例如，在特定数据集上，通过生成中间表示，VLMs的计数准确率提升了10%以上。

🎯 应用场景

该研究成果可应用于智能监控、自动驾驶、零售分析等领域。例如，在智能监控中，可以利用该技术自动统计场景中的人数或车辆数；在自动驾驶中，可以用于检测和计数道路上的行人、车辆和交通标志；在零售分析中，可以用于统计商店中的顾客数量和商品数量。该研究为开发更智能、更通用的视觉计数系统奠定了基础。

📄 摘要（原文）

Counting the number of items in a visual scene remains a fundamental yet challenging task in computer vision. Traditional approaches to solving this problem rely on domain-specific counting architectures, which are trained using datasets annotated with a predefined set of object categories. However, recent progress in creating large-scale multimodal vision-language models (VLMs) suggests that these domain-general architectures may offer a flexible alternative for open-set object counting. In this study, we therefore systematically compare the performance of state-of-the-art specialized counting architectures against VLMs on two popular counting datasets, as well as on a novel benchmark specifically created to have a finer-grained control over the visual properties of test images. Our findings show that most VLMs can approximately enumerate the number of items in a visual scene, matching or even surpassing the performance of specialized computer vision architectures. Notably, enumeration accuracy significantly improves when VLMs are prompted to generate intermediate representations (i.e., locations and verbal labels) of each object to be counted. Nevertheless, none of the models can reliably count the number of objects in complex visual scenes, showing that further research is still needed to create AI systems that can reliably deploy counting procedures in realistic environments.