The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs
作者: Ahmed Oumar El-Shangiti, Abzal Nurgazy, Hilal AlQuabeh, Nikolai Rozanov, Kentaro Inui
分类: cs.CV, cs.LG
发布日期: 2026-07-10
💡 一句话要点
提出检测引导自我修正方法以解决VLM计数错误问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 物体计数 激活探测器 自我修正 多模态学习 错误检测 SVCCA分析
📋 核心要点
- 核心问题：现有视觉语言模型在物体计数任务中表现不佳，存在内部知识与输出结果之间的差距。
- 方法要点：提出了一种检测引导的自我修正方法，通过激活探测器识别计数错误并进行修正。
- 实验或效果：实验结果表明，该方法在计数准确率上提升了最多15.6个百分点，验证了其有效性。
📝 摘要（中文）
尽管在许多多模态任务上表现出色，视觉语言模型（VLMs）在基本物体计数方面仍然存在困难。本文研究了这种现象是否反映了内部知识的缺失或内部表示与语言输出之间的差距。通过在四个VLM的激活上训练简单探测器，发现非线性探测器能够可靠地检测计数错误，表明VLM通常编码正确的计数，即使输出错误答案。进一步的SVCCA分析显示，基于真实计数和模型输出训练的探测器占据部分共享的激活子空间，但沿着不对齐的方向读取。我们提出了一种检测引导的自我修正方法，仅在内部错误检测器预测失败时选择性地重新提示模型，从而在不更新参数的情况下将计数准确率提高了最多15.6个百分点。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在物体计数任务中的错误输出问题。现有方法未能有效识别内部知识与输出之间的差距，导致计数错误。
核心思路：论文提出通过训练激活探测器来识别计数错误，并在模型内部检测到错误时进行自我修正。这种方法旨在利用模型内部的知识来提高输出的准确性。
技术框架：整体架构包括激活探测器的训练、SVCCA分析和检测引导的自我修正模块。首先，通过探测器识别计数错误，然后在检测到错误时重新提示模型。
关键创新：最重要的创新在于提出了检测引导的自我修正方法，能够在不更新模型参数的情况下显著提高计数准确率。这一方法与传统的模型训练方法本质上不同，强调了内部知识的利用。
关键设计：关键设计包括使用非线性探测器进行激活分析，采用SVCCA分析探测器的激活空间，以及在模型输出与真实计数之间进行对比，确保探测器能够有效识别错误。
🖼️ 关键图片
📊 实验亮点
实验结果显示，检测引导的自我修正方法在计数任务中将准确率提升了最多15.6个百分点，验证了该方法的有效性。与基线模型相比，提出的方法在处理计数错误时表现出显著的改进，展示了激活探测器的实用性。
🎯 应用场景
该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等场景，能够显著提升视觉语言模型在物体计数任务中的表现。未来，该方法可能推动更广泛的多模态学习研究，促进模型在复杂任务中的应用。
📄 摘要（原文）
Despite strong performance on many multimodal tasks, vision-language models (VLMs) still struggle with basic object counting. We investigate whether this reflects missing internal knowledge or a gap between internal representations and verbalized outputs. Training simple probes on activations from four VLMs across five counting datasets reveals that nonlinear probes can reliably detect counting errors, suggesting that VLMs often encode the correct count even when they output the wrong answer. SVCCA analysis shows that probes trained on ground-truth counts and probes trained on model outputs occupy a partially shared activation subspace but read out along misaligned directions. We further validate our findings using a causal steering intervention, proving that strengthening the direction of count-identified probes does improve model counting performance. Motivated by this result, we propose a detector-guided self-correction method that selectively re-prompts the model only when an internal error detector predicts failure. This simple inference-time intervention improves counting accuracy by up to 15.6 absolute percentage points, without any parameter updates. Our results establish activation-based error probing as both a practical tool for improving VLM counting and a mechanistic lens on the gap between internal knowledge and model outputs.