Understanding Counting Mechanisms in Large Language and Vision-Language Models
作者: Hosein Hasani, Amirmohammad Izadi, Fatemeh Askari, Mobin Bagherian, Sadegh Mohammadian, Mohammad Izadi, Mahdieh Soleymani Baghshah
分类: cs.CV, cs.AI
发布日期: 2025-11-21
💡 一句话要点
通过可控实验与机制可解释性分析LLM/LVLM中的计数机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 视觉-语言模型 计数机制 机制可解释性 数值推理
📋 核心要点
- 现有LLM/LVLM在计数任务中的数值信息处理机制尚不明确，缺乏对其内部运作方式的深入理解。
- 论文提出CountScope工具，通过可控实验、因果中介和激活修补等方法，深入分析模型在计数任务中的行为。
- 实验表明，模型内部存在计数器机制，数值信息以分层方式编码，且结构线索影响计数准确性。
📝 摘要（中文）
本文研究了大型语言模型（LLM）和大型视觉-语言模型（LVLM）在计数任务中如何表示和计算数值信息。我们通过重复的文本和视觉项目进行可控实验，并通过因果中介和激活修补分析模型行为。为此，我们设计了一个专门的工具CountScope，用于数值内容的机制可解释性。结果表明，单个token或视觉特征编码了潜在的位置计数信息，这些信息可以被提取并在上下文中转移。分层分析揭示了数值表示的逐步出现，较低层编码小计数，较高层表示较大计数。我们识别出一个内部计数器机制，该机制随着每个项目更新，主要存储在最后一个token或区域中，并且可以在上下文之间转移。在LVLM中，数值信息也出现在视觉嵌入中，根据空间构成在背景和前景区域之间移动。模型依赖于文本中的分隔符等结构线索，这些线索充当跟踪项目计数的捷径，并影响数值预测的准确性。总的来说，计数在LLM中表现为一个结构化的分层过程，并在LVLM中遵循相同的总体模式，并受到视觉编码器属性的影响。
🔬 方法详解
问题定义：现有的大型语言模型和视觉-语言模型在处理计数任务时，其内部如何表示和计算数值信息尚不清楚。现有的方法缺乏对模型内部计数机制的深入理解，难以解释模型在计数任务中的行为，也难以优化模型在数值推理方面的能力。
核心思路：本文的核心思路是通过设计可控的实验，并结合机制可解释性方法，来揭示LLM和LVLM内部的计数机制。通过操纵输入中的重复文本和视觉元素，并观察模型输出的变化，来推断模型如何跟踪和更新计数信息。
技术框架：本文提出的研究框架主要包括以下几个阶段：1) 设计可控的计数任务，包括重复的文本和视觉项目。2) 使用CountScope工具进行机制可解释性分析，包括因果中介和激活修补。3) 分析模型在不同层的激活，以了解数值表示的演化过程。4) 识别内部计数器机制，并研究其在不同上下文中的可转移性。5) 研究结构线索（如分隔符）对计数准确性的影响。
关键创新：本文的关键创新在于：1) 设计了CountScope工具，用于数值内容的机制可解释性分析。2) 揭示了LLM和LVLM内部存在计数器机制，该机制随着每个项目更新，并主要存储在最后一个token或区域中。3) 发现了数值信息以分层方式编码，较低层编码小计数，较高层表示较大计数。4) 揭示了结构线索对计数准确性的影响。
关键设计：在实验设计方面，论文精心设计了重复的文本和视觉项目，以控制输入中的数值信息。在机制可解释性分析方面，论文使用了因果中介和激活修补等方法，以识别模型内部的关键神经元和连接。在模型分析方面，论文对模型在不同层的激活进行了分析，以了解数值表示的演化过程。具体参数设置和损失函数等细节在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
研究发现，LLM/LVLM内部存在计数器机制，数值信息以分层方式编码，低层编码小计数，高层编码大计数。在LVLM中，数值信息也出现在视觉嵌入中，并根据空间构成在背景和前景区域之间移动。模型依赖文本分隔符等结构线索进行计数，这些线索会影响数值预测的准确性。
🎯 应用场景
该研究成果可应用于提升LLM/LVLM在数值推理、数据分析、机器人导航等领域的性能。通过理解模型的计数机制，可以开发更高效、更可靠的数值处理算法，并提高模型在实际应用中的鲁棒性和准确性。此外，该研究也为开发更具可解释性的人工智能系统提供了新的思路。
📄 摘要（原文）
This paper examines how large language models (LLMs) and large vision-language models (LVLMs) represent and compute numerical information in counting tasks. We use controlled experiments with repeated textual and visual items and analyze model behavior through causal mediation and activation patching. To this end, we design a specialized tool, CountScope, for mechanistic interpretability of numerical content. Results show that individual tokens or visual features encode latent positional count information that can be extracted and transferred across contexts. Layerwise analyses reveal a progressive emergence of numerical representations, with lower layers encoding small counts and higher layers representing larger ones. We identify an internal counter mechanism that updates with each item, stored mainly in the final token or region and transferable between contexts. In LVLMs, numerical information also appears in visual embeddings, shifting between background and foreground regions depending on spatial composition. Models rely on structural cues such as separators in text, which act as shortcuts for tracking item counts and influence the accuracy of numerical predictions. Overall, counting emerges as a structured, layerwise process in LLMs and follows the same general pattern in LVLMs, shaped by the properties of the vision encoder.