VidNum-1.4K: A Comprehensive Benchmark for Video-based Numerical Reasoning
作者: Shaoyang Cui, Lingbei Meng, Yaodi Luo, Peize He
分类: cs.CV
发布日期: 2026-07-20
💡 一句话要点
提出VidNum-1.4K基准以解决视频数值推理评估不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频数值推理 视觉-语言模型 多步骤逻辑 基准测试 人工标注数据
📋 核心要点
- 现有视频数值推理基准多局限于特定领域，未能有效评估复杂的多步骤逻辑推理能力。
- VidNum-1.4K基准通过1379对视频问答对，采用三层次结构，全面评估数值推理能力。
- 实验表明，当前主流VLMs在数值推理任务中的准确率普遍低于60%，显示出明显的推理能力缺口。
📝 摘要（中文）
视频数值推理为测试视觉-语言模型（VLMs）理解现实动态提供了重要平台。然而，现有基准往往局限于狭窄领域，未能有效评估多步骤数值逻辑。本文提出VidNum-1.4K，一个包含1379对严格人工标注的视频问答对的综合基准，旨在评估多样环境下的真实数值推理能力。该基准采用三层次结构，从直接视觉感知到视频基础的组合数值推理，要求模型进行算术运算、比较和基于时间证据的逻辑推导。实验结果显示，当前VLMs在数值推理上存在显著差距，表明其仍缺乏稳定的“内部世界模型”。
🔬 方法详解
问题定义：本文旨在解决现有视频数值推理基准的局限性，特别是其对复杂多步骤逻辑推理的评估不足。现有方法往往仅关注简单计数或特定领域，未能反映真实世界的复杂性。
核心思路：VidNum-1.4K基准通过设计1379对视频问答对，采用三层次结构，从视觉感知到组合数值推理，要求模型进行更深层次的逻辑推导与算术运算，以此提升对视频内容的理解能力。
技术框架：该基准分为三个层次：第一层为直接视觉感知，第二层为简单的数值推理，第三层为复杂的组合推理。每个层次都要求模型在不同的推理深度上进行评估。
关键创新：VidNum-1.4K的创新在于其三层次结构的设计，使得模型不仅能进行表面计数，还能进行基于时间的逻辑推导，显著提升了评估的复杂性和真实性。
关键设计：在设计过程中，采用了严格的人类标注机制，确保数据的质量和多样性。同时，模型评估中使用了多种损失函数，以适应不同层次的推理任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前主流VLMs在VidNum-1.4K基准上的表现不佳，Gemini-3.1-pro的准确率仅为60%，而其他开源模型的准确率在25%至45%之间。这表明现有模型在数值推理方面存在显著的能力缺口，亟需进一步改进。
🎯 应用场景
VidNum-1.4K基准在教育、机器人视觉、自动驾驶等领域具有广泛的应用潜力。通过提升VLMs在视频理解和数值推理方面的能力，可以推动智能系统在复杂环境中的决策能力，进而促进智能助手、监控系统等的智能化发展。
📄 摘要（原文）
Video-based numerical reasoning provides a premier arena for testing whether Vision-Language Models (VLMs) truly "understand" real-world dynamics, as accurate numerical deduction necessitates a profound grasp of temporal events, object permanence, and compositional logic beyond superficial pattern matching. However, existing benchmarks are often confined to narrow domains, such as repetitive athletic motions, or treat simple counting merely as a superficial regression task, failing to assess multi-step numerical logic within the inherent complexity of real-world multimedia content. We introduce VidNum-1.4K, a comprehensive VideoQA benchmark comprising 1,379 strictly human-annotated video-question pairs designed to evaluate genuine numerical reasoning across highly diverse environments, encompassing object, action, and event quantification. The VidNum-1.4K is uniquely structured into a three-level hierarchy that evolves from direct visual perception to video-based compositional numerical reasoning, requiring models to perform arithmetic operations, comparisons, and logical deductions grounded in temporal evidence. Our evaluations across a diverse suite of state-of-the-art VLMs reveal a striking reasoning gap: while the Gemini-3.1-pro barely reaches a 60% accuracy threshold, representative open-source families struggle heavily in the 25%--45% range. These findings demonstrate that current VLMs still lack a stable "internal world model", positioning VidNum-1.4K as a demanding diagnostic testbed for the next generation of numerical video intelligence.