ViC-Bench: Benchmarking Visual-Interleaved Chain-of-Thought Capability in MLLMs with Free-Style Intermediate State Representations

📄 arXiv: 2505.14404v3 📥 PDF

作者: Xuecheng Wu, Jiaxing Liu, Danlei Huang, Yifan Wang, Yunyun Shi, Kedi Chen, Junxiao Xue, Yang Liu, Chunlin Chen, Hairong Dong, Dingkang Yang

分类: cs.CV

发布日期: 2025-05-20 (更新: 2025-12-28)

💡 一句话要点

ViC-Bench：通过自由形式中间视觉状态评估多模态大语言模型的视觉交错思维能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉交错思维 基准测试 中间视觉状态 推理能力

📋 核心要点

  1. 现有基准测试提供固定中间视觉状态（IVS），限制了对多模态大语言模型（MLLM）内在推理能力的评估。
  2. ViC-Bench通过提供自由形式的IVS生成管道，支持自适应函数调用，更真实地模拟人类的思考过程。
  3. 论文提出了一个三阶段评估策略和增量提示信息注入策略，系统地分析了IVS对VI-CoT的影响。

📝 摘要（中文）

视觉交错思维（VI-CoT）使多模态大语言模型（MLLM）能够基于逐步的中间视觉状态（IVS）持续更新其理解和决策空间，类似于人类的思考方式。这种方法在各种任务中表现出令人印象深刻的成果，并推动了相关下游基准测试的进步。然而，目前的基准测试为模型提供相对固定的IVS，而非自由形式的IVS，这可能会强制扭曲原始的思维轨迹，从而无法评估其内在的推理能力。更重要的是，现有基准测试忽略了系统地探索IVS对推理性能的影响因素。为了解决上述差距，我们引入了一个名为ViC-Bench的专用基准测试，它由四个代表性任务组成：迷宫导航、拼图游戏、具身长程规划和复杂计数。每个任务都有专门的自由形式IVS生成管道，支持自适应函数调用。为了系统地检查VI-CoT能力，我们提出了一个全面的评估套件，其中包含一个渐进的三阶段策略和有针对性的新指标。此外，我们建立了增量提示信息注入策略，以消融地探索VI-CoT的提示因素。我们对18个先进的MLLM进行了广泛的评估，揭示了它们VI-CoT能力的关键见解。ViC-Bench已在Huggingface上公开提供。

🔬 方法详解

问题定义：现有MLLM的视觉交错思维（VI-CoT）基准测试主要依赖于预定义的、固定的中间视觉状态（IVS）。这种固定的IVS可能无法真实反映模型在解决问题时的思维轨迹，从而限制了对模型真实推理能力的评估。此外，现有基准测试缺乏对影响VI-CoT性能的关键因素的系统性分析。

核心思路：ViC-Bench的核心思路是提供一个更灵活、更真实的评估环境，通过允许模型生成自由形式的IVS，来更准确地评估其VI-CoT能力。这种自由形式的IVS生成过程能够更好地模拟人类在解决问题时的思考方式，从而更全面地评估模型的推理能力。

技术框架：ViC-Bench包含四个代表性任务：迷宫导航、拼图游戏、具身长程规划和复杂计数。每个任务都配备了专门的自由形式IVS生成管道，该管道支持自适应函数调用，允许模型根据当前状态动态地生成IVS。评估过程采用一个渐进的三阶段策略，并结合了新的评估指标，以系统地评估模型的VI-CoT能力。此外，论文还提出了增量提示信息注入策略，用于消融地探索影响VI-CoT性能的提示因素。

关键创新：ViC-Bench的关键创新在于引入了自由形式的IVS生成机制，这与现有基准测试中使用的固定IVS形成鲜明对比。这种自由形式的IVS生成机制能够更真实地反映模型在解决问题时的思维轨迹，从而更准确地评估其推理能力。此外，ViC-Bench还提供了一个全面的评估套件，包括渐进的三阶段策略和增量提示信息注入策略，用于系统地分析影响VI-CoT性能的关键因素。

关键设计：ViC-Bench的关键设计包括：1) 针对每个任务设计的自由形式IVS生成管道，该管道支持自适应函数调用，允许模型根据当前状态动态地生成IVS；2) 渐进的三阶段评估策略，该策略逐步增加任务的难度，以更全面地评估模型的VI-CoT能力；3) 增量提示信息注入策略，该策略通过逐步增加提示信息的量，来分析不同提示信息对VI-CoT性能的影响；4) 新的评估指标，用于更准确地评估模型的推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文对18个先进的MLLM进行了广泛的评估，揭示了它们在ViC-Bench上的性能差异。实验结果表明，自由形式的IVS能够更有效地评估模型的推理能力。此外，实验还揭示了影响VI-CoT性能的关键因素，例如提示信息的质量和数量。这些发现为未来MLLM的研究和开发提供了有价值的见解。

🎯 应用场景

ViC-Bench的潜在应用领域包括机器人导航、智能助手、游戏AI等。通过更准确地评估MLLM的视觉交错思维能力，可以促进这些领域的发展，例如，可以开发出更智能的机器人，能够更好地理解环境并做出决策。此外，ViC-Bench还可以用于指导MLLM的训练，提高其推理能力和泛化能力。

📄 摘要（原文）

Visual-Interleaved Chain-of-Thought (VI-CoT) enables Multi-modal Large Language Models (MLLMs) to continually update their understanding and decision space based on step-wise intermediate visual states (IVS), much like a human would, which has demonstrated impressive success in various tasks, thereby leading to emerged advancements in related downstream benchmarks. Despite promising progress, current benchmarks provide models with relatively fixed IVS, rather than free-style IVS, whch might forcibly distort the original thinking trajectories, failing to evaluate their intrinsic reasoning capabilities. More importantly, existing benchmarks neglect to systematically explore the impact factors that IVS would impart to the untamed reasoning performance. To tackle above gaps, we introduce a specialized benchmark termed ViC-Bench, consisting of four representive tasks, i.e., maze navigation, jigsaw puzzle, embodied long-horizon planning, as well as complex counting, where each task has dedicated free-style IVS generation pipeline supporting adaptive function calls. To systematically examine VI-CoT capability, we propose a thorough evaluation suite incorporating a progressive three-stage strategy with targeted new metrics. Besides, we establish Incremental Prompting Information Injection strategy to ablatively explore the prompting factors for VI-CoT. We extensively conduct evaluations for 18 advanced MLLMs, revealing key insights into their VI-CoT capability. The introduced ViC-Bench has been made publicly available at Huggingface.