Visual Reasoning Tracer: Object-Level Grounded Reasoning Benchmark

📄 arXiv: 2512.05091v1 📥 PDF

作者: Haobo Yuan, Yueyi Sun, Yanwei Li, Tao Zhang, Xueqing Deng, Henghui Ding, Lu Qi, Anran Wang, Xiangtai Li, Ming-Hsuan Yang

分类: cs.CV

发布日期: 2025-12-04

备注: Technical Report; Project Page: https://harboryuan.github.io/visual-reasoning-tracer

💡 一句话要点

提出视觉推理追踪基准VRT-Bench，用于评估多模态大语言模型在对象级别上的推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉推理 多模态大语言模型 可解释性 推理追踪 对象定位

📋 核心要点

  1. 现有MLLM模型推理过程不透明，缺乏中间步骤和细粒度证据，难以解释其决策过程。
  2. 提出VRT任务，要求模型预测推理路径上的中间对象，从而显式地追踪视觉推理过程。
  3. 构建VRT-Bench基准和VRT-80k数据集，实验表明模型在VRT-80k上训练后，推理路径追踪能力显著提升。

📝 摘要（中文）

多模态大语言模型（MLLMs）在视觉定位和视觉问答等任务上取得了显著进展。然而，这些模型的推理过程在很大程度上是不透明的；它们通常只输出最终预测，而不揭示中间步骤或细粒度的证据（例如，像素、位置）。这与人类智能形成对比，人类智能自然地通过视觉推理链运作。为了解决这个局限性，我们引入了视觉推理追踪（VRT）任务，该任务要求模型不仅定位目标对象，而且明确地预测形成推理路径的中间对象。为了推进该领域的研究，我们贡献了：（1）VRT-Bench，一个用于评估视觉推理的人工标注基准；（2）一种用于评估推理轨迹质量的新指标；以及（3）VRT-80k，一个用于推理模型训练的大规模数据集。我们的实验表明，虽然现有模型通常产生正确的最终输出，但它们难以定位其中间推理。相比之下，在VRT-80k上训练的模型在追踪推理路径方面取得了显著的改进。

🔬 方法详解

问题定义：现有视觉问答和视觉定位模型虽然能给出最终答案，但缺乏对推理过程的解释，无法得知模型是如何一步步得出结论的。这限制了我们对模型能力的理解，也难以发现模型潜在的偏见和错误。因此，需要一种方法来追踪模型的推理过程，特别是中间步骤涉及的对象。

核心思路：论文的核心思路是将视觉推理过程分解为一系列对象级别的定位任务。模型需要不仅定位最终目标对象，还要定位推理路径上的所有中间对象。通过显式地预测这些中间对象，可以追踪模型的推理过程，并评估其推理的合理性。

技术框架：VRT任务的技术框架主要包括三个部分：1）输入图像和问题；2）模型预测的推理路径，即一系列中间对象和最终目标对象；3）评估指标，用于衡量推理路径的质量。模型需要根据输入图像和问题，预测一条包含中间对象的推理路径，最终指向目标对象。整个过程可以看作是一个序列预测问题。

关键创新：该论文的关键创新在于提出了视觉推理追踪（VRT）任务，并构建了相应的基准数据集VRT-Bench和大规模训练数据集VRT-80k。VRT任务要求模型显式地预测推理路径上的中间对象，从而实现了对模型推理过程的可视化和可解释性。这是与现有视觉问答和视觉定位任务的本质区别，现有任务只关注最终答案的正确性，而忽略了推理过程。

关键设计：VRT-80k数据集包含大量人工标注的推理路径，每条路径包含多个中间对象和最终目标对象。论文还提出了一种新的评估指标，用于衡量推理路径的质量，该指标考虑了推理路径的完整性、准确性和合理性。具体的模型训练细节和网络结构选择在论文中没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在VRT-80k数据集上训练的模型在追踪推理路径方面取得了显著的改进。虽然现有模型在最终输出上表现良好，但在中间推理步骤上表现不佳。经过VRT-80k训练的模型能够更准确地定位中间对象，从而更好地追踪推理路径。具体的性能提升数据在论文中没有明确给出，属于未知信息。

🎯 应用场景

该研究成果可应用于提升多模态大语言模型的可解释性和可靠性。通过追踪模型的推理过程，可以更好地理解模型的决策依据，发现潜在的偏见和错误。此外，该技术还可用于教育领域，帮助学生理解复杂的视觉推理过程，并提高其解决问题的能力。在机器人领域，可用于提升机器人对环境的理解和交互能力。

📄 摘要（原文）

Recent advances in Multimodal Large Language Models (MLLMs) have significantly improved performance on tasks such as visual grounding and visual question answering. However, the reasoning processes of these models remain largely opaque; they typically output only final predictions without revealing the intermediate steps or fine-grained evidence (e.g., pixels, locations) that lead to the result. This contrasts with human intelligence, which naturally operates through a chain of visual reasoning. To address this limitation, we introduce the Visual Reasoning Tracer (VRT) task, which requires models to not only localize the target object but also explicitly predict the intermediate objects that form the reasoning path. To advance research in this area, we contribute: (1) VRT-Bench, a human-annotated benchmark for evaluating visual reasoning; (2) a new metric for assessing the quality of reasoning traces; and (3) VRT-80k, a large-scale dataset for reasoning model training. Our experiments reveal that while existing models often produce the correct final output, they struggle to ground their intermediate reasoning. In contrast, models trained on VRT-80k achieve substantial improvements in tracing the reasoning path.