Seek-and-Solve: Benchmarking MLLMs for Visual Clue-Driven Reasoning in Daily Scenarios

📄 arXiv: 2604.14041v1 📥 PDF

作者: Xiaomin Li, Tala Wang, Zichen Zhong, Ying Zhang, Zirui Zheng, Takashi Isobe, Dezhuang Li, Huchuan Lu, You He, Xu Jia

分类: cs.CV

发布日期: 2026-04-15

备注: Project page: https://xiaominli1020.github.io/DailyClue/

💡 一句话要点

提出DailyClue基准，评估MLLM在日常场景中基于视觉线索的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉推理 基准测试 日常场景 视觉线索

📋 核心要点

  1. 现有MLLM基准侧重于知识和感知，忽略了日常场景中基于视觉线索进行推理的关键能力。
  2. DailyClue基准通过模拟真实日常活动和设计挑战性问题，促使MLLM主动探索和利用视觉线索进行推理。
  3. 实验结果表明，DailyClue对现有MLLM和Agent模型构成巨大挑战，视觉线索的准确识别对推理至关重要。

📝 摘要（中文）

日常场景具有丰富的视觉信息，需要多模态大型语言模型(MLLM)过滤噪声并识别关键视觉线索以进行准确推理。然而，当前的基准测试主要旨在评估MLLM的预先存在的知识或感知理解，通常忽略了推理的关键能力。为了弥合这一差距，我们引入了DailyClue，这是一个专为日常场景中基于视觉线索的推理而设计的基准。我们的构建遵循两个核心原则：(1)严格扎根于真实的日常活动，(2)具有挑战性的查询设计，需要超越表面层次的感知。我们的问题不是简单的识别，而是迫使MLLM主动探索合适的视觉线索，并利用它们进行后续推理。为此，我们策划了一个涵盖四个主要日常领域和16个不同子任务的综合数据集。跨MLLM和Agent模型的全面评估强调了我们的基准测试所带来的巨大挑战。我们的分析揭示了几个关键见解，强调了准确识别视觉线索对于稳健推理至关重要。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型(MLLM)在日常场景中进行视觉线索驱动推理时面临的挑战。现有方法主要评估MLLM的预训练知识或感知能力，而忽略了其在复杂视觉环境中识别关键线索并进行推理的能力。现有基准测试无法充分模拟真实世界的复杂性和噪声，导致MLLM难以有效应用于实际场景。

核心思路：论文的核心思路是构建一个更贴近真实日常场景的基准测试，该基准测试不仅需要MLLM具备基本的视觉感知能力，更重要的是能够主动搜索、识别和利用视觉线索进行推理。通过设计具有挑战性的问题，促使MLLM深入理解场景，并从大量视觉信息中提取关键信息。

技术框架：DailyClue基准包含以下几个关键组成部分：1）数据集构建：涵盖四个主要日常领域和16个不同的子任务，确保数据集的多样性和真实性。2）问题设计：问题设计需要MLLM主动探索视觉线索，并利用这些线索进行推理，而非简单的识别。3）评估指标：采用合适的评估指标来衡量MLLM在识别视觉线索和进行推理方面的性能。4）基线模型：选择具有代表性的MLLM和Agent模型作为基线，进行全面的性能评估和分析。

关键创新：该论文的关键创新在于提出了DailyClue基准，该基准更真实地模拟了日常场景，并侧重于评估MLLM基于视觉线索的推理能力。与现有基准相比，DailyClue更强调MLLM在复杂视觉环境中主动搜索和利用信息的能力。此外，该基准的设计原则（严格扎根于真实日常活动，具有挑战性的查询设计）也为未来基准测试的设计提供了参考。

关键设计：DailyClue数据集的构建过程中，作者们注重选择真实的日常活动场景，并设计了需要深度推理的问题。问题的设计避免了简单的物体识别，而是需要模型理解场景中的上下文关系，并找到与问题相关的关键视觉线索。例如，问题可能需要模型根据场景中的物体摆放推断人物的行为意图，或者根据场景中的光线变化推断时间。具体参数设置和损失函数取决于所评估的MLLM模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DailyClue基准对现有MLLM和Agent模型提出了巨大挑战，突显了现有模型在复杂日常场景中进行视觉线索驱动推理的不足。分析结果强调了准确识别视觉线索对于稳健推理的重要性，并为未来MLLM的研究方向提供了新的思路。

🎯 应用场景

该研究成果可应用于智能家居、机器人导航、自动驾驶等领域。通过提升MLLM在复杂视觉环境中基于线索的推理能力，可以使智能系统更好地理解人类意图，从而提供更自然、更智能的服务。未来，该研究有望推动人工智能在日常生活中的广泛应用。

📄 摘要（原文）

Daily scenarios are characterized by visual richness, requiring Multimodal Large Language Models (MLLMs) to filter noise and identify decisive visual clues for accurate reasoning. Yet, current benchmarks predominantly aim at evaluating MLLMs' pre-existing knowledge or perceptual understanding, often neglecting the critical capability of reasoning. To bridge this gap, we introduce DailyClue, a benchmark designed for visual clue-driven reasoning in daily scenarios. Our construction is guided by two core principles: (1) strict grounding in authentic daily activities, and (2) challenging query design that necessitates more than surface-level perception. Instead of simple recognition, our questions compel MLLMs to actively explore suitable visual clues and leverage them for subsequent reasoning. To this end, we curate a comprehensive dataset spanning four major daily domains and 16 distinct subtasks. Comprehensive evaluation across MLLMs and agentic models underscores the formidable challenge posed by our benchmark. Our analysis reveals several critical insights, emphasizing that the accurate identification of visual clues is essential for robust reasoning.