From Glance to Focus: Mitigating Recognition Laziness in MLLMs for Fine-Grained Recognition

📄 arXiv: 2610.13154v1 📥 PDF

作者: Yutong Yang, Zhuqi Liu, Mouxing Yang, Xi Peng

分类: cs.CV

发布日期: 2026-10-09

备注: 21 pages, 18 figures, 5 tables. Includes supplementary material

💡 一句话要点

提出LIVE框架以解决MLLMs在细粒度识别中的懒惰问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 细粒度视觉识别 视觉感知 候选列表优化 技能指导 机器学习 深度学习

📋 核心要点

  1. 现有的多模态大语言模型在细粒度视觉识别中存在识别懒惰现象，导致视觉线索与类别概念的关联不足。
  2. 本文提出LIVE框架，通过查询自适应候选推理和类别特定FGVR技能构建，优化候选列表和识别指导。
  3. 在13个基准数据集上，LIVE相较于24种最先进方法展现出显著的性能提升，验证了其有效性和泛化能力。

📝 摘要（中文）

多模态大语言模型（MLLMs）在细粒度视觉识别（FGVR）中表现不佳，尽管其具备良好的视觉感知和广泛的类别知识。现有研究多通过领域特定的后训练来改善这一缺陷，但可能影响对未见领域的泛化能力。本文从经验和理论角度重新审视MLLMs的FGVR机制，提出了FGVR懒惰现象，指在特定候选类别列表和识别指导下，视觉线索与类别概念之间的关联不足。为此，提出了Laziness-resIstant Visual rEcognition（LIVE）框架，通过联合优化候选列表和识别指导，激发MLLMs的潜在FGVR能力。实验表明，LIVE在13个基准数据集上相较于24种最先进方法展现出良好的有效性和泛化能力。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在细粒度视觉识别中的懒惰现象，即视觉线索与类别概念之间的关联不足，导致识别效果不佳。现有方法多依赖领域特定的后训练，可能影响模型对未见领域的泛化能力。

核心思路：论文提出LIVE框架，通过联合优化候选列表和识别指导，激发MLLMs的潜在FGVR能力。具体而言，LIVE采用查询自适应推理来生成紧凑且可靠的候选列表，同时挖掘类别内部特征和类别间差异，构建类别特定的FGVR技能。

技术框架：LIVE框架主要包括三个模块：1) 查询自适应候选推理，生成候选列表；2) 类别特定FGVR技能构建，挖掘类别特征；3) 选择性技能指导，根据识别不确定性和类别混淆进行引导。

关键创新：LIVE的主要创新在于其训练无关的设计，通过优化候选列表和识别指导，显著提升了MLLMs在FGVR任务中的表现。这一方法与传统的后训练方法本质上不同，避免了对特定领域的依赖。

关键设计：在LIVE中，关键参数包括候选列表的生成策略和技能指导的选择机制。损失函数设计上，强调了类别特征的挖掘与视觉线索的关联性，以提高识别的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在13个基准数据集上，LIVE框架相较于24种最先进方法展现出显著的性能提升，尤其在细粒度类别识别和动作识别任务中，验证了其有效性和广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括细粒度图像分类、动作识别以及一般类别识别等。通过提升多模态大语言模型在视觉识别任务中的表现，LIVE框架可广泛应用于智能监控、自动驾驶、医疗影像分析等实际场景，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) generally fall short of expectations in Fine-Grained Visual Recognition (FGVR), although they exhibit promising FGVR foundations, i.e., visual perception and broad category knowledge. Most existing studies seek to remedy this deficiency by adopting domain-specific post-training, at the risk of compromising generalization to unseen domains. Different from these efforts, in this paper, we revisit the FGVR mechanism underlying MLLMs from both the empirical and theoretical perspectives and uncover an inference-time phenomenon termed FGVR Laziness. In brief, FGVR Laziness refers to the insufficient association between visual cues and category concepts under certain candidate category lists and recognition guidance, leaving the FGVR foundations of MLLMs largely under-utilized. To mitigate FGVR Laziness, we propose Laziness-resIstant Visual rEcognition (LIVE), a training-free framework which jointly refines candidate lists and recognition guidance to elicit the latent FGVR capability of MLLMs. Specifically, LIVE first performs query-adaptive candidate inference to derive a compact yet reliable candidate list. Meanwhile, LIVE constructs category-specific FGVR skills by mining the intra-category characteristics and inter-category differences. Finally, LIVE selectively invokes detailed skill guidance according to recognition uncertainty and category confusion, shifting MLLM-based FGVR from a cursory glance to a focus on associating discriminative visual cues with category concepts. Extensive experiments on 13 benchmarks against 24 state-of-the-art methods spanning fine-grained category recognition, action recognition, and general category recognition, verify the effectiveness and generalizability of LIVE across different MLLM backbones. The code will be released upon acceptance.