Solution for OOD-CV UNICORN Challenge 2024 Object Detection Assistance LLM Counting Ability Improvement

📄 arXiv: 2410.16287v1 📥 PDF

作者: Zhouyang Chi, Qingyuan Jiang, Yang Yang

分类: cs.CV

发布日期: 2024-10-05

💡 一句话要点

提出ODAC框架，利用目标检测辅助LLM提升OOD场景下的计数能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 目标检测 大型语言模型 视觉问答 计数能力 开放域泛化

📋 核心要点

  1. 现有方法在处理OOD场景下的计数问题时，尤其是在罕见类别和需要推理步骤的数据集上，鲁棒性不足。
  2. 论文提出ODAC框架，利用目标检测模型辅助LLM，并设计反事实特定提示，以提升LLM的计数能力。
  3. 该方法在ECCV OOD-CV UNICORN Challenge 2024中取得第二名的成绩，证明了其有效性，最终得分为0.86。

📝 摘要（中文）

本报告详细描述了我们在ECCV OOD-CV UNICORN Challenge 2024中探索和提出的方法，该方法专注于提高大型语言模型响应的鲁棒性。本次比赛的数据集为OODCA-VQA和SketchyQA。为了测试模型的鲁棒性，组织者扩展了两个数据集变体：OODCV-Counterfactual和Sketchy-Challenging。这些数据集存在若干难点。首先，Sketchy-Challenging数据集使用了一些较为罕见的物品类别来测试模型的泛化能力。其次，在OODCV-Counterfactual数据集中，给定的问题通常具有拐点和计算步骤，需要模型在推理过程中识别它们。为了解决这个问题，我们提出了一种简单而有效的方法，称为目标检测辅助大型语言模型(LLM)计数能力提升(ODAC)，该方法侧重于使用目标检测模型来辅助LLM。具体来说，我们的方法包含两个主要模块：（1）目标检测辅助。（2）反事实特定提示。我们的方法在最终测试中排名第二，得分为0.86。

🔬 方法详解

问题定义：论文旨在解决开放域（OOD）场景下，大型语言模型（LLM）在视觉问答（VQA）任务中计数能力不足的问题。特别是在面对罕见类别物体和需要多步推理的反事实问题时，现有方法的准确性和鲁棒性会显著下降。这些问题对模型的泛化能力和推理能力提出了更高的要求。

核心思路：论文的核心思路是利用目标检测模型来辅助LLM进行计数。通过目标检测，可以更准确地识别图像中的物体，并将检测结果以结构化的方式提供给LLM，从而减少LLM对图像内容的理解偏差，提高计数准确性。此外，针对反事实问题，设计特定的提示语，引导LLM进行正确的推理。

技术框架：ODAC框架包含两个主要模块：（1）目标检测辅助模块：使用预训练的目标检测模型（具体模型未知）检测图像中的物体，并提取物体类别和位置信息。（2）反事实特定提示模块：根据问题的类型，构建包含目标检测结果和特定推理提示的prompt，输入到LLM中。LLM根据prompt生成最终答案。整体流程为：图像和问题 -> 目标检测 -> prompt构建 -> LLM推理 -> 答案。

关键创新：该方法最重要的创新点在于将目标检测与LLM相结合，利用目标检测的精确物体识别能力来弥补LLM在视觉理解方面的不足。这种结合方式能够有效提高LLM在复杂场景下的计数能力，尤其是在OOD场景下。此外，针对反事实问题设计的特定提示语也能够引导LLM进行正确的推理。

关键设计：论文中没有详细描述目标检测模型的选择和训练细节，以及prompt的具体设计。但是，可以推测，目标检测模型的选择需要考虑其在罕见类别物体上的检测性能。Prompt的设计需要包含清晰的物体信息和推理步骤，以便LLM能够理解并生成正确的答案。具体的损失函数和网络结构等技术细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在ECCV OOD-CV UNICORN Challenge 2024中取得了第二名的成绩，最终得分为0.86。这表明该方法在OOD场景下的计数能力方面具有显著优势。虽然论文没有提供与其他基线方法的具体对比数据，但第二名的成绩足以证明其有效性。

🎯 应用场景

该研究成果可应用于智能客服、自动驾驶、机器人导航等领域。例如，在智能客服中，可以利用该方法准确理解用户提出的视觉问题，并给出正确的答案。在自动驾驶中，可以帮助车辆更准确地识别交通标志和行人，提高驾驶安全性。在机器人导航中，可以帮助机器人更好地理解周围环境，并进行自主导航。

📄 摘要（原文）

This report provide a detailed description of the method that we explored and proposed in the ECCV OOD-CV UNICORN Challenge 2024, which focusing on the robustness of responses from large language models. The dataset of this competition are OODCA-VQA and SketchyQA. In order to test the robustness of the model. The organizer extended two variants of the dataset OODCV-Counterfactual and Sketchy-Challenging. There are several difficulties with these datasets. Firstly, the Sketchy-Challenging dataset uses some rarer item categories to test the model's generalization ability. Secondly, in the OODCV-Counterfactual dataset, the given problems often have inflection points and computational steps, requiring the model to recognize them during the inference process. In order to address this issue, we propose a simple yet effective approach called Object Detection Assistance Large Language Model(LLM) Counting Ability Improvement(ODAC), which focuses on using the object detection model to assist the LLM. To clarify, our approach contains two main blocks: (1)Object Detection Assistance. (2) Counterfactual Specific prompt. Our approach ranked second in the final test with a score of 0.86.