HALDETECT at ImageEval 2026 Shared Tasks: Answer-First Contrastive Grounding with QLoRA

📄 arXiv: 2609.11236v1 📥 PDF

作者: Syed Mohaiminul Hoque, Md Sakhawat Hossain

分类: cs.CV, cs.AI

发布日期: 2026-09-10

备注: 10 pages, 3 figures, 10 tables (including appendices). System description paper for Task 1b (English) of ImageEval 2026 Shared Tasks (Fourth Arabic Natural Language Processing Conference), to appear in the Shared Tasks proceedings

💡 一句话要点

提出HALDETECT以解决多模态模型的幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 幻觉检测 对比决策 QLoRA 视觉编码器 自动内容审核 图像理解

📋 核心要点

  1. 现有的大型多模态模型在细粒度视觉解释中存在幻觉问题，影响其实际应用。
  2. 论文提出HALDETECT，通过对比决策框架，优先给出答案并围绕视觉特征进行推理。
  3. 实验结果显示，使用QLoRA微调的适配器在测试集上表现优异，且答案顺序对结果有显著影响。

📝 摘要（中文）

大型多模态模型往往会流畅地产生幻觉视觉细节，这限制了它们在细粒度解释中的应用。我们提出HALDETECT，这是我们在ImageEval 2026的英语幻觉检测任务（任务1b）中的系统，该系统需要从一幅图像和三个文化上合理的陈述中识别出唯一的视觉基础陈述。我们将该任务框架设定为一个对比决策，首先给出答案，然后进行解释，围绕颜色/纹理、形状/形式和上下文进行推理。我们提交的最佳适配器在冻结视觉编码器的情况下，使用4位QLoRA微调Qwen2.5-VL-7B-Instruct，在1000项测试集上达到了对比不稳定性（CI）0.035，排名八支队伍中的第三。开发实验表明，答案顺序可能比模型规模更为重要，适配优于单纯的提示。

🔬 方法详解

问题定义：本论文旨在解决大型多模态模型在细粒度视觉解释中产生幻觉的问题。现有方法在处理文化合理性和视觉基础陈述时存在不足，导致识别准确性降低。

核心思路：论文的核心思路是将任务框架设定为对比决策，首先给出答案，然后再进行解释。这种设计旨在提高模型的决策效率和准确性，减少幻觉的产生。

技术框架：整体架构包括图像输入、文化合理性陈述的生成、对比决策的实施以及基于视觉特征的推理。主要模块包括视觉编码器、QLoRA适配器和推理机制。

关键创新：最重要的技术创新点在于使用QLoRA对Qwen2.5-VL-7B-Instruct进行微调，同时冻结视觉编码器。这一方法显著提升了模型在幻觉检测任务中的表现，尤其是在对比决策的框架下。

关键设计：在参数设置上，采用4位QLoRA进行微调，损失函数设计为对比损失，网络结构则基于现有的视觉编码器和适配器架构，确保了模型的高效性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，使用QLoRA微调的适配器在1000项测试集上达到了对比不稳定性（CI）0.035，排名第三，表明该方法在幻觉检测任务中具有显著的性能提升。与最佳提示相比，QLoRA的使用带来了明显的性能增益。

🎯 应用场景

该研究的潜在应用领域包括图像理解、自动内容审核和人机交互等。通过提高多模态模型在幻觉检测方面的能力，HALDETECT可以在实际应用中提供更为可靠的视觉信息解释，促进相关技术的广泛应用与发展。

📄 摘要（原文）

Large multimodal models tend to hallucinate visual detail fluently, which limits their deployment for fine-grained interpretation. We present HALDETECT, our system for the English hallucination-detection track (Task 1b) of ImageEval 2026, in which a system must identify, from an image and three culturally plausible statements, the single visually grounded one. We frame the item as one contrastive decision, emit the answer before its explanation, and structure reasoning around colour/texture, shape/form, and context. Our best submitted adapter fine-tunes Qwen2.5-VL-7B-Instruct with 4-bit QLoRA while freezing the vision encoder and reaches Contrastive Instability (CI) 0.035 on the 1,000-item test set; we placed third of eight teams. Development experiments show that answer order can matter more than model scale and that adaptation beats prompting alone. Retrospective paired analysis of the released gold labels confirms the QLoRA gain over the best prompt but not the small gap between the devtest-selected and best-test adapters, and reseeding all four training sizes shows that the apparent data-scaling curve does not survive a seed change. The 35 residual errors are culturally plausible function, material, and recognition distinctions; naive adapter voting does not help.