alkhder at ImageEval 2026 Shared Tasks: Constrained Selection and Rotation-Averaged Logit Scoring for Multimodal Hallucination Detection
作者: Maher Pasa, Maria Hanini, Amro Najjar, Hasan Alkhder
分类: cs.CL
发布日期: 2026-10-15
💡 一句话要点
提出基于旋转平均逻辑评分的多模态幻觉检测方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态幻觉检测 视觉-语言模型 零-shot学习 拉丁方旋转 自然语言处理
📋 核心要点
- 核心问题：现有方法在多模态幻觉检测中存在选择偏差，难以准确识别有效语句。
- 方法要点：提出将任务视为约束选择问题，利用预训练模型在零-shot设置下进行选择，减少位置偏差。
- 实验或效果：系统在英语和MSA测试集上分别取得了0.0510和0.0960的CI分数，显著优于基线。
📝 摘要（中文）
本文描述了我们在ImageEval 2026的Subtask 1b中的提交。该任务要求从三个与图像配对的候选语句中选择一个视觉上有效的语句，支持英语和现代标准阿拉伯语（MSA）。我们的系统在零-shot设置下使用预训练的7B视觉-语言模型，无需特定任务的训练或微调。我们将任务形式化为一个约束选择问题，并通过下一个标记的对数概率选择答案。为了减少答案位置偏差，我们对候选语句应用拉丁方旋转。我们的系统在英语测试集上获得了0.0510的CI分数，在MSA测试集上获得了0.0960的CI分数，相较于官方3B基线在开发测试集上分别减少了83.7%和80.4%。
🔬 方法详解
问题定义：本文旨在解决多模态幻觉检测中的选择偏差问题，现有方法往往无法有效区分视觉上有效的语句与无效语句，导致识别准确率低下。
核心思路：我们将任务视为一个约束选择问题，通过下一个标记的对数概率来选择答案。此方法利用预训练的视觉-语言模型，避免了特定任务的训练和微调，从而实现零-shot学习。
技术框架：系统整体架构包括数据输入、候选语句生成、拉丁方旋转处理和答案选择四个主要模块。首先，输入图像和候选语句，然后通过拉丁方旋转减少位置偏差，最后基于对数概率选择最佳答案。
关键创新：本研究的主要创新在于引入拉丁方旋转技术，以减少答案位置偏差，这在现有方法中尚未得到充分利用。通过这种方式，系统能够更准确地选择视觉有效的语句。
关键设计：在模型设计上，使用了预训练的7B视觉-语言模型，选择下一个标记的对数概率作为选择依据，确保了模型的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，系统在英语测试集上获得了0.0510的CI分数，在MSA测试集上获得了0.0960的CI分数，分别相较于官方3B基线减少了83.7%和80.4%。这一显著提升表明了所提方法在多模态幻觉检测中的有效性。
🎯 应用场景
该研究在多模态学习和自然语言处理领域具有广泛的应用潜力，尤其是在图像描述生成、视觉问答和人机交互等场景中。通过提高幻觉检测的准确性，可以显著提升这些应用的用户体验和可靠性，未来可能推动更智能的视觉理解系统的发展。
📄 摘要（原文）
We describe our submission to Subtask~1b of ImageEval 2026. The task consists of selecting the single visually valid statement from three candidates paired with an image, and is in both English and Modern Standard Arabic (MSA). Our system uses a pre-trained 7B vision--language model in a zero-shot setting, without task-specific training or fine-tuning. We formulate the task as a constrained selection problem and choose the answer using next-token log-probabilities. To reduce answer-position bias, we apply a Latin-square rotation to the candidate statements. Our system achieves CI scores of 0.0510 on the English test set and 0.0960 on the MSA test set, reducing CI relative to the official 3B baselines reported on devtest by 83.7\% and 80.4\%, respectively.