Visual Sanad: Auditing Vision-Language Models for False Acceptance of Qur'anic Citations

📄 arXiv: 2610.22009v1 📥 PDF

作者: Niaz Mohaiman Abtahi, Reyana Shahid, Evan Maksud

分类: cs.CV

发布日期: 2026-10-15

备注: 9 pages, including references and appendix. Accepted for poster presentation at the Muslims in Machine Learning (MusIML) Workshop at NeurIPS 2026. Code: https://github.com/NiazTahi/Visual-Sanad

💡 一句话要点

提出Visual Sanad以解决视觉语言模型的错误接受问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 引用验证 古兰经 多模态学习 文化敏感性 去偏见提示 实验基准

📋 核心要点

  1. 现有的视觉语言模型在宗教引用的验证上存在可靠性不足的问题，尤其是在不同视觉呈现下的表现差异。
  2. 本文提出Visual Sanad基准，通过控制实验条件来测试VLMs在引用验证中的准确性，特别是针对古兰经的引用。
  3. 实验结果显示，专有VLMs在引用验证上表现良好，而开放VLMs则普遍存在较高的错误接受率，去偏见提示效果有限。

📝 摘要（中文）

视觉语言模型（VLMs）在解释宗教、教育和文化敏感的视觉内容方面越来越多地被使用，但其在引用验证方面的可靠性仍未得到充分探讨。本文介绍了Visual Sanad，一个用于测试VLMs在不同视觉框架下是否错误接受不正确的古兰经引用的受控基准。该基准包含2400个图像，基于100个英语古兰经经文，涵盖每个经文的四种事实状态和六种视觉条件。实验结果显示，专有API服务的VLMs在引用验证方面表现不一，而最近的开放权重VLMs则常常显示出较弱的区分能力。去偏见提示可以减少错误接受，但往往是通过将决策阈值向无效方向移动，而不是通过增强引用区分能力。因此，Visual Sanad揭示了一个文化基础的多模态事实失败：流畅的VLMs可能将显示的宗教引用视为自我认证，除非它们具备强大的引用验证能力。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在不同视觉框架下错误接受古兰经引用的问题。现有方法在引用验证时缺乏一致性和可靠性，尤其是在文化敏感内容的处理上存在挑战。

核心思路：通过引入Visual Sanad基准，论文设计了一套受控的实验框架，以系统性地测试VLMs在不同视觉条件下的引用验证能力，确保每个引用对都经过人工审核和源检查。

技术框架：整体架构包括2400个渲染图像，基于100个古兰经经文，涵盖四种事实状态和六种视觉条件。实验分为多个阶段，首先进行图像渲染，然后通过VLMs进行引用验证，最后对结果进行分析。

关键创新：Visual Sanad的提出是本研究的核心创新，它为VLMs的引用验证提供了一个系统的评估标准，揭示了文化背景下的多模态事实失败，与现有方法相比，强调了对宗教内容的特殊处理需求。

关键设计：在实验设计中，确保所有引用对经过严格的源检查和人工审核，采用去偏见提示来优化模型的决策阈值，尽管这种方法在提升引用区分能力上效果有限。实验还对不同模型的性能进行了全面比较，揭示了专有与开放模型之间的显著差异。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，专有API服务的VLMs在引用验证方面表现接近完美，而开放权重VLMs则普遍存在较高的错误接受率，默认大多数图像为有效。去偏见提示虽然能减少错误接受，但往往是通过降低有效性而非增强区分能力。此研究揭示了流畅VLMs在处理宗教引用时的自我认证倾向。

🎯 应用场景

该研究的潜在应用领域包括宗教教育、文化内容的自动化处理和多模态信息检索等。通过提高视觉语言模型在引用验证方面的可靠性，Visual Sanad能够为相关领域提供更准确的工具，促进对文化敏感内容的理解与传播。未来，该基准可能推动更多针对特定文化背景的模型开发，提升多模态系统的整体性能。

📄 摘要（原文）

Vision-language models (VLMs) are increasingly used to interpret religious, educational, and culturally sensitive visual content, yet their reliability on citation verification remains underexplored. We introduce Visual Sanad, a controlled benchmark for testing whether VLMs falsely accept incorrect Qur'anic verse attributions when the same quote-reference pair is rendered under different visual framings. The benchmark contains 2,400 rendered images built from 100 English Qur'an verses, four factual states per verse, and six visual conditions ranging from plain text to decorative and authority-framed layouts. All quote-reference pairs were source-checked and human-audited before rendering. Across 24 full model-prompt runs, we observe a sharp capability split. Proprietary API-served VLMs range from near-perfect citation verification to moderate false acceptance, whereas recent open-weight VLMs often show weak discrimination and default to VALID on most images. De-biased prompting can reduce false acceptance, but often by shifting the decision threshold toward INVALID rather than by producing strong citation discrimination. Visual Sanad therefore exposes a culturally grounded multimodal factuality failure: fluent VLMs may treat displayed religious citations as self-authenticating unless they have strong citation-verification ability.