GHOST-Q: Towards Studying Grounding Hallucinations Overlooked Under Same-score TradeOffs in Quantized VLMS
作者: Saim Rehman, Muhammad Shafique
分类: cs.CV, cs.AI, cs.LG, cs.MM
发布日期: 2026-09-24
备注: Submitted to IEEE ICASSP 2027, 5 pages
💡 一句话要点
提出GHOST-Q以解决量化视觉语言模型中的幻觉问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 量化 幻觉问题 模型评估 多模态学习 深度学习 性能优化
📋 核心要点
- 现有的视觉语言模型量化方法主要关注整体准确性，忽视了视觉基础行为的保持，导致潜在的幻觉问题。
- GHOST-Q通过对不同精度下的量化模型进行逐项比较，评估压缩对基础成功与失败的影响，提供更全面的评估方法。
- 实验结果显示，尽管大多数量化模型在准确性上表现良好，但在幻觉敏感条件下仍存在显著的性能差异，强调了评估的必要性。
📝 摘要（中文）
视觉语言模型（VLMs）的后训练量化通常通过整体任务准确性和内存节省进行评估，但保持表面分数并不保证视觉基础行为的保留。本文提出GHOST-Q，对三种8B VLM家族在FP16、INT8和NF4下进行跨精度控制评估，结合FP16和量化预测逐项比较，以量化压缩如何重新分配基础成功与失败。尽管六种量化变体中有五种在MMStar准确性上保持在±2个百分点内，但在假发现率校正后，36个配对效果中有10个仍显著，尤其是在幻觉敏感条件下。进一步的同设备A100分析表明，显著的内存减少并不一定意味着更低的推理延迟。最后，开放式AMBER审计揭示了强生成预算审查，其严重程度因架构和精度而异。这些结果表明，量化VLM应联合评估整体效用、基础可靠性、生成行为和实际部署效率。
🔬 方法详解
问题定义：本文旨在解决量化视觉语言模型（VLMs）在保持整体准确性时可能导致的视觉基础行为丧失和幻觉问题。现有方法主要依赖于聚合准确性评估，未能深入分析量化对基础行为的影响。
核心思路：GHOST-Q提出了一种跨精度控制的评估方法，通过逐项比较FP16和量化预测，量化压缩如何影响基础成功与失败，从而提供更全面的模型评估。
技术框架：该方法包括多个阶段：首先，对三种不同精度（FP16、INT8、NF4）的8B VLM家族进行评估；其次，逐项比较量化模型与FP16模型的预测结果；最后，进行假发现率校正以确保结果的可靠性。
关键创新：GHOST-Q的主要创新在于其逐项比较的评估方法，能够揭示量化模型在基础行为上的潜在问题，这与传统的聚合准确性评估方法形成鲜明对比。
关键设计：在实验中，设置了多个量化变体，并使用MMStar准确性作为评估标准。同时，采用了假发现率校正方法，以确保在幻觉敏感条件下的评估结果的显著性。实验还通过同设备A100分析，探讨了内存减少与推理延迟之间的关系。
🖼️ 关键图片
📊 实验亮点
实验结果显示，五种量化变体在MMStar准确性上保持在±2个百分点内，但在幻觉敏感条件下，10个配对效果仍显著，强调了量化模型在基础行为上的潜在问题。此外，内存减少并不一定导致推理延迟降低，提示在模型优化时需综合考虑多种因素。
🎯 应用场景
该研究的潜在应用领域包括多模态人工智能系统、智能助手和自动化内容生成等。通过改进量化模型的评估方法，能够提升模型在实际应用中的可靠性和效率，推动相关技术的商业化进程。未来，GHOST-Q的评估框架可能成为量化模型研究的标准，促进更高效的视觉语言模型开发。
📄 摘要（原文）
Post-training quantization of vision--language models (VLMs) is typically assessed through aggregate task accuracy and memory savings, but preserving a headline score does not guarantee preservation of visual grounding behavior. We present GHOST-Q, a cross-precision controlled evaluation of three 8B VLM families under FP16, INT8, and NF4 across utility and hallucination-sensitive benchmarks. Rather than comparing only aggregate accuracy, we pair FP16 and quantized predictions item by-item to quantify how compression redistributes grounding successes and failures. Five of six quantized variants preserve MMStar accuracy within $\pm2$ percentage points, yet 10 of 36 paired effects remain significant after false-discovery-rate correction, nine on hallucination-sensitive conditions. Same-device A100 profiling further demonstrates that substantial memory reduction does not necessarily mean lower inference latency. Finally, an open-ended AMBER audit reveals strong generation budget censoring whose severity varies by architecture and precision. These results show that quantized VLMs should be evaluated jointly for aggregate utility, grounding reliability, generation behavior, and realized deployment efficiency.