Star Light, Star Bright: Can Multimodal Models Parse an Astronomy Visual Question Answering Dataset Right?
作者: J. P. Naiman
分类: cs.CV, astro-ph.IM, cs.DL, cs.IR
发布日期: 2026-10-15
备注: 5 main pages, 12 pages total, accepted to The 4th Annual Workshop for Artificial Intelligence for Scientific Publications (WASP) 2026, International Joint Conference on Natural Language Processing & Asia-Pacific Chapter of the Association for Computational Linguistics (IJCNLP-AACL)
🔗 代码/项目: GITHUB | HUGGINGFACE
💡 一句话要点
构建天文学视觉问答数据集以评估多模态模型的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉问答 多模态模型 天文学 数据集构建 模型评估
📋 核心要点
- 现有的多模态模型在处理天文学领域特定的视觉问答任务时，准确性较低，无法有效理解图形信息。
- 本文提出了一个领域特定的VQA数据集，包含多种类型的天文图像及相关问题，以评估低成本LMM的表现。
- 实验结果表明，所测试的模型在回答领域特定问题时频繁出现高误差，与人类验证的结果相似，显示出模型的局限性。
📝 摘要（中文）
图形在科学交流中至关重要，而视觉问答（VQA）领域旨在测试大型多模态模型（LMMs）对图形的理解能力。本文研究了几种低成本LMM在天文图像领域特定VQA任务上的准确性。为此，我们构建了一个包含2001个部分合成图形的领域特定VQA数据集，涵盖等高线图、来自NASA SkyView的真实望远镜图像以及与真实图像轴和角度比例相同但颜色来源于高斯混合模型的“伪”天空图像，并附带47357个问题。测试结果显示，这些模型在回答领域特定问题时的准确率较低。与104个经过人类验证的历史期刊出版物中的天文图像进行初步比较，发现模型在角度范围上的中位误差相似。所有代码和数据集均已在GitHub和HuggingFace上发布。
🔬 方法详解
问题定义：本文旨在解决低成本多模态模型在天文学视觉问答任务中的准确性不足问题。现有方法在理解领域特定图形时存在显著挑战，导致模型无法有效回答相关问题。
核心思路：通过构建一个包含多种天文图像的领域特定VQA数据集，论文旨在评估和分析低成本LMM在处理这些图像时的表现，从而揭示其局限性。
技术框架：整体架构包括数据集构建、模型测试和结果分析三个主要阶段。数据集由2001个图形和47357个问题组成，模型测试则使用三种低成本LMM进行评估。
关键创新：最重要的创新在于构建了一个专门针对天文学领域的VQA数据集，涵盖真实和合成图像，并模拟了历史文献中的页面老化效果，这在现有研究中尚属首次。
关键设计：数据集中图形的多样性和问题的针对性设计是关键，确保了模型测试的有效性。此外，模型的评估标准与人类验证结果进行了对比，以确保结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所测试的低成本LMM在回答领域特定问题时的准确率普遍较低，未能达到预期的性能水平。与104个经过人类验证的图像进行比较，模型在角度范围上的中位误差相似，表明模型在特定领域的局限性。
🎯 应用场景
该研究的潜在应用领域包括天文学教育、科研数据分析及科学传播等。通过提高多模态模型在特定领域的理解能力，可以促进科学知识的传播和应用，推动相关技术的发展与创新。
📄 摘要（原文）
Figures are essential for scientific communication, and the field of Visual Question Answering (VQA) aims to test the figure understanding capabilities of large multimodal models (LMMs). Here, we investigate the accuracy of several low-cost LMMs on domain-specific VQA tasks for astronomical images of the sky. As instrument for this task we build a domain-specific VQA dataset comprising 2001 partially-synthetic figures divided evenly between contour plots, real telescope images drawn from NASA's SkyView, and "fake" sky images which share the axes and angular scales of the real images but draw their colors from a gaussian mixture model, alongside 47357 questions. Each figure is released as pristine and with realistic page-aging degradations mimicking the historical astronomical corpus. Testing three low-cost proprietary LMMs, we find models frequently fail to answer domain-specific questions at high accuracy. An initial comparison with 104 human-verified, astrometrically tagged figures from historical journal publications shows similar median errors in angular extent. All code is available on GitHub: https://github.com/jnaiman/SkyImagesWASP2026 and dataset is available on HuggingFace: https://huggingface.co/datasets/ReadingTimeMachine/astro_sky_image_vqa.