Detection and Measurement of Hailstones with Multimodal Large Language Models
作者: Moritz Alker, David C. Schedl, Andreas Stöckl
分类: cs.CV, cs.AI
发布日期: 2025-10-07
备注: 6 pages, 5 figures, accepted at The 2nd International Conference on Electrical and Computer Engineering Researches
💡 一句话要点
利用多模态大语言模型检测和测量冰雹，提升恶劣天气事件评估效率。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 冰雹检测 多模态大语言模型 社交媒体图像 灾害评估 计算机视觉
📋 核心要点
- 传统冰雹传感器数据稀疏，难以快速全面评估灾情，本研究旨在利用社交媒体图像弥补这一不足。
- 核心思想是利用预训练多模态大语言模型，结合图像中的参考物，实现冰雹直径的自动检测与测量。
- 实验结果表明，即使未经微调，该方法也能有效测量冰雹直径，最佳模型平均绝对误差为1.12厘米。
📝 摘要（中文）
本研究探讨了利用社交媒体和新闻图像，通过预训练的多模态大语言模型来检测和测量冰雹。研究数据集包含来自奥地利2022年1月至2024年9月期间记录的冰雹事件的474张众包冰雹图像，这些冰雹的最大直径范围为2至11厘米。我们评估了冰雹直径，并比较了四种不同的模型，采用了单阶段和两阶段提示策略。后者利用图像中参考对象（如人手）的额外尺寸线索。结果表明，即使没有经过微调，预训练模型也具有从图像中测量冰雹直径的潜力，最佳模型的平均绝对误差为1.12厘米。与单阶段提示相比，两阶段提示提高了大多数模型的可靠性。我们的研究表明，这些现成的模型可以通过从社交媒体图像中提取有意义且空间密集的信息来补充传统的冰雹传感器，从而更快、更详细地评估恶劣天气事件。从社交媒体和其他来源自动实时收集图像仍然是一个开放的任务，但它将使我们的方法直接适用于未来的冰雹事件。
🔬 方法详解
问题定义：本研究旨在解决冰雹灾害评估中，传统传感器数据稀疏、难以快速提供全面信息的问题。现有方法依赖人工观测或专业设备，成本高昂且覆盖范围有限，无法满足快速响应和精细化评估的需求。
核心思路：核心思路是利用社交媒体上用户上传的冰雹图像，结合预训练的多模态大语言模型，自动检测和测量冰雹的直径。通过分析图像内容，并结合图像中已知尺寸的参考物（如人手），推断冰雹的实际大小。
技术框架：整体流程包括：1) 数据收集：从社交媒体和新闻来源收集冰雹图像；2) 图像预处理：对图像进行必要的清洗和增强；3) 模型推理：使用预训练的多模态大语言模型，结合单阶段或两阶段提示策略，预测冰雹直径；4) 结果评估：将模型预测结果与实际冰雹直径进行比较，评估模型性能。两阶段提示策略首先识别图像中的参考对象，然后利用参考对象的大小信息辅助冰雹直径的测量。
关键创新：关键创新在于将预训练的多模态大语言模型应用于冰雹检测与测量任务，并提出了两阶段提示策略，利用图像中的参考物提高测量精度。与传统方法相比，该方法无需人工干预，能够快速处理大量图像数据，实现自动化和规模化。
关键设计：研究中比较了四种不同的模型，并采用了单阶段和两阶段提示策略。两阶段提示的关键在于准确识别图像中的参考对象，并估计其大小。模型的具体参数设置和损失函数等细节在论文中未详细说明，属于预训练模型的固有属性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使未经微调，预训练的多模态大语言模型也具有测量冰雹直径的潜力。最佳模型的平均绝对误差为1.12厘米。与单阶段提示相比，两阶段提示策略提高了大多数模型的可靠性，表明利用图像中的参考物可以有效提升测量精度。该研究验证了利用社交媒体图像进行冰雹灾害评估的可行性。
🎯 应用场景
该研究成果可应用于灾害预警与评估、气象研究等领域。通过实时分析社交媒体图像，可以快速了解冰雹灾害的分布和严重程度，为应急响应提供决策支持。此外，该方法还可以用于验证和改进气象模型，提高冰雹预报的准确性。未来，结合自动图像采集技术，可实现冰雹灾害的实时监测与评估。
📄 摘要（原文）
This study examines the use of social media and news images to detect and measure hailstones, utilizing pre-trained multimodal large language models. The dataset for this study comprises 474 crowdsourced images of hailstones from documented hail events in Austria, which occurred between January 2022 and September 2024. These hailstones have maximum diameters ranging from 2 to 11cm. We estimate the hail diameters and compare four different models utilizing one-stage and two-stage prompting strategies. The latter utilizes additional size cues from reference objects, such as human hands, within the image. Our results show that pretrained models already have the potential to measure hailstone diameters from images with an average mean absolute error of 1.12cm for the best model. In comparison to a single-stage prompt, two-stage prompting improves the reliability of most models. Our study suggests that these off-the-shelf models, even without fine-tuning, can complement traditional hail sensors by extracting meaningful and spatially dense information from social media imagery, enabling faster and more detailed assessments of severe weather events. The automated real-time image harvesting from social media and other sources remains an open task, but it will make our approach directly applicable to future hail events.