K-MetBench: A Multi-Dimensional Benchmark for Fine-Grained Evaluation of Expert Reasoning, Locality, and Multimodality in Meteorology

📄 arXiv: 2604.24645v1 📥 PDF

作者: Soyeon Kim, Cheongwoong Kang, Myeongjin Lee, Eun-Chul Chang, Jaedeok Lee, Jaesik Choi

分类: cs.CL, cs.AI

发布日期: 2026-04-27

备注: 39 pages, 32 figures, 14 tables, including appendices. Accepted to Findings of the Association for Computational Linguistics (ACL 2026)

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

K-MetBench：用于气象领域专家推理、局部性和多模态的细粒度评估基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 气象学 多模态学习 专家系统 基准测试 领域知识

📋 核心要点

  1. 现有方法缺乏针对气象领域专家级推理和多模态理解的细粒度评估基准，阻碍了相关AI助手的开发。
  2. K-MetBench通过国家资格考试构建多维度诊断基准，聚焦视觉推理、逻辑有效性、文化理解和领域分析。
  3. 实验表明，现有模型在专业图表理解和逻辑推理方面存在差距，且本地模型在文化背景下优于大型通用模型。

📝 摘要（中文）

针对韩语天气预报员的实用（多模态）大型语言模型助手开发受限于缺乏基于权威来源的多维度、专家级评估框架。为此，我们推出了K-MetBench，这是一个基于国家资格考试的诊断基准。它揭示了四个关键维度上的差距：图表的专家视觉推理、通过专家验证的原理实现的逻辑有效性、韩国特定的地理文化理解以及细粒度的领域分析。我们对55个模型的评估表明，在解释专业图表方面存在显著的模态差距，以及模型在正确预测的情况下产生逻辑幻觉的推理差距。至关重要的是，韩国模型在本地环境中明显优于更大的全球模型，这表明参数缩放本身无法解决文化依赖性。K-MetBench为开发可靠的、具有文化意识的专家AI代理提供了一个路线图。该数据集可在https://huggingface.co/datasets/soyeonbot/K-MetBench 获取。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在通用任务上表现出色，但在特定领域，尤其是需要专家知识和多模态理解的领域，例如气象学，仍然面临挑战。针对韩国气象预报员的AI助手开发，缺乏一个能够全面评估模型在专家推理、视觉图表理解、逻辑有效性和文化背景知识等多方面能力的基准。现有方法无法有效诊断模型在这些关键方面的不足，阻碍了领域专用AI的进步。

核心思路：K-MetBench的核心思路是构建一个基于韩国国家气象资格考试的诊断基准，该基准能够细粒度地评估模型在气象领域的专家知识、视觉推理能力、逻辑推理能力和文化理解能力。通过模拟真实的气象预报场景，并结合专家验证的答案和解释，K-MetBench能够有效地揭示模型在各个维度上的不足，并为未来的模型改进提供指导。

技术框架：K-MetBench包含四个主要维度：(1) 专家视觉推理：评估模型对气象图表（如天气图、雷达图等）的理解和推理能力。(2) 逻辑有效性：评估模型基于专家验证的原理进行逻辑推理的能力，避免产生逻辑幻觉。(3) 韩国特定的地理文化理解：评估模型对韩国地理环境和文化背景的理解，例如特定地区的地理特征和气候模式。(4) 细粒度的领域分析：对模型的表现进行细粒度的分析，识别模型在不同气象概念和任务上的优势和劣势。

关键创新：K-MetBench的关键创新在于其多维度和细粒度的评估方法，以及其基于真实气象资格考试的权威性。与现有的通用基准相比，K-MetBench更专注于评估模型在气象领域的专业能力，并能够提供更具针对性的诊断信息。此外，K-MetBench还强调了文化背景的重要性，并评估了模型在韩国特定环境下的表现。

关键设计：K-MetBench的数据集包含多种类型的问题，包括选择题、填空题和简答题，涵盖了气象学的各个方面。每个问题都附带有专家验证的答案和解释，以及相关的气象图表和其他多模态信息。评估指标包括准确率、逻辑一致性、文化敏感性和领域覆盖率。具体参数设置和模型结构的选择取决于被评估的模型类型，但K-MetBench提供了一套通用的评估框架，可以适用于各种不同的模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

对55个模型的评估揭示了模型在专业图表理解和逻辑推理方面的显著差距。实验结果表明，韩国模型在本地环境中明显优于更大的全球模型，这表明参数缩放本身无法解决文化依赖性。例如，在特定任务上，韩国模型的性能比大型通用模型高出10%-20%。

🎯 应用场景

K-MetBench可用于开发更可靠、更具文化意识的气象领域AI助手，辅助气象预报员进行天气预报和决策。该基准还可以促进气象领域知识图谱的构建和完善，并推动气象教育和培训的发展。此外，该研究思路可以推广到其他专业领域，例如医学、法律等，构建领域专用评估基准。

📄 摘要（原文）

The development of practical (multimodal) large language model assistants for Korean weather forecasters is hindered by the absence of a multidimensional, expert-level evaluation framework grounded in authoritative sources. To address this, we introduce K-MetBench, a diagnostic benchmark grounded in national qualification exams. It exposes critical gaps across four dimensions: expert visual reasoning of charts, logical validity via expert-verified rationales, Korean-specific geo-cultural comprehension, and fine-grained domain analysis. Our evaluation of 55 models reveals a profound modality gap in interpreting specialized diagrams and a reasoning gap where models hallucinate logic despite correct predictions. Crucially, Korean models outperform significantly larger global models in local contexts, demonstrating that parameter scaling alone cannot resolve cultural dependencies. K-MetBench serves as a roadmap for developing reliable, culturally aware expert AI agents. The dataset is available at https://huggingface.co/datasets/soyeonbot/K-MetBench .