SemBench: A Universal Semantic Framework for LLM Evaluation

📄 arXiv: 2603.11687v1 📥 PDF

作者: Mikel Zubillaga, Naiara Perez, Oscar Sainz, German Rigau

分类: cs.CL, cs.AI

发布日期: 2026-03-12

备注: Accepted at LREC 2026

💡 一句话要点

SemBench：一种通用的LLM语义评估框架，自动生成跨语言评测基准。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型评估 语义理解 跨语言评测 自动基准生成 自然语言处理

📋 核心要点

  1. 现有语义理解评测基准（如WiC）构建成本高昂，且主要集中在高资源语言上。
  2. SemBench利用字典释义和句子编码器自动生成合成评测基准，无需人工标注数据。
  3. 实验证明，SemBench在多种语言和模型上有效，且只需少量样本即可获得稳定排名。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著进展，展现出卓越的生成和推理能力。然而，评估这些模型真正的语义理解能力仍然是一个持续存在的挑战。传统的基准测试，如Word-in-Context（WiC），能够有效地探测这种能力，但其创建过程耗费资源，并且通常仅限于高资源语言。本文介绍了一种名为SemBench的框架，该框架仅使用字典释义和句子编码器自动生成合成基准，以评估LLMs的语义能力。这种方法无需人工标注的示例句子，使其具有可扩展性和语言独立性。我们在三种语言（英语、西班牙语和巴斯克语）上评估了SemBench，这些语言涵盖了不同级别的语言资源，并涵盖了各种LLMs。结果表明，从SemBench得出的排名与从标准WiC数据集获得的排名高度相关。此外，我们的分析表明，只需要少量的例子就可以实现稳定和有意义的排名。总而言之，SemBench为跨语言评估LLMs的语义理解能力提供了一个轻量级、适应性强且数据高效的框架。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）语义理解能力评估的问题。现有方法，如Word-in-Context (WiC)，依赖于人工标注的语料库，构建成本高，难以扩展到低资源语言，并且缺乏通用性。这些方法的痛点在于数据依赖性和语言局限性。

核心思路：SemBench的核心思路是利用现有的词典释义和句子编码器，自动生成用于评估LLM语义理解能力的合成数据集。通过比较LLM对不同语境下相同词语含义的理解，来判断其语义理解能力。这种方法避免了对人工标注数据的依赖，从而实现了跨语言和低资源环境下的可扩展性。

技术框架：SemBench的整体框架包括以下几个主要步骤：1) 从词典中获取词语的释义；2) 使用句子编码器将释义编码为向量表示；3) 基于向量表示，生成包含目标词语的合成句子，并确保在不同句子中该词语的含义不同；4) 将生成的句子输入LLM，要求LLM判断目标词语在不同句子中的含义是否相同；5) 根据LLM的判断结果，计算其语义理解能力得分。

关键创新：SemBench的关键创新在于其完全自动化的基准生成过程。与传统的依赖人工标注的方法不同，SemBench仅使用词典释义和句子编码器，即可生成用于评估LLM语义理解能力的基准。这种方法极大地降低了基准构建的成本，并使其能够轻松地扩展到不同的语言和领域。

关键设计：SemBench的关键设计包括：1) 选择合适的句子编码器，以确保能够准确地捕捉词语在不同语境下的语义信息；2) 设计有效的合成句子生成策略，以确保生成的句子既自然又能够区分目标词语的不同含义；3) 使用合适的评估指标，以准确地衡量LLM的语义理解能力。具体参数设置和损失函数取决于所使用的句子编码器和LLM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SemBench生成的排名与标准WiC数据集的排名高度相关，验证了其有效性。此外，实验还表明，SemBench只需要少量的例子就可以实现稳定和有意义的排名，证明了其数据效率。在英语、西班牙语和巴斯克语上的实验结果表明，SemBench具有跨语言的适用性。

🎯 应用场景

SemBench可用于快速评估和比较不同LLM的语义理解能力，尤其是在低资源语言和跨语言场景下。该框架能够帮助研究人员更好地理解LLM的优势和局限性，并指导模型改进。此外，SemBench还可以应用于教育领域，用于评估学生的语言理解能力。

📄 摘要（原文）

Recent progress in Natural Language Processing (NLP) has been driven by the emergence of Large Language Models (LLMs), which exhibit remarkable generative and reasoning capabilities. However, despite their success, evaluating the true semantic understanding of these models remains a persistent challenge. Traditional benchmarks such as Word-in-Context (WiC) effectively probe this capability, but their creation is resource-intensive and often limited to high-resource languages. In this paper, we introduce SemBench, a framework for automatically generating synthetic benchmarks that assess the semantic competence of LLMs using only dictionary sense definitions and a sentence encoder. This approach eliminates the need for curated example sentences, making it both scalable and language-independent. We evaluate SemBench in three languages (English, Spanish, and Basque) spanning different levels of linguistic resources, and across a wide range of LLMs. Our results show that rankings derived from SemBench strongly correlate with those obtained from standard WiC datasets. Furthermore, our analysis demonstrates that only a small number of examples is required to achieve stable and meaningful rankings. Overall, SemBench provides a lightweight, adaptable, and data-efficient framework for cross-lingual evaluation of semantic understanding in LLMs.