C$^{3}$Bench: A Comprehensive Classical Chinese Understanding Benchmark for Large Language Models

📄 arXiv: 2405.17732v2 📥 PDF

作者: Jiahuan Cao, Yongxin Shi, Dezhi Peng, Yang Liu, Lianwen Jin

分类: cs.CL

发布日期: 2024-05-28 (更新: 2024-05-30)

🔗 代码/项目: GITHUB

💡 一句话要点

提出C³Bench，用于全面评估大语言模型在古文理解方面的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 古文理解 大型语言模型 基准测试 自然语言处理 命名实体识别

📋 核心要点

  1. 现有大型语言模型缺乏针对古文理解能力的全面评估基准。
  2. 构建包含五大任务、十个领域的大规模古文理解基准C³Bench。
  3. 评估了15个LLM，结果表明现有LLM在古文理解方面仍有不足。

📝 摘要（中文）

本文提出了C³Bench，一个全面的古文理解（CCU）基准，旨在评估大型语言模型（LLM）在古文方面的能力。C³Bench包含50,000个文本对，涵盖分类、检索、命名实体识别、标点和翻译五个主要的CCU任务。数据集来源于十个不同的领域，覆盖了古文的大部分类别。研究者利用C³Bench对15个具有代表性的LLM在所有五个CCU任务上进行了广泛的定量评估。结果不仅建立了一个LLM在CCU能力方面的公共排行榜，还获得了一些发现。具体而言，现有的LLM在CCU任务上表现不佳，仍然不如有监督模型。此外，结果表明CCU是一项需要特别关注的任务。这项研究为未来基于LLM的CCU研究提供了标准基准、全面的基线和有价值的见解。

🔬 方法详解

问题定义：论文旨在解决缺乏全面基准来评估大型语言模型（LLM）在古文理解（CCU）能力的问题。现有方法无法有效衡量LLM对古文的理解程度，阻碍了相关研究的进展。现有的数据集和评估方法可能不够全面，无法覆盖古文的各种任务和领域，导致评估结果不够准确和可靠。

核心思路：论文的核心思路是构建一个全面的、多任务的古文理解基准C³Bench，从而系统地评估LLM在不同古文任务上的表现。通过涵盖分类、检索、命名实体识别、标点和翻译等多种任务，以及来自不同领域的古文数据，C³Bench能够更全面地反映LLM的古文理解能力。

技术框架：C³Bench的构建包括以下几个主要阶段：1) 确定CCU任务类型，包括分类、检索、命名实体识别、标点和翻译；2) 收集来自十个不同领域的古文数据，确保数据的多样性和代表性；3) 对数据进行清洗、标注和处理，生成50,000个文本对；4) 设计评估指标，用于衡量LLM在各个任务上的表现；5) 利用C³Bench对多个LLM进行评估，并建立公共排行榜。

关键创新：C³Bench的关键创新在于其全面性和多任务性。与现有的古文数据集相比，C³Bench涵盖了更广泛的任务类型和领域，能够更全面地评估LLM的古文理解能力。此外，C³Bench提供了一个公共排行榜，方便研究者比较不同LLM的性能，并促进相关研究的进展。

关键设计：C³Bench包含五个主要任务：分类（例如，判断文本的作者或主题）、检索（例如，根据查询检索相关的古文文本）、命名实体识别（例如，识别文本中的人名、地名和机构名）、标点（例如，为古文文本添加标点符号）和翻译（例如，将古文翻译成现代汉语）。数据集来源于十个不同的领域，包括历史、文学、哲学等。评估指标根据任务类型而异，例如，分类任务使用准确率，检索任务使用召回率，翻译任务使用BLEU。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有LLM在C³Bench上的表现不如有监督模型，表明古文理解对LLM来说仍然是一个挑战。该研究建立了一个LLM在CCU能力方面的公共排行榜，为后续研究提供了基准。此外，研究还发现，不同LLM在不同CCU任务上的表现存在差异，表明需要针对特定任务进行优化。

🎯 应用场景

该研究成果可应用于古籍数字化、古文智能检索、古文辅助翻译等领域。通过提升LLM对古文的理解能力，可以更好地传承和弘扬中华优秀传统文化，并为相关研究提供技术支持。未来，该基准可以促进更多针对古文理解的LLM研究，推动古文信息处理技术的发展。

📄 摘要（原文）

Classical Chinese Understanding (CCU) holds significant value in preserving and exploration of the outstanding traditional Chinese culture. Recently, researchers have attempted to leverage the potential of Large Language Models (LLMs) for CCU by capitalizing on their remarkable comprehension and semantic capabilities. However, no comprehensive benchmark is available to assess the CCU capabilities of LLMs. To fill this gap, this paper introduces C$^{3}$bench, a Comprehensive Classical Chinese understanding benchmark, which comprises 50,000 text pairs for five primary CCU tasks, including classification, retrieval, named entity recognition, punctuation, and translation. Furthermore, the data in C$^{3}$bench originates from ten different domains, covering most of the categories in classical Chinese. Leveraging the proposed C$^{3}$bench, we extensively evaluate the quantitative performance of 15 representative LLMs on all five CCU tasks. Our results not only establish a public leaderboard of LLMs' CCU capabilities but also gain some findings. Specifically, existing LLMs are struggle with CCU tasks and still inferior to supervised models. Additionally, the results indicate that CCU is a task that requires special attention. We believe this study could provide a standard benchmark, comprehensive baselines, and valuable insights for the future advancement of LLM-based CCU research. The evaluation pipeline and dataset are available at \url{https://github.com/SCUT-DLVCLab/C3bench}.