Sharif-STR at SemEval-2024 Task 1: Transformer as a Regression Model for Fine-Grained Scoring of Textual Semantic Relations

📄 arXiv: 2407.12426v1 📥 PDF

作者: Seyedeh Fatemeh Ebrahimi, Karim Akhavan Azari, Amirmasoud Iravani, Hadi Alizadeh, Zeinab Sadat Taghavi, Hossein Sameti

分类: cs.CL, cs.AI

发布日期: 2024-07-17

备注: 10 pages, 9 figures, 4 tables

期刊: Proceedings of the 18th International Workshop on Semantic Evaluation (SemEval-2024)

DOI: 10.18653/v1/2024.semeval-1.151

💡 一句话要点

利用RoBERTa微调进行文本语义关系细粒度评分，提升多语言STR性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义文本相关性 RoBERTa Transformer 微调 自然语言处理

📋 核心要点

  1. 传统STR方法依赖知识库和统计方法，难以捕捉深层语义关系，泛化能力有限。
  2. 论文提出使用RoBERTa Transformer进行微调，将STR任务视为回归问题，直接预测语义相关性得分。
  3. 实验表明，该方法在英语和西班牙语等拉丁语系中表现良好，但在阿拉伯语等语言中仍有提升空间。

📝 摘要（中文）

本文探讨了自然语言处理中具有重要意义的语义文本相关性（STR）问题，该问题在多个领域均有应用。传统STR方法依赖于知识库和统计方法。然而，随着大型语言模型的出现，范式发生了转变，带来了新的方法。本文研究了Track A（监督）中的句子级STR，通过对RoBERTa Transformer进行微调。研究重点是评估这种方法在不同语言中的有效性。研究结果表明，STR性能取得了显著进展，尤其是在拉丁语系中。具体而言，在英语中取得了显著改进，相关性达到0.82，排名第19位。在西班牙语中，相关性达到0.67，排名第15位。然而，该方法在阿拉伯语等语言中遇到了挑战，相关性仅为0.38，排名第20位。

🔬 方法详解

问题定义：论文旨在解决句子级别的语义文本相关性（STR）问题，即衡量两个句子在语义上的相似程度。现有方法，如基于知识库和统计的方法，难以捕捉句子之间复杂的语义关系，并且在跨语言场景下的泛化能力较弱。

核心思路：论文的核心思路是将STR任务建模为一个回归问题，利用预训练的RoBERTa Transformer模型学习句子之间的语义关系，并通过微调的方式直接预测句子对的语义相关性得分。这种方法能够充分利用RoBERTa强大的语义表示能力，从而更准确地衡量句子之间的语义相似度。

技术框架：整体框架包括以下步骤：1) 数据预处理：对输入的句子对进行清洗和格式化；2) 模型构建：使用预训练的RoBERTa模型作为基础模型；3) 微调训练：使用STR数据集对RoBERTa模型进行微调，优化模型参数；4) 预测：使用微调后的模型预测新的句子对的语义相关性得分。

关键创新：论文的关键创新在于将预训练的Transformer模型应用于STR任务，并将其建模为一个回归问题。与传统的分类方法不同，回归方法能够更精细地衡量句子之间的语义相关性，从而提高STR的准确性。此外，利用预训练模型能够有效利用大规模语料库中的知识，提高模型的泛化能力。

关键设计：论文使用RoBERTa作为基础模型，并根据STR任务的特点进行了微调。具体来说，将句子对输入到RoBERTa模型中，得到句子对的语义表示向量，然后通过一个线性层将该向量映射为一个标量，作为句子对的语义相关性得分。损失函数采用均方误差（MSE），优化器采用AdamW。实验中，作者探索了不同的学习率和batch size等超参数，并选择了最优的参数组合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在英语和西班牙语的STR任务中取得了显著的性能提升。在英语数据集上，该方法取得了0.82的相关性，排名第19位；在西班牙语数据集上，取得了0.67的相关性，排名第15位。这些结果表明，基于RoBERTa微调的方法能够有效提高STR的准确性，尤其是在拉丁语系中。

🎯 应用场景

该研究成果可应用于多种自然语言处理任务，如信息检索、文本摘要、机器翻译和问答系统。通过准确衡量文本之间的语义相关性，可以提高信息检索的准确率，改进文本摘要的质量，提升机器翻译的流畅度，并增强问答系统的理解能力。未来，该方法有望应用于跨语言信息检索和多语言知识图谱构建等领域。

📄 摘要（原文）

Semantic Textual Relatedness holds significant relevance in Natural Language Processing, finding applications across various domains. Traditionally, approaches to STR have relied on knowledge-based and statistical methods. However, with the emergence of Large Language Models, there has been a paradigm shift, ushering in new methodologies. In this paper, we delve into the investigation of sentence-level STR within Track A (Supervised) by leveraging fine-tuning techniques on the RoBERTa transformer. Our study focuses on assessing the efficacy of this approach across different languages. Notably, our findings indicate promising advancements in STR performance, particularly in Latin languages. Specifically, our results demonstrate notable improvements in English, achieving a correlation of 0.82 and securing a commendable 19th rank. Similarly, in Spanish, we achieved a correlation of 0.67, securing the 15th position. However, our approach encounters challenges in languages like Arabic, where we observed a correlation of only 0.38, resulting in a 20th rank.