Assessing how hyperparameters impact Large Language Models' sarcasm detection performance

📄 arXiv: 2504.06166v2 📥 PDF

作者: Montgomery Gole, Andriy Miranskyy

分类: cs.CL

发布日期: 2025-04-08 (更新: 2025-04-15)

备注: arXiv admin note: substantial text overlap with arXiv:2312.04642

💡 一句话要点

研究超参数对大型语言模型讽刺检测性能的影响，Llama-2-13b微调后达到人类水平。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 讽刺检测 大型语言模型 超参数调优 Llama-2 GPT 自然语言处理 情感分析

📋 核心要点

  1. 讽刺检测是自然语言处理中的难题，现有方法在捕捉微妙的语言线索方面存在不足。
  2. 该研究通过调整超参数和评估不同模型变体，系统性地探索了大型语言模型在讽刺检测任务中的性能。
  3. 实验表明，模型大小和超参数调优对讽刺检测性能有显著影响，Llama-2-13b微调后达到人类水平。

📝 摘要（中文）

讽刺检测对人类和机器来说都具有挑战性。本研究探讨了模型特性如何影响OpenAI的GPT和Meta的Llama-2模型在讽刺检测中的表现，考虑到它们强大的自然语言理解能力和受欢迎程度。我们评估了各种大小、版本和超参数下的微调和零样本模型。实验在流行的自标注Reddit语料库（SARC2.0）讽刺数据集的政治和平衡（pol-bal）部分进行。微调性能随着模型系列中模型大小的增加而单调提高，而超参数调整也会影响性能。在微调场景中，全精度Llama-2-13b实现了最先进的准确率和$F_1$-score，均为0.83，与平均人类表现相当。在零样本设置中，一个GPT-4模型取得了与先前尝试相当的性能，准确率为0.70，$F_1$-score为0.75。此外，模型的性能可能会随着每个版本的发布而增加或下降，突出了每次发布后重新评估性能的必要性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在讽刺检测任务中的性能评估问题。现有方法缺乏对模型大小、超参数和模型版本之间相互作用的系统性研究，难以确定最佳模型配置和调优策略。

核心思路：论文的核心思路是通过控制变量法，系统地评估不同模型大小、超参数和模型版本对讽刺检测性能的影响。通过微调和零样本两种设置，考察模型的泛化能力和对超参数的敏感性。

技术框架：该研究的技术框架主要包括以下几个步骤：1）选择OpenAI的GPT系列和Meta的Llama-2系列作为研究对象；2）在SARC2.0数据集的pol-bal部分进行实验；3）分别评估微调和零样本两种设置下的性能；4）系统性地调整超参数，如学习率、batch size等；5）对比不同模型大小、版本和超参数组合下的性能指标，如准确率和$F_1$-score。

关键创新：该研究的关键创新在于对大型语言模型在讽刺检测任务中的性能进行了全面的评估，揭示了模型大小、超参数和模型版本之间的复杂关系。此外，该研究还发现，通过适当的超参数调优，Llama-2-13b可以达到与人类相当的讽刺检测水平。

关键设计：在微调设置中，采用了常见的分类损失函数，并使用AdamW优化器进行训练。超参数的搜索空间包括学习率（例如，1e-5, 1e-4, 1e-3）和batch size（例如，16, 32, 64）。对于Llama-2-13b，使用了全精度进行训练，以获得最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在微调场景下，全精度Llama-2-13b在SARC2.0数据集上取得了最先进的准确率和$F_1$-score，均为0.83，与平均人类表现相当。在零样本设置中，一个GPT-4模型取得了与先前尝试相当的性能，准确率为0.70，$F_1$-score为0.75。研究还发现，模型的性能可能会随着每个版本的发布而增加或下降。

🎯 应用场景

该研究成果可应用于情感分析、舆情监控、智能客服等领域，提高机器理解人类语言中讽刺意味的能力。通过优化模型配置和调优策略，可以提升相关应用在处理复杂文本时的准确性和可靠性，从而更好地服务于用户。

📄 摘要（原文）

Sarcasm detection is challenging for both humans and machines. This work explores how model characteristics impact sarcasm detection in OpenAI's GPT, and Meta's Llama-2 models, given their strong natural language understanding, and popularity. We evaluate fine-tuned and zero-shot models across various sizes, releases, and hyperparameters. Experiments were conducted on the political and balanced (pol-bal) portion of the popular Self-Annotated Reddit Corpus (SARC2.0) sarcasm dataset. Fine-tuned performance improves monotonically with model size within a model family, while hyperparameter tuning also impacts performance. In the fine-tuning scenario, full precision Llama-2-13b achieves state-of-the-art accuracy and $F_1$-score, both measured at 0.83, comparable to average human performance. In the zero-shot setting, one GPT-4 model achieves competitive performance to prior attempts, yielding an accuracy of 0.70 and an $F_1$-score of 0.75. Furthermore, a model's performance may increase or decline with each release, highlighting the need to reassess performance after each release.