DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

📄 arXiv: 2509.09524v1 📥 PDF

作者: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

分类: cs.CL, cs.LG

发布日期: 2025-09-11

备注: 11 pages, 4 figures; to appear at NLPerspectives@EMNLP-2025

💡 一句话要点

DeMeVa团队提出结合上下文学习与标签分布学习的视角建模方法，用于解决LeWiDi-2025任务。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 标签分布学习 视角建模 RoBERTa 软标签预测

📋 核心要点

  1. 现有方法难以有效建模标注者之间的主观差异，导致在处理视角相关任务时性能受限。
  2. 利用上下文学习预测个体标注者的视角，并将这些预测结果聚合为软标签，从而捕捉标注差异。
  3. 实验表明，上下文学习能够有效预测个体标注者的标注，且标签分布学习在软标签预测方面具有潜力。

📝 摘要（中文）

本文介绍了DeMeVa团队参加第三届Learning with Disagreements (LeWiDi 2025) 共享任务的方法。我们探索了两个方向：一是使用大型语言模型的上下文学习（ICL），并比较了不同的示例采样策略；二是使用RoBERTa的标签分布学习（LDL）方法，并评估了几种微调方法。我们的贡献有两方面：（1）我们表明ICL可以有效地预测特定标注者的标注（视角主义标注），并且将这些预测聚合为软标签可以产生有竞争力的性能；（2）我们认为LDL方法对于软标签预测很有前景，值得视角主义社区进一步探索。

🔬 方法详解

问题定义：LeWiDi任务旨在解决不同标注者对同一文本持有不同观点的问题，即视角主义。现有方法难以有效建模这种标注差异，导致模型性能下降。该任务的痛点在于如何利用有限的标注信息，准确预测个体标注者的视角，并整合这些视角以获得更鲁棒的预测结果。

核心思路：论文的核心思路是结合上下文学习（ICL）和标签分布学习（LDL）两种方法。ICL用于模拟个体标注者的视角，通过提供少量示例，让大型语言模型学习特定标注者的标注风格。LDL则用于直接预测软标签，即不同标签的概率分布，从而更好地表示标注的不确定性和差异性。

技术框架：整体框架包含两个主要分支：ICL分支和LDL分支。ICL分支首先使用不同的采样策略选择示例，然后利用大型语言模型进行预测，最后将多个标注者的预测结果聚合为软标签。LDL分支则使用RoBERTa模型进行微调，直接预测软标签。最终，两个分支的结果可以进行融合，以获得更好的性能。

关键创新：论文的关键创新在于将ICL应用于视角建模，并探索了不同的示例采样策略。此外，论文还提出了使用LDL方法直接预测软标签，从而更好地捕捉标注的不确定性和差异性。与现有方法相比，该方法能够更有效地建模个体标注者的视角，并提高模型在视角相关任务上的性能。

关键设计：在ICL分支中，论文比较了不同的示例采样策略，例如随机采样、基于相似度的采样等。在LDL分支中，论文使用了RoBERTa模型，并尝试了不同的微调方法，例如直接预测软标签、使用交叉熵损失函数等。具体的参数设置和损失函数选择取决于具体的实验结果。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，ICL能够有效预测个体标注者的标注，并且将这些预测结果聚合为软标签可以产生有竞争力的性能。此外，LDL方法在软标签预测方面表现出潜力，值得进一步研究。具体的性能数据和对比基线在论文中进行了详细描述。

🎯 应用场景

该研究成果可应用于情感分析、观点挖掘、文本摘要等领域，尤其是在需要考虑不同视角或意见的任务中。例如，在舆情分析中，可以利用该方法分析不同人群对同一事件的看法；在产品评论分析中，可以区分不同用户的偏好。该研究有助于提高机器理解人类主观意见的能力，从而更好地服务于社会。

📄 摘要（原文）

This system paper presents the DeMeVa team's approaches to the third edition of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et al., 2025). We explore two directions: in-context learning (ICL) with large language models, where we compare example sampling strategies; and label distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we evaluate several fine-tuning methods. Our contributions are twofold: (1) we show that ICL can effectively predict annotator-specific annotations (perspectivist annotations), and that aggregating these predictions into soft labels yields competitive performance; and (2) we argue that LDL methods are promising for soft label predictions and merit further exploration by the perspectivist community.