How Annotation Trains Annotators: Competence Development in Social Influence Recognition
作者: Maciej Markiewicz, Beata Bajcar, Wiktoria Mieleszczenko-Kowszewicz, Aleksander Szczęsny, Tomasz Adamczyk, Grzegorz Chodak, Karolina Ostrowska, Aleksandra Sawczuk, Jolanta Babiak, Jagoda Szklarczyk, Przemysław Kazienko
分类: cs.CL, cs.AI
发布日期: 2026-04-06
💡 一句话要点
研究标注过程对标注者能力的影响，提升社交影响力识别任务的数据质量。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社交影响力识别 数据标注 标注者能力 能力评估 大型语言模型
📋 核心要点
- 标注任务的主观性导致标注质量随时间变化，尤其是在社交影响力识别等复杂任务中，缺乏对标注者能力提升的深入研究。
- 通过对比标注前后数据、访谈、自评和LLM评估，研究标注过程对标注者能力的影响，并量化能力提升对数据质量和模型性能的贡献。
- 实验结果表明，标注过程能显著提升标注者的自我认知能力和数据质量，尤其在专家组中，并能有效提升LLM在相关任务上的性能。
📝 摘要（中文）
本研究调查了在社交影响力识别过程中，标注者工作质量从能力角度出发的变化。研究涉及来自五个不同组的25名标注者，包括专家和非专家，他们标注了一个包含1021个对话的数据集，其中包含20种社交影响力技巧，以及意图、反应和后果。对最初的150个文本子集进行了两次标注——在主要标注过程之前和之后——以便进行比较。为了衡量能力的变化，我们结合了对标注数据的定性和定量分析、对标注者的半结构化访谈、自我评估调查以及大型语言模型在比较数据集上的训练和评估。结果表明，标注者的自我感知能力和信心显著提高。此外，观察到的数据质量变化表明，标注过程可以提高标注者的能力，并且这种影响在专家组中更为明显。标注者能力的变化对在他们标注的数据上训练的LLM的性能有明显的影响。
🔬 方法详解
问题定义：论文旨在解决社交影响力识别任务中，标注者能力随标注过程变化的问题。现有方法通常将标注数据视为客观真值，忽略了标注者主观判断的影响，以及标注过程本身对标注者能力的潜在提升。这种忽略可能导致标注数据质量参差不齐，进而影响下游模型的性能。
核心思路：论文的核心思路是，将标注过程视为一个学习过程，标注者的能力会随着标注经验的积累而提升。通过对比标注前后数据的差异，结合访谈和自评，量化标注者能力的变化，并分析这种变化对数据质量和模型性能的影响。
技术框架：研究的技术框架主要包含以下几个阶段： 1. 数据收集：收集包含1021个对话的数据集，其中包含20种社交影响力技巧，以及意图、反应和后果。 2. 标注：招募25名标注者，包括专家和非专家，对数据集进行标注。对150个文本子集进行两次标注，分别在主要标注过程之前和之后。 3. 能力评估：通过定性和定量分析标注数据、半结构化访谈、自我评估调查等方式，评估标注者在标注前后的能力变化。 4. 模型评估：使用大型语言模型在标注数据上进行训练和评估，分析标注者能力变化对模型性能的影响。
关键创新：论文的关键创新在于，首次系统性地研究了标注过程对标注者能力的影响，并提出了一套综合性的评估方法，包括数据分析、访谈、自评和模型评估。该研究揭示了标注过程的潜在价值，为提高标注数据质量提供了新的思路。
关键设计：研究的关键设计包括： 1. 两次标注：对部分数据进行两次标注，以便对比标注前后数据的差异。 2. 多维度评估：采用定性、定量、访谈、自评等多种方式，全面评估标注者能力的变化。 3. LLM评估：使用大型语言模型评估标注数据质量，并分析标注者能力变化对模型性能的影响。
🖼️ 关键图片
📊 实验亮点
研究结果表明，标注者的自我感知能力和信心显著提高。数据质量的变化表明，标注过程可以提高标注者的能力，并且这种影响在专家组中更为明显。标注者能力的变化对在他们标注的数据上训练的LLM的性能有明显的影响，具体性能提升数据未知。
🎯 应用场景
该研究成果可应用于各种需要人工标注的任务，例如自然语言处理、计算机视觉等。通过了解标注过程对标注者能力的影响，可以优化标注流程，提高标注数据质量，进而提升下游模型的性能。此外，该研究还可以为标注者提供个性化的培训和反馈，帮助他们更快地提升能力。
📄 摘要（原文）
Human data annotation, especially when involving experts, is often treated as an objective reference. However, many annotation tasks are inherently subjective, and annotators' judgments may evolve over time. This study investigates changes in the quality of annotators' work from a competence perspective during a process of social influence recognition. The study involved 25 annotators from five different groups, including both experts and non-experts, who annotated a dataset of 1,021 dialogues with 20 social influence techniques, along with intentions, reactions, and consequences. An initial subset of 150 texts was annotated twice - before and after the main annotation process - to enable comparison. To measure competence shifts, we combined qualitative and quantitative analyses of the annotated data, semi-structured interviews with annotators, self-assessment surveys, and Large Language Model training and evaluation on the comparison dataset. The results indicate a significant increase in annotators' self-perceived competence and confidence. Moreover, observed changes in data quality suggest that the annotation process may enhance annotator competence and that this effect is more pronounced in expert groups. The observed shifts in annotator competence have a visible impact on the performance of LLMs trained on their annotated data.