Do LLMs suffer from Multi-Party Hangover? A Diagnostic Approach to Addressee Recognition and Response Selection in Conversations

📄 arXiv: 2409.18602v1 📥 PDF

作者: Nicolò Penzo, Maryam Sajedinia, Bruno Lepri, Sara Tonelli, Marco Guerini

分类: cs.CL

发布日期: 2024-09-27

备注: Accepted to EMNLP 2024 main conference

💡 一句话要点

提出多方对话诊断流程，评估LLM在对话结构复杂性下的表现，聚焦响应选择和指代识别。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 多方对话 大型语言模型 响应选择 指代识别 诊断性评估 结构属性 数据隐私

📋 核心要点

  1. 现有MPC系统评估方法忽略了对话结构复杂性对模型行为的影响，难以诊断模型在不同结构下的弱点。
  2. 论文提出一种诊断流程，通过提取具有特定结构属性的子数据集，评估模型在响应选择和指代识别任务上的表现。
  3. 实验结果表明，响应选择更依赖文本内容，而指代识别需要捕捉对话结构，且LLM对提示的敏感性因任务而异。

📝 摘要（中文）

评估多方对话（MPC）系统中分类器的性能极具挑战，因为对话的语言和结构特征相互关联。传统的评估方法通常忽略模型在交互图的不同结构复杂性级别上的行为差异。本文提出了一种方法论流程，用于研究模型在对话的特定结构属性上的性能。作为概念验证，我们专注于响应选择和指代识别任务，以诊断模型的弱点。为此，我们从一个大型开放的在线MPC语料库中提取具有固定数量用户和良好结构多样性的代表性诊断子数据集。我们进一步将工作置于数据最小化的框架中，避免使用原始用户名以保护隐私，并提出使用原始文本消息的替代方案。结果表明，响应选择更依赖于对话的文本内容，而指代识别需要捕捉其结构维度。在使用LLM的零样本设置中，我们进一步强调了提示变异的敏感性是任务相关的。

🔬 方法详解

问题定义：论文旨在解决多方对话中，大型语言模型（LLM）在响应选择和指代识别任务上的性能评估问题。现有评估方法通常忽略了对话结构复杂性对模型性能的影响，无法有效诊断模型在不同对话结构下的弱点。例如，当对话参与者众多、交互关系复杂时，模型可能难以准确识别响应的正确接收者或选择合适的回复。

核心思路：论文的核心思路是通过构建具有特定结构属性的诊断性子数据集，来系统性地评估LLM在不同对话结构下的表现。这种方法允许研究人员隔离并分析特定结构特征对模型性能的影响，从而更精确地诊断模型的弱点。此外，论文还强调数据最小化，避免使用原始用户名以保护隐私，并探索使用原始文本消息的替代方案。

技术框架：该方法论流程包含以下几个主要步骤：1) 从大型多方对话语料库中提取数据；2) 根据对话的结构属性（例如，参与者数量、交互密度）构建诊断性子数据集；3) 在这些子数据集上评估LLM在响应选择和指代识别任务上的性能；4) 分析模型在不同结构下的表现差异，诊断模型的弱点。整个框架强调了结构化分析和数据隐私保护。

关键创新：论文的关键创新在于提出了一种基于结构属性的诊断性评估方法，用于评估LLM在多方对话中的性能。与传统的整体评估方法相比，该方法能够更精确地识别模型在特定对话结构下的弱点。此外，论文还强调了数据最小化和隐私保护，这在处理敏感对话数据时非常重要。

关键设计：在构建诊断性子数据集时，论文考虑了对话的多个结构属性，例如参与者数量和交互密度。在评估LLM性能时，论文采用了零样本学习设置，并研究了提示变异对模型性能的影响。此外，论文还探索了使用原始文本消息的替代方案，以进一步保护用户隐私。具体的参数设置和网络结构取决于所使用的LLM，但该方法论框架具有通用性，可以应用于不同的LLM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，响应选择任务更依赖于对话的文本内容，而指代识别任务需要捕捉对话的结构维度。在零样本设置下，LLM对提示的敏感性因任务而异。这些发现为改进LLM在多方对话中的应用提供了有价值的指导。

🎯 应用场景

该研究成果可应用于智能客服、在线会议系统、社交媒体分析等领域。通过诊断LLM在多方对话中的弱点，可以改进模型的设计和训练，提高其在实际应用中的性能和可靠性。此外，该研究强调的数据隐私保护方法也具有重要的实际意义。

📄 摘要（原文）

Assessing the performance of systems to classify Multi-Party Conversations (MPC) is challenging due to the interconnection between linguistic and structural characteristics of conversations. Conventional evaluation methods often overlook variances in model behavior across different levels of structural complexity on interaction graphs. In this work, we propose a methodological pipeline to investigate model performance across specific structural attributes of conversations. As a proof of concept we focus on Response Selection and Addressee Recognition tasks, to diagnose model weaknesses. To this end, we extract representative diagnostic subdatasets with a fixed number of users and a good structural variety from a large and open corpus of online MPCs. We further frame our work in terms of data minimization, avoiding the use of original usernames to preserve privacy, and propose alternatives to using original text messages. Results show that response selection relies more on the textual content of conversations, while addressee recognition requires capturing their structural dimension. Using an LLM in a zero-shot setting, we further highlight how sensitivity to prompt variations is task-dependent.