NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews

📄 arXiv: 2411.13779v1 📥 PDF

作者: Michael Lu, Hyundong Justin Cho, Weiyan Shi, Jonathan May, Alexander Spangher

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-11-21

💡 一句话要点

NewsInterview：构建新闻访谈数据集与模拟环境，评估LLM在信息获取中的知识盲区

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信息访谈 数据集 模拟环境 策略性对话 知识获取 人机交互

📋 核心要点

  1. 现有LLM在知识基础和策略性对话方面存在不足，尤其是在需要深入信息交流的场景中。
  2. 论文构建新闻访谈数据集与模拟环境，通过模拟记者与采访对象互动，评估LLM的信息获取能力。
  3. 实验表明，LLM在识别问题解答和进行有效说服方面存在困难，导致信息提取效果不佳。

📝 摘要（中文）

大型语言模型（LLMs）在生成连贯文本方面表现出令人印象深刻的能力，但常常在语言的知识基础和策略性对话方面遇到困难。为了解决这一差距，我们专注于新闻访谈，这是一个富含知识交流且数据丰富的领域。我们整理了一个包含来自NPR和CNN的40,000个双人信息访谈的数据集，并揭示了LLM采访者比人类采访者更少使用确认语和转向更高层次的问题。认识到多轮规划和战略思维方面存在根本缺陷，我们开发了一个逼真的模拟环境，结合了来源角色和说服性元素，以促进具有更长远回报的智能体的开发。我们的实验表明，虽然来源LLM在信息共享方面模仿了人类行为，但采访者LLM在识别问题何时得到解答以及进行有说服力的互动方面存在困难，导致跨模型大小和能力的次优信息提取。这些发现强调了增强LLM的战略对话能力的必要性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在信息访谈场景下，由于缺乏知识基础和策略性对话能力而导致的信息提取效率低下的问题。现有方法难以模拟真实访谈中的多轮交互和复杂策略，使得LLM难以有效地从对话中获取所需信息。

核心思路：论文的核心思路是构建一个新闻访谈数据集和一个模拟环境，用于评估和提升LLM在信息访谈中的表现。通过分析人类访谈行为，并将其融入到模拟环境中，可以更真实地模拟访谈过程，从而更好地评估LLM的优缺点。

技术框架：该研究包含两个主要部分：数据集构建和模拟环境开发。数据集包含40,000个来自NPR和CNN的双人信息访谈。模拟环境则包括来源角色（source personas）和说服性元素，用于模拟真实的访谈场景。研究人员使用这些资源来训练和评估LLM，并分析其在信息提取方面的表现。

关键创新：该研究的关键创新在于构建了一个专门用于评估LLM在信息访谈中表现的数据集和模拟环境。该模拟环境考虑了来源角色和说服性元素，使得评估更加真实和全面。此外，研究还揭示了LLM在识别问题解答和进行有效说服方面存在的困难，为未来的研究方向提供了指导。

关键设计：模拟环境的设计考虑了多个因素，包括来源角色的设定、问题的选择、以及说服性元素的融入。研究人员分析了人类访谈行为，并将其转化为模拟环境中的规则和参数。例如，他们分析了人类采访者如何使用确认语和转向更高层次的问题，并将这些策略融入到模拟环境中。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，虽然来源LLM在信息共享方面可以模仿人类行为，但采访者LLM在识别问题何时得到解答以及进行有说服力的互动方面存在困难，导致信息提取效果不佳。这表明，即使是大型LLM，在策略性对话方面仍然存在明显的不足，需要进一步的研究和改进。

🎯 应用场景

该研究成果可应用于智能对话系统、智能客服、新闻内容生成等领域。通过提升LLM在信息访谈中的表现，可以使其更好地理解用户需求，提供更准确、更全面的信息服务。此外，该研究还可以促进人机协作，例如辅助记者进行采访，提高工作效率。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated impressive capabilities in generating coherent text but often struggle with grounding language and strategic dialogue. To address this gap, we focus on journalistic interviews, a domain rich in grounding communication and abundant in data. We curate a dataset of 40,000 two-person informational interviews from NPR and CNN, and reveal that LLMs are significantly less likely than human interviewers to use acknowledgements and to pivot to higher-level questions. Realizing that a fundamental deficit exists in multi-turn planning and strategic thinking, we develop a realistic simulated environment, incorporating source personas and persuasive elements, in order to facilitate the development of agents with longer-horizon rewards. Our experiments show that while source LLMs mimic human behavior in information sharing, interviewer LLMs struggle with recognizing when questions are answered and engaging persuasively, leading to suboptimal information extraction across model size and capability. These findings underscore the need for enhancing LLMs' strategic dialogue capabilities.