Can large language models interpret unstructured chat data on dynamic group decision-making processes? Evidence on joint destination choice
作者: Sung-Yoo Lim, Koki Sato, Kiyoshi Takami, Giancarlos Parady, Eui-Jin Kim
分类: cs.CL
发布日期: 2026-01-09
备注: 23 pages, 9 figures
💡 一句话要点
利用大型语言模型解析非结构化聊天数据，辅助动态群体决策过程分析。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 群体决策 非结构化数据 聊天数据分析 知识获取 自然语言处理 出行行为分析
📋 核心要点
- 传统出行调查难以捕捉群体决策过程，非结构化聊天数据提供了新的视角，但人工标注成本高昂。
- 论文提出一种基于知识获取过程的提示框架，指导LLM将非结构化聊天数据转化为结构化决策因素。
- 实验表明LLM能可靠捕获显性因素，但在识别细微隐性因素方面存在局限，需人工监督。
📝 摘要（中文）
社交活动源于群体成员之间复杂的联合活动-出行决策。传统的出行调查难以观察这些活动的决策过程，而诸如非结构化聊天数据等新型数据，有助于揭示这些复杂的过程。然而，解读这些决策过程需要推断显性和隐性因素。这通常需要人工标注对话，以捕捉受社会和文化规范影响的上下文相关含义，这是一项劳动密集型任务。本研究评估了大型语言模型（LLM）在自动执行和补充人工标注方面的潜力，以解释群体聊天中的决策过程，以日本的联合外出就餐活动数据为例。我们设计了一个受知识获取过程启发的提示框架，该框架按顺序提取关键决策因素，包括群体层面的餐厅选择集和结果、每个备选项的个人偏好以及驱动这些偏好的特定属性。这个结构化的过程指导LLM解释群体聊天数据，将非结构化对话转换为描述决策因素的结构化表格数据。为了评估LLM驱动的输出，我们使用人工标注的ground truth数据集进行定量分析，并进行定性误差分析以检查模型的局限性。结果表明，虽然LLM能够可靠地捕获显性决策因素，但它难以识别人工标注者容易识别的细微隐性因素。我们确定了可以信任基于LLM的提取的具体上下文，以及仍然需要人工监督的情况。这些发现突出了基于LLM的分析在整合社交活动非传统数据源方面的潜力和局限性。
🔬 方法详解
问题定义：本研究旨在解决从非结构化群体聊天数据中自动提取决策过程信息的问题。现有方法依赖于人工标注，耗时耗力，且容易受到主观因素的影响。因此，需要一种能够自动、高效地从聊天数据中提取决策因素的方法。
核心思路：论文的核心思路是利用大型语言模型（LLM）的强大自然语言理解能力，通过精心设计的提示框架，引导LLM从非结构化聊天数据中提取关键的决策因素。这种方法模仿了人类知识获取的过程，逐步引导LLM理解对话内容，并从中提取相关信息。
技术框架：该研究的技术框架主要包括以下几个阶段：1) 数据收集：收集日本的联合外出就餐活动的群体聊天数据。2) 提示框架设计：设计一个受知识获取过程启发的提示框架，该框架按顺序提取关键决策因素，包括群体层面的餐厅选择集和结果、每个备选项的个人偏好以及驱动这些偏好的特定属性。3) LLM推理：使用设计的提示框架，引导LLM解释群体聊天数据，将非结构化对话转换为描述决策因素的结构化表格数据。4) 结果评估：使用人工标注的ground truth数据集进行定量分析，并进行定性误差分析以检查模型的局限性。
关键创新：该研究的关键创新在于：1) 提出了一种基于知识获取过程的提示框架，能够有效地引导LLM从非结构化聊天数据中提取决策因素。2) 系统地评估了LLM在解释群体决策过程中的能力，并指出了LLM的优势和局限性。
关键设计：提示框架的设计是关键。该框架采用逐步提取的方式，首先提取群体层面的餐厅选择集和结果，然后提取每个备选项的个人偏好，最后提取驱动这些偏好的特定属性。这种逐步提取的方式有助于LLM更好地理解对话内容，并从中提取相关信息。具体的LLM选择和参数设置在论文中未明确说明，属于未知信息。
📊 实验亮点
实验结果表明，LLM能够可靠地捕获显性决策因素，例如餐厅选择和最终结果。然而，LLM在识别细微隐性因素方面存在局限，例如个人偏好的细微差别和潜在的社会压力。定量分析显示，LLM在提取显性信息方面的准确率较高，但在提取隐性信息方面的准确率较低，需要人工监督。
🎯 应用场景
该研究成果可应用于多个领域，例如：智能交通、城市规划、市场营销等。通过分析群体聊天数据，可以更好地理解人们的出行行为、消费偏好等，从而为相关领域的决策提供支持。此外，该方法还可以扩展到其他类型的非结构化数据，例如社交媒体数据、客户评论等，从而为更广泛的应用场景提供支持。
📄 摘要（原文）
Social activities result from complex joint activity-travel decisions between group members. While observing the decision-making process of these activities is difficult via traditional travel surveys, the advent of new types of data, such as unstructured chat data, can help shed some light on these complex processes. However, interpreting these decision-making processes requires inferring both explicit and implicit factors. This typically involves the labor-intensive task of manually annotating dialogues to capture context-dependent meanings shaped by the social and cultural norms. This study evaluates the potential of Large Language Models (LLMs) to automate and complement human annotation in interpreting decision-making processes from group chats, using data on joint eating-out activities in Japan as a case study. We designed a prompting framework inspired by the knowledge acquisition process, which sequentially extracts key decision-making factors, including the group-level restaurant choice set and outcome, individual preferences of each alternative, and the specific attributes driving those preferences. This structured process guides the LLM to interpret group chat data, converting unstructured dialogues into structured tabular data describing decision-making factors. To evaluate LLM-driven outputs, we conduct a quantitative analysis using a human-annotated ground truth dataset and a qualitative error analysis to examine model limitations. Results show that while the LLM reliably captures explicit decision-making factors, it struggles to identify nuanced implicit factors that human annotators readily identified. We pinpoint specific contexts when LLM-based extraction can be trusted versus when human oversight remains essential. These findings highlight both the potential and limitations of LLM-based analysis for incorporating non-traditional data sources on social activities.