Can Large Language Models Extract Customer Needs as well as Professional Analysts?

📄 arXiv: 2503.01870v1 📥 PDF

作者: Artem Timoshenko, Chengfeng Mao, John R. Hauser

分类: cs.CL, cs.AI, cs.HC, econ.GN

发布日期: 2025-02-25

💡 一句话要点

利用微调大语言模型自动提取客户需求，性能媲美专业分析师

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 客户需求提取 大型语言模型 监督微调 自然语言处理 产品管理

📋 核心要点

  1. 现有方法依赖人工分析客户文本数据以提取客户需求，过程耗时且易受主观影响。
  2. 论文提出使用经过专业标注数据微调的大语言模型（SFT LLM）自动提取客户需求。
  3. 实验表明，SFT LLM在提取客户需求方面表现优于基础LLM，且与专业分析师水平相当。

📝 摘要（中文）

识别客户需求（CNs）对于产品管理、产品开发和市场营销至关重要。当前实践依赖于专业分析师解读文本数据（例如，访谈记录、在线评论），以理解客户体验的细微差别并简洁地表达“待完成的任务”。这项任务在认知上很复杂且耗时。现有方法通过关键词搜索和机器学习来促进该过程，但仍然依赖于人工判断来制定CNs。本文研究了大型语言模型（LLMs）是否可以自动提取CNs。由于评估CNs需要专业的判断，我们与一家营销咨询公司合作，对以下方法提取的CNs进行了盲法研究：（1）仅使用提示工程的基础LLM（Base LLM），（2）使用专业识别的CNs进行微调的LLM（SFT LLM），以及（3）专业分析师。结果表明，SFT LLM在提取CNs方面的表现与专业分析师一样好甚至更好。提取的CNs表述良好，具有足够的特异性来识别机会，并且有源内容的支持（没有幻觉）。SFT LLM高效且能更完整地覆盖CNs。Base LLM的准确性或特异性不足。组织可以依靠SFT LLM来减少人工工作量，提高CN表达的精确性，并为创新和营销策略提供改进的洞察力。

🔬 方法详解

问题定义：论文旨在解决人工提取客户需求（CNs）效率低、成本高的问题。现有方法依赖于专业分析师手动分析大量的文本数据，例如访谈记录和在线评论，以识别和总结客户的真实需求。这种方法不仅耗时，而且容易受到分析师的主观偏见影响，导致结果不够客观和全面。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的文本理解和生成能力，通过监督微调（SFT）的方式，使LLM能够自动地从客户文本数据中提取高质量的CNs。通过使用专业分析师标注的CNs数据对LLM进行微调，可以使LLM学习到专业分析师的分析逻辑和表达方式，从而实现自动化的CNs提取。

技术框架：该研究的技术框架主要包括以下几个步骤：1）收集客户文本数据，例如访谈记录、在线评论等；2）由专业的营销咨询公司分析师对这些数据进行标注，提取出高质量的CNs；3）使用标注好的CNs数据对一个预训练的LLM进行监督微调（SFT），得到一个专门用于提取CNs的SFT LLM；4）使用SFT LLM自动提取新的客户文本数据中的CNs；5）对提取的CNs进行评估，包括准确性、特异性和覆盖率等指标。

关键创新：论文的关键创新在于将大型语言模型应用于客户需求提取这一任务，并证明了通过监督微调，LLM可以达到甚至超过专业分析师的水平。此外，论文还验证了SFT LLM能够更高效、更全面地提取CNs，并且能够减少人工干预和主观偏见。

关键设计：论文的关键设计包括：1）选择合适的预训练LLM作为基础模型；2）构建高质量的CNs标注数据集，确保标注的准确性和一致性；3）设计合适的微调策略，例如学习率、batch size等，以充分利用标注数据，避免过拟合；4）设计合理的评估指标，以全面评估SFT LLM的性能，包括准确性、特异性和覆盖率等。

📊 实验亮点

实验结果表明，经过专业标注数据微调的SFT LLM在提取客户需求方面的表现与专业分析师相当，甚至在某些方面（如覆盖率）优于专业分析师。相比于基础LLM，SFT LLM在准确性和特异性方面有显著提升。这表明通过监督微调，LLM能够有效地学习到专业分析师的分析逻辑和表达方式，从而实现自动化的客户需求提取。

🎯 应用场景

该研究成果可广泛应用于产品管理、产品开发和市场营销等领域。企业可以利用SFT LLM自动分析客户反馈数据，快速准确地识别客户需求，从而指导产品设计、改进营销策略，并提升客户满意度。此外，该方法还可以应用于竞争情报分析，帮助企业了解竞争对手的产品和服务，以及客户对竞争对手的评价。

📄 摘要（原文）

Identifying customer needs (CNs) is important for product management, product development, and marketing. Applications rely on professional analysts interpreting textual data (e.g., interview transcripts, online reviews) to understand the nuances of customer experience and concisely formulate "jobs to be done." The task is cognitively complex and time-consuming. Current practice facilitates the process with keyword search and machine learning but relies on human judgment to formulate CNs. We examine whether Large Language Models (LLMs) can automatically extract CNs. Because evaluating CNs requires professional judgment, we partnered with a marketing consulting firm to conduct a blind study of CNs extracted by: (1) a foundational LLM with prompt engineering only (Base LLM), (2) an LLM fine-tuned with professionally identified CNs (SFT LLM), and (3) professional analysts. The SFT LLM performs as well as or better than professional analysts when extracting CNs. The extracted CNs are well-formulated, sufficiently specific to identify opportunities, and justified by source content (no hallucinations). The SFT LLM is efficient and provides more complete coverage of CNs. The Base LLM was not sufficiently accurate or specific. Organizations can rely on SFT LLMs to reduce manual effort, enhance the precision of CN articulation, and provide improved insight for innovation and marketing strategy.