Do LLMs Give Good Romantic Relationship Advice? A Study on User Satisfaction and Attitude Change

📄 arXiv: 2601.11527v2 📥 PDF

作者: Niva Manchanda, Akshata Kishore Moharir, Isabel Michel, Ratna Kandala

分类: cs.HC, cs.AI, cs.CY

发布日期: 2025-11-14 (更新: 2026-01-27)

备注: An error in figure 1

💡 一句话要点

研究表明，大型语言模型提供的恋爱关系建议能提升用户满意度及对LLM的积极态度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 恋爱关系建议 用户满意度 态度变化 情感支持 人机交互 AI伦理

📋 核心要点

  1. 现有研究缺乏对用户如何看待LLM提供的恋爱建议的深入了解，这阻碍了LLM在该领域的有效应用。
  2. 该研究通过实验评估用户对LLM生成恋爱建议的满意度、模型可靠性和有用性，以及态度变化。
  3. 实验结果表明，用户对LLM提供的恋爱建议满意度高，且接触建议后对LLM的态度显著改善。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地被用于在恋爱关系等个人领域提供支持和建议，但人们对用户如何看待这类建议知之甚少。本研究调查了人们如何评价LLM生成的恋爱关系建议。参与者对建议的满意度、模型可靠性和有用性进行了评分，并完成了关于他们对LLM总体态度的前后测量。总体而言，结果表明参与者对LLM生成的建议非常满意。更高的满意度与他们对模型的可靠性和有用性的看法密切相关。重要的是，参与者在接触这些建议后，对LLM的态度显著改善，这表明支持性和与上下文相关的建议可以增强用户对这些AI系统的信任和开放性。

🔬 方法详解

问题定义：该论文旨在研究用户对大型语言模型（LLMs）提供的恋爱关系建议的接受程度和态度变化。现有方法缺乏对用户主观感受的量化评估，无法有效衡量LLM在提供情感支持方面的实际效果。这导致人们对LLM在恋爱关系建议方面的应用潜力缺乏充分认识。

核心思路：该研究的核心思路是通过实验方法，让用户评估LLM生成的恋爱建议，并测量用户在接受建议前后的态度变化。通过分析用户满意度、模型可靠性和有用性等指标，以及前后态度的差异，来评估LLM在提供恋爱建议方面的有效性。这种方法能够直接反映用户对LLM建议的主观感受，从而更准确地评估LLM的实际价值。

技术框架：该研究的技术框架主要包括以下几个阶段：1)招募参与者；2)向参与者展示LLM生成的恋爱建议；3)让参与者对建议的满意度、模型可靠性和有用性进行评分；4)在接受建议前后，测量参与者对LLM的总体态度；5)分析收集到的数据，评估LLM建议的有效性以及用户态度变化。

关键创新：该研究的关键创新在于，它首次系统性地评估了用户对LLM生成的恋爱建议的接受程度和态度变化。与以往主要关注LLM在技术层面的表现不同，该研究更加关注用户的主观感受和实际体验。这种以用户为中心的评估方法，能够更准确地反映LLM在提供情感支持方面的实际效果。

关键设计：研究的关键设计包括：1)使用标准化的问卷调查来测量用户满意度、模型可靠性和有用性；2)采用前后测量的方法来评估用户对LLM的总体态度变化；3)使用统计分析方法来分析收集到的数据，并评估LLM建议的有效性。具体的参数设置和网络结构等技术细节未知，因为论文摘要中没有提及。

📊 实验亮点

实验结果表明，用户对LLM生成的恋爱建议普遍感到满意。更高的满意度与用户对模型可靠性和有用性的积极评价密切相关。更重要的是，用户在接触LLM建议后，对LLM的总体态度显著改善，表明LLM在提供情感支持方面具有潜力。

🎯 应用场景

该研究成果可应用于开发更有效的情感支持AI系统，例如恋爱咨询机器人、心理健康助手等。通过了解用户对LLM建议的接受程度和态度变化，可以优化LLM的训练和应用，使其更好地满足用户的情感需求，提升用户体验，并促进人机关系的健康发展。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly being used to provide support and advice in personal domains such as romantic relationships, yet little is known about user perceptions of this type of advice. This study investigated how people evaluate advice on LLM-generated romantic relationships. Participants rated advice satisfaction, model reliability, and helpfulness, and completed pre- and post-measures of their general attitudes toward LLMs. Overall, the results showed participants' high satisfaction with LLM-generated advice. Greater satisfaction was, in turn, strongly and positively associated with their perceptions of the models' reliability and helpfulness. Importantly, participants' attitudes toward LLMs improved significantly after exposure to the advice, suggesting that supportive and contextually relevant advice can enhance users' trust and openness toward these AI systems.