Learning Through Dialogue: Unpacking the Dynamics of Human-LLM Conversations on Political Issues

📄 arXiv: 2601.07796v1 📥 PDF

作者: Shaz Furniturewala, Gerard Christopher Yeo, Kokil Jaidka

分类: cs.CL, cs.HC

发布日期: 2026-01-12

💡 一句话要点

通过对话学习：剖析人-LLM就政治议题对话的动态机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机对话 大型语言模型 政治议题 知识获取 信心提升

📋 核心要点

  1. 现有研究对人与LLM就政治议题对话中，LLM如何影响用户的知识和信心提升的互动机制研究不足。
  2. 该研究通过分析大量人-LLM对话数据，揭示了LLM解释的丰富性、用户认知参与和政治效能等因素在知识和信心提升中的作用。
  3. 研究发现，LLM的解释效果受到用户政治效能和认知参与程度的调节，学习效果并非仅由LLM的解释质量决定。

📝 摘要（中文）

大型语言模型（LLM）越来越多地被用作学习的对话伙伴，但支持用户学习和参与的互动动态机制仍未得到充分研究。我们分析了397个人-LLM关于社会政治议题对话中的LLM和参与者的语言和互动特征，以识别LLM解释塑造政治知识和信心变化的机制和条件。中介分析表明，LLM解释的丰富性通过培养用户的反思性洞察力，部分支持了信心，而其对知识获取的影响完全通过用户的认知参与来实现。调节分析表明，这些影响具有高度的条件性，并随政治效能而变化。信心的提升取决于高效能用户如何体验和解决不确定性。知识的获取取决于高效能用户利用扩展互动的能力，更长的对话主要使反思型用户受益。总之，我们发现从LLM学习是一种互动成就，而不是更好的解释的统一结果。研究结果强调了在设计人机交互系统时，将LLM的解释行为与用户的参与状态对齐，以支持有效学习的重要性。

🔬 方法详解

问题定义：该论文旨在研究在人与大型语言模型（LLM）就社会政治议题进行对话时，LLM的解释如何影响用户的政治知识和信心。现有方法缺乏对这种互动动态的深入理解，未能充分揭示LLM解释在知识获取和信心建立中的具体机制和条件。

核心思路：论文的核心思路是通过分析大量人-LLM对话数据，识别LLM解释的语言和互动特征，并研究这些特征如何通过用户的认知参与和反思性洞察力来影响知识和信心的变化。同时，考虑用户的政治效能等个体差异对学习效果的调节作用。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 收集人-LLM对话数据，涉及397个关于社会政治议题的对话；2) 提取LLM和用户的语言和互动特征，例如LLM解释的丰富程度、用户的认知参与程度等；3) 使用中介分析来研究LLM解释如何通过用户的认知参与和反思性洞察力来影响知识和信心；4) 使用调节分析来研究用户的政治效能如何调节LLM解释对知识和信心的影响。

关键创新：该研究的关键创新在于：1) 揭示了LLM解释对知识和信心的影响并非直接的，而是受到用户的认知参与和反思性洞察力的中介作用；2) 强调了用户的政治效能等个体差异对学习效果的调节作用，表明学习效果并非仅由LLM的解释质量决定；3) 提出了一个互动学习的框架，强调了LLM的解释行为需要与用户的参与状态对齐，才能支持有效的学习。

关键设计：研究中使用了中介分析和调节分析等统计方法来分析数据。具体而言，中介分析用于检验LLM解释的丰富性是否通过用户的认知参与和反思性洞察力来影响知识和信心。调节分析用于检验用户的政治效能是否会影响LLM解释对知识和信心的作用强度。研究中还考虑了对话长度等因素对学习效果的影响。

📊 实验亮点

研究发现，LLM解释的丰富性通过促进用户的反思性洞察力来部分支持信心提升，而对知识获取的影响则完全通过用户的认知参与来实现。此外，用户的政治效能显著调节了LLM解释的效果，高政治效能的用户更能从延长的对话中获益，从而提升知识水平。

🎯 应用场景

该研究成果可应用于人机交互系统设计，尤其是在教育、政治讨论等领域。通过了解LLM解释与用户认知状态的互动关系，可以设计更有效的对话系统，提升用户的知识水平和参与度。未来的研究可以进一步探索不同类型的LLM和用户群体，以构建更具适应性的学习系统。

📄 摘要（原文）

Large language models (LLMs) are increasingly used as conversational partners for learning, yet the interactional dynamics supporting users' learning and engagement are understudied. We analyze the linguistic and interactional features from both LLM and participant chats across 397 human-LLM conversations about socio-political issues to identify the mechanisms and conditions under which LLM explanations shape changes in political knowledge and confidence. Mediation analyses reveal that LLM explanatory richness partially supports confidence by fostering users' reflective insight, whereas its effect on knowledge gain operates entirely through users' cognitive engagement. Moderation analyses show that these effects are highly conditional and vary by political efficacy. Confidence gains depend on how high-efficacy users experience and resolve uncertainty. Knowledge gains depend on high-efficacy users' ability to leverage extended interaction, with longer conversations benefiting primarily reflective users. In summary, we find that learning from LLMs is an interactional achievement, not a uniform outcome of better explanations. The findings underscore the importance of aligning LLM explanatory behavior with users' engagement states to support effective learning in designing Human-AI interactive systems.