Available but Unclaimed: An Empirical Study of Human-AI Synergy

📄 arXiv: 2609.16793v1 📥 PDF

作者: Robin Welsch, Michelle Rausch, Pascal Knierim, Thomas Kosch, Jochen Kuhn, Albrecht Schmidt, Daniela Fernandes

分类: cs.HC, cs.AI

发布日期: 2026-09-15

备注: 31 pages, including appendices

💡 一句话要点

研究人机协同，提升大语言模型的应用效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 大型语言模型 心理学 教育技术 决策支持

📋 核心要点

  1. 当前人们在使用大型语言模型时，互补能力并不总能提升整体表现，存在一定的局限性。
  2. 本研究通过对535名参与者的实验，探讨了人类与LLMs的协同作用，旨在优化人机交互效果。
  3. 实验结果表明，LLM的能力对辅助准确率有显著影响，且参与者的信心水平在不同任务中表现出差异。

📝 摘要（中文）

随着人们越来越多地使用大型语言模型（LLMs）进行推理，互补能力并不一定能保证超越各自的表现。在一项包含535名参与者的实验中，研究者考察了在未辅助和使用不同LLMs（如GPT-5.6-Luna等）情况下，参与者在矩阵推理、心理旋转、三段论和字母串类比等任务中的表现。结果显示，LLM的能力与辅助-未辅助准确率差异呈正相关，且在任务内的能力提升导致了更高的依赖程度。研究还发现，后续信心对正确与错误答案的区分能力不如未辅助信心强。这些发现强调了在与人类互动中评估LLMs的重要性，并提出了设计支持选择性依赖以保持独立推理的必要性。

🔬 方法详解

问题定义：本研究旨在解决人类与大型语言模型（LLMs）协同工作时的表现不一致问题。现有方法未能充分利用LLMs的能力，导致辅助效果不明显。

核心思路：通过设计实验，评估不同LLMs在辅助人类解决复杂任务时的表现，探索如何优化人机协作以提高准确性和信心。

技术框架：研究采用了对照实验设计，参与者在未辅助和使用不同LLMs的情况下完成任务。每个模型在相同条件下独立回答问题，确保结果的可比性。

关键创新：本研究的创新在于系统性地评估LLMs与人类的互动效果，揭示了LLMs能力与人类依赖程度之间的关系，强调了设计支持选择性依赖的重要性。

关键设计：实验中，参与者完成40道题目，模型在每道题目上进行100次回答，确保数据的可靠性。研究还分析了后续信心对答案正确性的影响，提出了新的评估标准。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs的能力与辅助准确率之间存在显著正相关，且在某些任务中，参与者的信心水平对答案的正确性区分能力较弱。约一半的LLM准确性提升转化为辅助准确性，表明不同模型的表现差异显著。

🎯 应用场景

该研究的潜在应用领域包括教育、心理学和人机交互设计等。通过优化人机协作，可以提升学习效果和决策质量，未来可能对智能助手和教育工具的设计产生深远影响。

📄 摘要（原文）

People increasingly reason with large language models (LLMs), yet complementary capabilities do not guarantee outperforming both components. In a between-subjects study, participants (N=535) solved a 40-item battery of matrix reasoning, mental rotation, syllogisms, and letter-string analogies, unaided or with GPT-5.6-Luna, Claude Opus 4.8, Gemini 3.6 Flash, or Kimi K3. Each assisted trial required consultation with the model. Each model answered every item alone 100 times under matched elicitation. The assisted-unaided accuracy difference increased with item-level LLM competence. Deference varied across tasks and increased with competence within tasks. Post-advice confidence distinguished correct from incorrect answers less strongly than unaided confidence. In a reference comparison, about half the increase in LLM accuracy carried through to assisted accuracy. How much of that accuracy gain reached participants differed across the models. These findings motivate evaluating LLMs in interaction with humans and designing support for selective deference that preserves independent reasoning.