Evaluating Human Trust in LLM-Based Planners: A Preliminary Study

📄 arXiv: 2502.20284v1 📥 PDF

作者: Shenghui Chen, Yunhao Yang, Kayla Boggess, Seongkook Heo, Lu Feng, Ufuk Topcu

分类: cs.AI, cs.HC

发布日期: 2025-02-27

💡 一句话要点

初步研究：评估人类对基于LLM规划器的信任度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM规划器 人机信任 用户研究 规划领域定义语言 可解释性

📋 核心要点

  1. 现有规划系统信任度研究不足，尤其是在新兴的基于LLM的规划器中，信任是系统被采纳的关键因素。
  2. 该研究对比了人类对LLM规划器和经典规划器的信任度，通过用户研究分析了影响信任的关键因素。
  3. 研究发现正确性是信任和性能的主要驱动力，LLM解释能提高评估准确性，计划改进则有潜力提升信任。

📝 摘要（中文）

大型语言模型（LLM）越来越多地被用于规划任务，它提供了经典规划器所不具备的独特能力，例如生成解释和迭代改进。然而，信任——规划系统采用的关键因素——在基于LLM的规划任务中仍未得到充分探索。本研究通过在规划领域定义语言（PDDL）领域中的用户研究，比较了人类对基于LLM的规划器和经典规划器的信任度，从而弥补了这一差距。通过结合主观测量（如信任问卷）和客观指标（如评估准确性），我们的研究结果表明，正确性是信任和性能的主要驱动因素。LLM提供的解释提高了评估准确性，但对信任的影响有限，而计划改进显示出提高信任的潜力，且不会显著提高评估准确性。

🔬 方法详解

问题定义：论文旨在研究人类对基于LLM的规划器的信任度，并将其与经典规划器进行比较。现有方法缺乏对LLM规划器信任度的深入研究，而信任度是影响系统采纳的关键因素。因此，需要了解哪些因素会影响用户对LLM规划器的信任，以及如何提高这种信任。

核心思路：论文的核心思路是通过用户研究，结合主观（信任问卷）和客观（评估准确性）指标，来评估人类对LLM规划器和经典规划器的信任度。通过分析这些数据，确定影响信任的关键因素，并探索如何利用LLM的特性（如解释和计划改进）来提高信任。

技术框架：研究采用用户研究的方法，参与者需要评估由LLM规划器和经典规划器生成的计划。研究流程包括：1) 向参与者展示规划问题和生成的计划；2) 参与者评估计划的正确性；3) 参与者填写信任问卷。对于LLM规划器，研究还探索了提供解释和进行计划改进对信任度的影响。

关键创新：该研究的关键创新在于首次系统性地评估了人类对基于LLM的规划器的信任度，并将信任度与客观性能指标（如评估准确性）联系起来。此外，研究还探索了利用LLM的解释能力和计划改进能力来提高信任度的可能性。

关键设计：研究采用Planning Domain Definition Language (PDDL)领域作为实验环境。信任问卷采用标准化的信任度量表。评估准确性通过比较参与者对计划正确性的判断与实际情况来衡量。对于LLM规划器，研究探索了不同类型的解释（例如，解释计划步骤的合理性）和不同程度的计划改进（例如，迭代优化计划）对信任度的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，计划的正确性是影响用户信任和评估准确性的主要因素。LLM提供的解释虽然提高了评估准确性，但对信任度的提升有限。而计划改进在不显著提高评估准确性的前提下，显示出提升用户信任的潜力。这些发现为未来设计更值得信赖的LLM规划器提供了重要指导。

🎯 应用场景

该研究成果可应用于开发更值得信赖的AI规划系统，尤其是在需要人机协作的场景中，例如机器人导航、任务调度和自动化决策。通过理解影响用户信任的关键因素，可以设计出更易于被人类接受和使用的LLM规划器，从而提高工作效率和安全性。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used for planning tasks, offering unique capabilities not found in classical planners such as generating explanations and iterative refinement. However, trust--a critical factor in the adoption of planning systems--remains underexplored in the context of LLM-based planning tasks. This study bridges this gap by comparing human trust in LLM-based planners with classical planners through a user study in a Planning Domain Definition Language (PDDL) domain. Combining subjective measures, such as trust questionnaires, with objective metrics like evaluation accuracy, our findings reveal that correctness is the primary driver of trust and performance. Explanations provided by the LLM improved evaluation accuracy but had limited impact on trust, while plan refinement showed potential for increasing trust without significantly enhancing evaluation accuracy.