Teaching People LLM's Errors and Getting it Right
作者: Nathan Stringham, Fateme Hashemi Chaleshtori, Xinyuan Yan, Zhichao Xu, Bei Wang, Ana Marasović
分类: cs.CL, cs.AI
发布日期: 2025-12-24
💡 一句话要点
研究LLM错误模式教学，提升用户识别LLM失效场景的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 失败模式 人机协作 教学效果评估 过度依赖
📋 核心要点
- 现有方法未能有效减轻用户对LLM的过度依赖，原因在于未能充分发现和利用LLM的失败模式。
- 该研究通过分析LLM在特定元标签分组上的预测表现，来识别LLM的潜在失败模式，并探索有效的教学方法。
- 用户研究表明，使用新的评估指标，教授LLM失败模式可以有效提升用户识别LLM错误的能力。
📝 摘要（中文）
人们常常在不应该使用大型语言模型（LLM）的场合使用它们。这部分是因为人们看到LLM能够创作诗歌和回答复杂问题，因此可以理解地（但错误地）认为LLM不会在简单的任务（如简单的算术）上出错。先前的工作试图通过将实例嵌入聚类到LLM可能失败的区域，并自动描述这些区域中的模式来解决这个问题。发现的失败模式被教给用户，以减轻他们的过度依赖。然而，这种方法并没有完全成功。在这篇分析论文中，我们旨在理解原因。我们首先检查负面结果是否源于缺乏失败模式。我们通过元标签将两个数据集中的实例分组，并评估LLM对这些组的预测。然后，我们定义标准来标记规模较大且LLM容易出错的组，并找到满足这些标准的元标签组。它们的元标签是LLM的失败模式，可以教给用户，因此它们确实存在。接下来，我们测试基于提示和嵌入的方法是否可以发现这些已知的失败。如果没有这个，就无法教导用户关于它们，以减少他们的过度依赖。我们发现各种方法的结果好坏参半，这可以解释负面结果。最后，我们重新审视衡量教学效果的最终指标。我们建议评估用户有效利用给定的失败模式来预测LLM何时容易出错的能力。一项用户研究表明，使用此指标进行教学会产生积极影响，这与人机团队的准确性不同。我们的研究结果表明，教授失败模式可能是减轻过度依赖的可行方法，但成功取决于更好的自动化失败发现方法和使用像我们这样的指标。
🔬 方法详解
问题定义：现有方法旨在通过聚类实例嵌入并描述LLM容易失败的区域来减轻用户对LLM的过度依赖。然而，这些方法未能充分发现LLM的失败模式，导致教学效果不佳。用户仍然难以判断何时应该避免使用LLM。
核心思路：该研究的核心思路是，首先通过分析LLM在具有特定元标签的实例分组上的表现，来显式地识别LLM的失败模式。然后，探索如何有效地将这些失败模式教给用户，并使用新的评估指标来衡量教学效果。通过这种方式，提升用户识别LLM失效场景的能力。
技术框架：该研究的技术框架主要包含以下几个阶段： 1. 失败模式识别：基于数据集的元标签对实例进行分组，评估LLM在每个分组上的预测表现，并根据预定义的标准（规模和错误率）筛选出LLM容易出错的分组，将其元标签作为失败模式。 2. 失败模式发现方法测试：测试现有的基于提示和嵌入的方法是否能够有效发现这些已知的失败模式。 3. 教学效果评估：提出新的评估指标，衡量用户利用失败模式预测LLM错误的能力，并通过用户研究验证教学效果。
关键创新：该研究的关键创新在于： 1. 显式地识别LLM的失败模式，而不是依赖隐式的嵌入聚类。 2. 提出新的评估指标，更准确地衡量教学效果，关注用户识别LLM错误的能力，而不是简单的人机团队准确率。
关键设计： 1. 失败模式识别标准：定义了分组规模和错误率的阈值，用于筛选出LLM容易出错的分组。 2. 教学方法：探索了不同的教学方法，例如直接告知用户失败模式。 3. 评估指标：提出了基于用户预测LLM错误能力的评估指标，该指标衡量用户是否能够有效利用教学内容。
🖼️ 关键图片
📊 实验亮点
该研究通过用户研究表明，使用新的评估指标，教授LLM失败模式可以有效提升用户识别LLM错误的能力。与传统的人机团队准确率指标不同，新的指标更关注用户对LLM能力边界的理解，能够更准确地衡量教学效果。实验结果表明，使用该指标进行教学可以显著提升用户预测LLM错误的能力。
🎯 应用场景
该研究成果可应用于开发更智能的人机协作系统，帮助用户更好地理解LLM的能力边界，避免在不适合的场景下使用LLM。此外，该研究提出的失败模式识别方法和评估指标，可以用于改进LLM的训练和评估过程，提升LLM的可靠性和安全性。
📄 摘要（原文）
People use large language models (LLMs) when they should not. This is partly because they see LLMs compose poems and answer intricate questions, so they understandably, but incorrectly, assume LLMs won't stumble on basic tasks like simple arithmetic. Prior work has tried to address this by clustering instance embeddings into regions where an LLM is likely to fail and automatically describing patterns in these regions. The found failure patterns are taught to users to mitigate their overreliance. Yet, this approach has not fully succeeded. In this analysis paper, we aim to understand why. We first examine whether the negative result stems from the absence of failure patterns. We group instances in two datasets by their meta-labels and evaluate an LLM's predictions on these groups. We then define criteria to flag groups that are sizable and where the LLM is error-prone, and find meta-label groups that meet these criteria. Their meta-labels are the LLM's failure patterns that could be taught to users, so they do exist. We next test whether prompting and embedding-based approaches can surface these known failures. Without this, users cannot be taught about them to reduce their overreliance. We find mixed results across methods, which could explain the negative result. Finally, we revisit the final metric that measures teaching effectiveness. We propose to assess a user's ability to effectively use the given failure patterns to anticipate when an LLM is error-prone. A user study shows a positive effect from teaching with this metric, unlike the human-AI team accuracy. Our findings show that teaching failure patterns could be a viable approach to mitigating overreliance, but success depends on better automated failure-discovery methods and using metrics like ours.