The Role of Visualization in LLM-Assisted Knowledge Graph Systems: Effects on User Trust, Exploration, and Workflows

📄 arXiv: 2505.21512v1 📥 PDF

作者: Harry Li, Gabriel Appleby, Kenneth Alperin, Steven R Gomez, Ashley Suh

分类: cs.LG, cs.HC

发布日期: 2025-05-20

💡 一句话要点

LinkQ：研究LLM辅助知识图谱系统中可视化对用户信任、探索和工作流的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 大型语言模型 可视化 用户信任 人机交互

📋 核心要点

  1. 现有知识图谱探索方法对用户要求高，LLM辅助的知识图谱系统设计缺乏对用户信任和探索策略的充分理解。
  2. 论文提出LinkQ系统，通过五种可视化机制帮助用户评估LLM生成的KG查询和响应的准确性，从而提升用户体验。
  3. 通过对14位从业者的评估，发现用户容易过度信任LLM的输出，且用户的工作流程因其对KG和LLM的熟悉程度而异。

📝 摘要（中文）

知识图谱(KGs)是强大的数据结构，但即使是专家用户也很难有效地探索它们。大型语言模型(LLMs)越来越多地被用于解决这一问题，但关于它们与KGs的结合如何影响用户信任、探索策略或下游决策的经验性研究仍然很少，这给基于LLM的KG可视化分析系统带来了关键的设计挑战。为了研究这些影响，我们开发了LinkQ，一个KG探索系统，它使用LLM将自然语言问题转换为结构化查询。我们与KG专家合作设计了五种可视化机制，以帮助用户评估KG查询和LLM响应的准确性：一个LLM-KG状态图，说明LinkQ处于探索流程的哪个阶段；一个查询编辑器，显示生成的查询以及LLM的解释；一个实体-关系ID表，显示提取的KG实体和关系及其语义描述；一个查询结构图，描述KG中遍历的路径；以及查询结果的交互式图可视化。通过对14位从业者的定性评估，我们发现用户（甚至是KG专家）倾向于过度信任LinkQ的输出，因为其“有帮助的”可视化，即使LLM不正确。用户表现出不同的工作流程，这取决于他们之前对KGs和LLMs的熟悉程度，这挑战了这些系统是“一刀切”的假设——尽管它们通常被设计成这样。我们的发现强调了对LLM辅助数据分析工具产生虚假信任的风险，以及进一步研究可视化作为一种缓解技术的作用的必要性。

🔬 方法详解

问题定义：现有知识图谱探索工具对用户专业知识要求高，即使是专家用户也难以有效探索。虽然大型语言模型(LLMs)被用于辅助知识图谱的探索，但缺乏对LLM与知识图谱结合使用如何影响用户信任、探索策略和决策的深入理解。这导致LLM辅助的知识图谱可视化分析系统在设计上存在挑战，例如用户可能过度信任LLM的错误输出。

核心思路：论文的核心思路是通过设计多种可视化机制，帮助用户评估LLM生成的知识图谱查询和响应的准确性，从而提高用户对系统的信任度和使用效率。通过可视化LLM的推理过程和知识图谱的结构，使用户能够更好地理解和验证系统的输出。

技术框架：LinkQ系统包含以下主要模块： 1. 自然语言查询解析模块：使用LLM将自然语言问题转换为结构化查询。 2. 知识图谱查询执行模块：执行结构化查询，从知识图谱中检索相关信息。 3. 可视化模块：提供五种可视化机制，包括LLM-KG状态图、查询编辑器、实体-关系ID表、查询结构图和交互式图可视化。 4. 用户交互模块：允许用户与系统进行交互，例如修改查询、探索图结构等。

关键创新：该研究的关键创新在于系统性地探索了可视化在LLM辅助知识图谱系统中的作用，并设计了多种可视化机制来帮助用户评估LLM的输出。与现有方法不同，该研究不仅关注LLM的性能，还关注用户如何与LLM进行交互，以及可视化如何影响用户的信任和探索行为。

关键设计：五种可视化机制的设计是关键： 1. LLM-KG状态图：显示LinkQ处于探索流程的哪个阶段，帮助用户理解系统的运行状态。 2. 查询编辑器：显示生成的查询以及LLM的解释，使用户能够理解LLM的推理过程。 3. 实体-关系ID表：显示提取的KG实体和关系及其语义描述，帮助用户验证LLM提取的实体和关系是否正确。 4. 查询结构图：描述KG中遍历的路径，使用户能够理解查询的执行过程。 5. 交互式图可视化：以图形化的方式展示查询结果，使用户能够更直观地理解知识图谱的结构和关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过对14位知识图谱专家的定性评估发现，即使是专家用户也容易过度信任LinkQ系统提供的LLM输出，即使LLM的输出是错误的。此外，用户的工作流程因其对知识图谱和LLM的熟悉程度而异，这表明需要针对不同用户群体定制化的系统设计。这些发现强调了在LLM辅助数据分析工具中，可视化设计需要特别关注用户信任和潜在的过度依赖问题。

🎯 应用场景

该研究成果可应用于各种需要知识图谱探索和分析的领域，例如智能问答、推荐系统、医疗诊断、金融风险管理等。通过提供更透明和可信赖的LLM辅助知识图谱系统，可以帮助用户更好地利用知识图谱进行决策和分析，提高工作效率和决策质量。未来，该研究可以扩展到其他类型的数据分析任务，并探索更多有效的可视化方法。

📄 摘要（原文）

Knowledge graphs (KGs) are powerful data structures, but exploring them effectively remains difficult for even expert users. Large language models (LLMs) are increasingly used to address this gap, yet little is known empirically about how their usage with KGs shapes user trust, exploration strategies, or downstream decision-making - raising key design challenges for LLM-based KG visual analysis systems. To study these effects, we developed LinkQ, a KG exploration system that converts natural language questions into structured queries with an LLM. We collaborated with KG experts to design five visual mechanisms that help users assess the accuracy of both KG queries and LLM responses: an LLM-KG state diagram that illustrates which stage of the exploration pipeline LinkQ is in, a query editor displaying the generated query paired with an LLM explanation, an entity-relation ID table showing extracted KG entities and relations with semantic descriptions, a query structure graph that depicts the path traversed in the KG, and an interactive graph visualization of query results. From a qualitative evaluation with 14 practitioners, we found that users - even KG experts - tended to overtrust LinkQ's outputs due to its "helpful" visualizations, even when the LLM was incorrect. Users exhibited distinct workflows depending on their prior familiarity with KGs and LLMs, challenging the assumption that these systems are one-size-fits-all - despite often being designed as if they are. Our findings highlight the risks of false trust in LLM-assisted data analysis tools and the need for further investigation into the role of visualization as a mitigation technique.