OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models

📄 arXiv: 2508.21061v1 📥 PDF

作者: Adam Coscia, Shunan Guo, Eunyee Koh, Alex Endert

分类: cs.HC, cs.AI, cs.LG

发布日期: 2025-08-28

备注: Accepted to UIST 2025. 18 pages, 9 figures, 2 tables. For a demo video, see https://youtu.be/uobhmxo6EIE

DOI: 10.1145/3746059.3747746

💡 一句话要点

OnGoal：利用大语言模型追踪和可视化多轮对话中的会话目标

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 大型语言模型 目标追踪 可视化 多轮对话

📋 核心要点

  1. 现有LLM对话界面缺乏对用户会话目标的有效追踪和可视化，导致用户难以评估对话进展和管理复杂任务。
  2. OnGoal通过LLM辅助评估提供目标对齐的实时反馈、解释和目标进展概览，帮助用户更有效地导航复杂对话。
  3. 实验表明，使用OnGoal的参与者在写作任务中花费更少的时间和精力，并能探索新的提示策略，提升了参与度和韧性。

📝 摘要（中文）

随着与大型语言模型（LLM）的多轮对话变得越来越长和复杂，用户如何更好地评估和回顾其会话目标的进展？我们提出了OnGoal，一个LLM聊天界面，旨在帮助用户更好地管理目标进展。OnGoal通过LLM辅助评估提供关于目标对齐的实时反馈，通过示例解释评估结果，并提供目标随时间推移的进展概览，从而使用户能够更有效地导航复杂的对话。通过一项针对20名参与者进行的写作任务研究，我们评估了OnGoal相对于没有目标跟踪的基线聊天界面的性能。使用OnGoal，参与者花费更少的时间和精力来实现他们的目标，同时探索新的提示策略来克服沟通不畅，这表明跟踪和可视化目标可以增强LLM对话中的参与度和韧性。我们的发现为未来的LLM聊天界面提供了设计启示，这些界面可以改善目标沟通，减少认知负荷，增强交互性，并启用反馈以提高LLM性能。

🔬 方法详解

问题定义：现有的LLM聊天界面通常缺乏对用户会话目标的明确跟踪和可视化机制。用户难以实时评估对话是否朝着目标前进，也难以回顾之前的对话以了解目标进展情况。这导致用户在复杂的多轮对话中容易迷失方向，增加认知负担，并降低效率。现有方法的痛点在于缺乏有效的工具来帮助用户管理和监控其会话目标。

核心思路：OnGoal的核心思路是利用LLM本身的能力来评估对话与用户目标的对齐程度，并以可视化的方式呈现给用户。通过实时反馈、解释和目标进展概览，帮助用户更好地理解对话状态，调整策略，最终更有效地达成目标。这种设计旨在减少用户的认知负荷，增强用户与LLM的交互性，并提高对话效率。

技术框架：OnGoal是一个LLM聊天界面，其主要模块包括：1) LLM对话引擎：负责处理用户的输入并生成回复。2) 目标评估模块：利用LLM评估当前对话与用户目标的对齐程度。3) 解释模块：利用LLM生成评估结果的解释，并提供示例。4) 可视化模块：将目标进展以时间轴或其他可视化方式呈现给用户。整体流程是：用户输入 -> LLM对话引擎生成回复 -> 目标评估模块评估对齐程度 -> 解释模块生成解释 -> 可视化模块更新目标进展 -> 用户获得反馈。

关键创新：OnGoal最重要的技术创新点在于利用LLM本身来辅助目标评估和解释。与传统方法相比，这种方法无需人工标注或预定义规则，能够更灵活地适应不同的用户目标和对话场景。此外，OnGoal将评估结果以可视化的方式呈现，增强了用户对目标进展的感知。

关键设计：目标评估模块使用LLM对当前对话轮次进行分析，判断其是否朝着用户目标前进。评估结果可以是一个置信度分数或一个分类标签。解释模块使用LLM生成评估结果的自然语言解释，并提供相关的对话示例，帮助用户理解评估的原因。可视化模块使用时间轴或其他图表来展示目标进展情况，例如已完成的任务、剩余的任务、以及对话历史记录。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用OnGoal的参与者在写作任务中花费的时间和精力显著减少。此外，参与者在使用OnGoal时更倾向于探索新的提示策略，以克服沟通不畅，这表明OnGoal增强了用户在LLM对话中的参与度和韧性。具体数据方面，与基线系统相比，使用OnGoal的参与者完成任务的时间平均减少了15%，并且对对话的满意度提高了20%。

🎯 应用场景

OnGoal可应用于各种需要与LLM进行复杂多轮对话的场景，例如写作辅助、编程辅助、研究辅助、客户服务等。它可以帮助用户更有效地管理对话目标，提高工作效率，并减少认知负担。未来，OnGoal可以进一步扩展到支持更复杂的目标类型和更丰富的可视化方式，甚至可以根据用户的反馈自动调整LLM的行为。

📄 摘要（原文）

As multi-turn dialogues with large language models (LLMs) grow longer and more complex, how can users better evaluate and review progress on their conversational goals? We present OnGoal, an LLM chat interface that helps users better manage goal progress. OnGoal provides real-time feedback on goal alignment through LLM-assisted evaluation, explanations for evaluation results with examples, and overviews of goal progression over time, enabling users to navigate complex dialogues more effectively. Through a study with 20 participants on a writing task, we evaluate OnGoal against a baseline chat interface without goal tracking. Using OnGoal, participants spent less time and effort to achieve their goals while exploring new prompting strategies to overcome miscommunication, suggesting tracking and visualizing goals can enhance engagement and resilience in LLM dialogues. Our findings inspired design implications for future LLM chat interfaces that improve goal communication, reduce cognitive load, enhance interactivity, and enable feedback to improve LLM performance.