Text-to-TrajVis: Enabling Trajectory Data Visualizations from Natural Language Questions

📄 arXiv: 2504.16358v1 📥 PDF

作者: Tian Bai, Huiyan Ying, Kailong Suo, Junqiu Wei, Tao Fan, Yuanfeng Song

分类: cs.CL

发布日期: 2025-04-23

💡 一句话要点

提出Text-to-TrajVis任务，实现自然语言到轨迹数据可视化的转换。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 轨迹可视化 自然语言接口 大型语言模型 数据集构建 Text-to-SQL

📋 核心要点

  1. 现有轨迹可视化系统缺乏自然语言交互能力，用户难以通过自然语言直接查询和生成可视化。
  2. 论文提出Text-to-TrajVis任务，并设计轨迹可视化语言TVL，实现自然语言到轨迹可视化的转换。
  3. 构建了大规模数据集TrajVL，包含18140个（问题，TVL）对，并评估了多个LLM在该任务上的性能。

📝 摘要（中文）

本文提出了Text-to-TrajVis任务，旨在将自然语言问题转化为轨迹数据可视化，从而促进轨迹可视化系统自然语言接口的开发。由于这是一个新颖的任务，目前社区中没有相关的可用数据集。为了解决这个问题，我们首先设计了一种新的可视化语言，称为轨迹可视化语言（TVL），以方便查询轨迹数据和生成可视化。在此基础上，我们进一步提出了一种数据集构建方法，该方法将大型语言模型（LLM）与人工相结合，以创建高质量的数据。具体来说，我们首先使用全面而系统的过程生成TVL，然后使用LLM为每个TVL标记相应的自然语言问题。这个过程创建了第一个大规模的Text-to-TrajVis数据集，名为TrajVL，其中包含18,140个（问题，TVL）对。基于此数据集，我们系统地评估了多个LLM（GPT、Qwen、Llama等）在此任务上的性能。实验结果表明，该任务既可行又具有高度挑战性，值得研究界进一步探索。

🔬 方法详解

问题定义：论文旨在解决如何将自然语言问题转化为轨迹数据可视化的问题。现有轨迹可视化系统主要依赖于手动操作或复杂的编程接口，缺乏自然语言交互能力，用户难以通过自然语言直接查询和生成可视化结果。这限制了轨迹数据可视化的易用性和普及性。

核心思路：论文的核心思路是构建一个中间层，即轨迹可视化语言（TVL），将自然语言问题转化为TVL指令，然后由TVL指令生成相应的轨迹数据可视化。通过这种方式，将复杂的自然语言理解问题分解为两个相对简单的子问题：自然语言到TVL的转换和TVL到可视化的生成。

技术框架：整体框架包含三个主要部分：1) 定义轨迹可视化语言TVL，用于描述轨迹数据的查询和可视化方式；2) 构建大规模数据集TrajVL，包含自然语言问题和对应的TVL指令；3) 使用大型语言模型（LLM）训练模型，实现自然语言到TVL的转换。框架流程为：用户输入自然语言问题 -> LLM将问题转换为TVL指令 -> TVL指令生成轨迹数据可视化。

关键创新：论文的关键创新在于提出了Text-to-TrajVis任务和轨迹可视化语言TVL。Text-to-TrajVis任务定义了一个新的研究方向，即如何使用自然语言进行轨迹数据可视化。TVL则提供了一种结构化的方式来描述轨迹数据的查询和可视化，为自然语言到可视化的转换提供了桥梁。此外，论文还提出了一种结合LLM和人工的数据集构建方法，有效解决了大规模数据集的获取问题。

关键设计：TVL的设计需要考虑轨迹数据的特点和可视化的需求，包括轨迹数据的属性（如时间、位置、速度等）和可视化方式（如散点图、线图、热力图等）。数据集构建过程中，需要设计合理的prompt，引导LLM生成高质量的自然语言问题。实验评估中，需要选择合适的LLM和评估指标，全面评估模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了包含18,140个（问题，TVL）对的大规模数据集TrajVL，并评估了GPT、Qwen、Llama等多个LLM在该数据集上的性能。实验结果表明，即使是强大的LLM在Text-to-TrajVis任务上也面临挑战，这表明该任务具有较高的难度和研究价值。该数据集和评估结果为后续研究提供了重要的基准。

🎯 应用场景

该研究成果可应用于交通监控、物流管理、运动分析、气象研究等领域。通过自然语言交互，用户可以更方便地查询和分析轨迹数据，从而提高决策效率和数据利用率。未来，该技术有望集成到各种轨迹可视化系统中，为用户提供更加智能和便捷的可视化体验。

📄 摘要（原文）

This paper introduces the Text-to-TrajVis task, which aims to transform natural language questions into trajectory data visualizations, facilitating the development of natural language interfaces for trajectory visualization systems. As this is a novel task, there is currently no relevant dataset available in the community. To address this gap, we first devised a new visualization language called Trajectory Visualization Language (TVL) to facilitate querying trajectory data and generating visualizations. Building on this foundation, we further proposed a dataset construction method that integrates Large Language Models (LLMs) with human efforts to create high-quality data. Specifically, we first generate TVLs using a comprehensive and systematic process, and then label each TVL with corresponding natural language questions using LLMs. This process results in the creation of the first large-scale Text-to-TrajVis dataset, named TrajVL, which contains 18,140 (question, TVL) pairs. Based on this dataset, we systematically evaluated the performance of multiple LLMs (GPT, Qwen, Llama, etc.) on this task. The experimental results demonstrate that this task is both feasible and highly challenging and merits further exploration within the research community.