TrajAgent: An LLM-Agent Framework for Trajectory Modeling via Large-and-Small Model Collaboration

📄 arXiv: 2410.20445v5 📥 PDF

作者: Yuwei Du, Jie Feng, Jie Zhao, Yong Li

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-10-27 (更新: 2025-10-28)

备注: Accepted by NeurIPS 2025, https://github.com/tsinghua-fib-lab/TrajAgent

🔗 代码/项目: GITHUB

💡 一句话要点

TrajAgent：通过大小模型协作的LLM-Agent轨迹建模框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 轨迹建模 大型语言模型 Agent框架 自动化建模 协同学习

📋 核心要点

  1. 现有轨迹建模方法难以应对数据异构性和任务多样性带来的挑战，导致建模效率和可靠性不足。
  2. TrajAgent框架利用大型语言模型驱动的Agent，通过自动化建模流程和大小模型协同学习，提升轨迹建模的鲁棒性和效率。
  3. 实验结果表明，TrajAgent在多个真实数据集和任务上，相比基线方法取得了显著的性能提升，最高达69.91%。

📝 摘要（中文）

轨迹建模，包括轨迹数据模式挖掘和未来预测的研究，在生活服务、城市交通和公共管理等领域有着广泛的应用。虽然已经提出了许多方法来解决轨迹建模中的特定问题，但数据异构性和轨迹任务的多样性使得有效和可靠的轨迹建模成为一项重要但极具挑战性的任务，即使对于领域专家也是如此。本文提出了TrajAgent，一个由大型语言模型驱动的Agent框架，旨在通过自动化建模促进鲁棒和高效的轨迹建模。该框架利用和优化各种专门模型，以有效地解决不同数据集上的各种轨迹建模任务。在TrajAgent中，我们首先开发UniEnv，一个具有统一数据和模型接口的执行环境，以支持各种模型的执行和训练。在UniEnv的基础上，我们引入了一种Agent工作流程，该流程专为跨各种轨迹任务和数据的自动轨迹建模而设计。此外，我们还引入了基于LLM的Agent与小型专用模型之间的协同学习模式，以有效地提高整个框架的性能。在四个真实世界数据集上进行的五项任务的大量实验表明，TrajAgent在自动轨迹建模方面的有效性，与基线方法相比，性能提高了2.38%-69.91%。代码和数据可通过https://github.com/tsinghua-fib-lab/TrajAgent访问。

🔬 方法详解

问题定义：论文旨在解决轨迹建模中数据异构性和任务多样性带来的挑战。现有方法往往针对特定问题设计，缺乏通用性和自动化能力，难以适应不同数据集和任务的需求。领域专家也需要花费大量时间和精力进行模型选择、参数调整和任务配置。

核心思路：论文的核心思路是利用大型语言模型（LLM）作为Agent，自动化地进行轨迹建模。LLM负责任务分解、模型选择、参数配置等高层决策，并与小型专用模型协同工作，实现高效和鲁棒的轨迹建模。这种Agent框架能够根据不同的数据集和任务，自动选择和优化合适的模型，从而提高建模效率和性能。

技术框架：TrajAgent框架主要包含以下几个模块：1) UniEnv：一个统一的执行环境，提供统一的数据和模型接口，支持各种模型的执行和训练。2) Agentic Workflow：一个基于LLM的Agent工作流程，负责任务分解、模型选择、参数配置等。3) Collaborative Learning Schema：一种LLM-Agent与小型专用模型之间的协同学习模式，通过知识共享和互相学习，提高整体性能。整个流程是：LLM接收轨迹建模任务，利用UniEnv提供的接口调用各种模型，根据任务需求进行模型选择和参数配置，然后执行模型并评估结果，最后通过协同学习模式不断优化模型和Agent的决策能力。

关键创新：TrajAgent的关键创新在于将大型语言模型引入轨迹建模领域，并构建了一个自动化建模框架。与传统方法相比，TrajAgent能够自动选择和优化模型，无需人工干预，从而提高了建模效率和鲁棒性。此外，协同学习模式使得LLM-Agent能够不断学习和进化，进一步提升性能。

关键设计：UniEnv的设计统一了数据和模型接口，使得LLM-Agent能够方便地调用和管理各种模型。Agentic Workflow的设计使得LLM能够根据任务需求进行任务分解和模型选择。Collaborative Learning Schema的设计使得LLM-Agent能够与小型专用模型进行知识共享和互相学习。具体的参数设置、损失函数和网络结构等技术细节在论文中没有详细描述，属于未知部分。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TrajAgent在四个真实世界数据集上进行了五项轨迹建模任务的实验，结果表明，与基线方法相比，TrajAgent取得了显著的性能提升，提升幅度在2.38%到69.91%之间。这些结果证明了TrajAgent在自动化轨迹建模方面的有效性。

🎯 应用场景

TrajAgent在智慧城市、交通管理、物流优化、位置服务等领域具有广泛的应用前景。它可以用于预测交通流量、优化路线规划、分析用户行为模式、推荐个性化服务等。通过自动化轨迹建模，TrajAgent可以帮助企业和政府机构更好地理解和利用轨迹数据，从而提高决策效率和服务质量。

📄 摘要（原文）

Trajectory modeling, which includes research on trajectory data pattern mining and future prediction, has widespread applications in areas such as life services, urban transportation, and public administration. Numerous methods have been proposed to address specific problems within trajectory modeling. However, the heterogeneity of data and the diversity of trajectory tasks make effective and reliable trajectory modeling an important yet highly challenging endeavor, even for domain experts. In this paper, we propose TrajAgent, an agent framework powered by large language models, designed to facilitate robust and efficient trajectory modeling through automation modeling. This framework leverages and optimizes diverse specialized models to address various trajectory modeling tasks across different datasets effectively. In TrajAgent, we first develop UniEnv, an execution environment with a unified data and model interface, to support the execution and training of various models. Building on UniEnv, we introduce an agentic workflow designed for automatic trajectory modeling across various trajectory tasks and data. Furthermore, we introduce collaborative learning schema between LLM-based agents and small speciallized models, to enhance the performance of the whole framework effectively. Extensive experiments on five tasks using four real-world datasets demonstrate the effectiveness of TrajAgent in automated trajectory modeling, achieving a performance improvement of 2.38%-69.91% over baseline methods. The codes and data can be accessed via https://github.com/tsinghua-fib-lab/TrajAgent.