Talk2DM: Enabling Natural Language Querying and Commonsense Reasoning for Vehicle-Road-Cloud Integrated Dynamic Maps with Large Language Models

📄 arXiv: 2602.11860v1 📥 PDF

作者: Lu Tao, Jinxuan Luo, Yousuke Watanabe, Zhengshu Zhou, Yuhuan Lu, Shen Ying, Pan Zhang, Fei Zhao, Hiroaki Takada

分类: cs.AI

发布日期: 2026-02-12

备注: Submitted to IEEE TITS. Under review

💡 一句话要点

提出Talk2DM，通过自然语言查询和常识推理增强车-路-云协同动态地图

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态地图 自然语言查询 常识推理 大型语言模型 车路云协同

📋 核心要点

  1. 现有动态地图系统缺乏自然语言支持的人机交互界面，限制了人与动态地图的有效沟通。
  2. Talk2DM通过链式提示(CoP)机制，将人工规则与大型语言模型的常识知识相结合，实现自然语言查询和常识推理。
  3. 实验表明，Talk2DM在不同LLM上具有良好的泛化能力，使用Qwen3:8B等模型可实现高准确率和低延迟。

📝 摘要（中文）

动态地图(DM)是中国和日本车-路-云(VRC)协同自动驾驶的基础信息设施。DM通过提供全面的交通场景表示，克服了单机自动驾驶系统(ADS)的局限性，例如物理遮挡。尽管DM增强的ADS已在日本的实际应用中成功部署，但现有的DM系统仍然缺乏自然语言支持(NLS)的人机界面，这可能会大大增强人与DM的交互。为了解决这个差距，本文介绍VRCsim，一个VRC协同感知(CP)仿真框架，旨在生成流式VRC-CP数据。基于VRCsim，我们构建了一个问答数据集VRC-QA，专注于混合交通场景中的空间查询和推理。基于VRCsim和VRC-QA，我们进一步提出了Talk2DM，一个即插即用的模块，通过NLS查询和常识推理能力扩展VRC-DM系统。Talk2DM建立在一种新颖的链式提示(CoP)机制之上，该机制逐步将人为定义的规则与大型语言模型(LLM)的常识知识相结合。在VRC-QA上的实验表明，Talk2DM可以在不同的LLM之间无缝切换，同时保持较高的NLS查询准确率，表现出强大的泛化能力。虽然较大的模型往往能获得更高的准确率，但它们会导致显著的效率下降。我们的结果表明，由Qwen3:8B、Gemma3:27B和GPT-oss模型驱动的Talk2DM，实现了超过93%的NLS查询准确率，平均响应时间仅为2-5秒，表明具有强大的实际潜力。

🔬 方法详解

问题定义：现有动态地图系统主要依赖结构化数据接口，缺乏自然语言交互能力，使得用户难以通过自然语言进行复杂的空间查询和推理。这限制了动态地图在实际应用中的易用性和灵活性。现有方法难以有效融合人工规则和LLM的常识知识，导致查询准确率和推理能力不足。

核心思路：Talk2DM的核心思路是利用大型语言模型(LLM)的自然语言理解和生成能力，结合人工定义的规则，实现对动态地图的自然语言查询和常识推理。通过链式提示(CoP)机制，逐步引导LLM进行推理，提高查询准确率和效率。

技术框架：Talk2DM是一个即插即用的模块，可以集成到现有的VRC-DM系统中。其主要流程包括：1) 接收用户的自然语言查询；2) 利用CoP机制，将查询分解为多个步骤，并结合人工规则生成提示；3) 将提示输入LLM进行推理；4) 将LLM的输出转换为结构化数据，并返回给用户。VRCsim用于生成训练数据，VRC-QA数据集用于评估模型性能。

关键创新：Talk2DM的关键创新在于链式提示(CoP)机制，它通过逐步引导LLM进行推理，有效地融合了人工规则和LLM的常识知识。与直接使用LLM进行查询相比，CoP机制可以显著提高查询准确率和效率。此外，Talk2DM具有良好的泛化能力，可以在不同的LLM之间无缝切换。

关键设计：CoP机制的关键设计在于如何将查询分解为多个步骤，并设计合适的提示。论文中具体的人工规则和提示设计细节未知。此外，选择合适的LLM也是关键，需要在准确率和效率之间进行权衡。论文实验中使用了Qwen3:8B、Gemma3:27B和GPT-oss等模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Talk2DM在VRC-QA数据集上实现了超过93%的自然语言查询准确率，平均响应时间仅为2-5秒。该结果表明Talk2DM具有强大的实际应用潜力。此外，实验还表明Talk2DM具有良好的泛化能力，可以在不同的LLM之间无缝切换。虽然较大的模型往往能获得更高的准确率，但它们会导致显著的效率下降。

🎯 应用场景

Talk2DM可应用于智能交通、自动驾驶、智慧城市等领域。它可以帮助驾驶员或交通管理者通过自然语言查询动态地图信息，例如查询特定路段的交通状况、事故信息等。此外，Talk2DM还可以用于辅助自动驾驶系统进行决策，例如根据交通状况规划行驶路线。该研究有望提升人机交互效率，推动动态地图在实际场景中的应用。

📄 摘要（原文）

Dynamic maps (DM) serve as the fundamental information infrastructure for vehicle-road-cloud (VRC) cooperative autonomous driving in China and Japan. By providing comprehensive traffic scene representations, DM overcome the limitations of standalone autonomous driving systems (ADS), such as physical occlusions. Although DM-enhanced ADS have been successfully deployed in real-world applications in Japan, existing DM systems still lack a natural-language-supported (NLS) human interface, which could substantially enhance human-DM interaction. To address this gap, this paper introduces VRCsim, a VRC cooperative perception (CP) simulation framework designed to generate streaming VRC-CP data. Based on VRCsim, we construct a question-answering data set, VRC-QA, focused on spatial querying and reasoning in mixed-traffic scenes. Building upon VRCsim and VRC-QA, we further propose Talk2DM, a plug-and-play module that extends VRC-DM systems with NLS querying and commonsense reasoning capabilities. Talk2DM is built upon a novel chain-of-prompt (CoP) mechanism that progressively integrates human-defined rules with the commonsense knowledge of large language models (LLMs). Experiments on VRC-QA show that Talk2DM can seamlessly switch across different LLMs while maintaining high NLS query accuracy, demonstrating strong generalization capability. Although larger models tend to achieve higher accuracy, they incur significant efficiency degradation. Our results reveal that Talk2DM, powered by Qwen3:8B, Gemma3:27B, and GPT-oss models, achieves over 93\% NLS query accuracy with an average response time of only 2-5 seconds, indicating strong practical potential.