Visual Reasoning at Urban Intersections: FineTuning GPT-4o for Traffic Conflict Detection

📄 arXiv: 2502.20573v1 📥 PDF

作者: Sari Masri, Huthaifa I. Ashqar, Mohammed Elhenawy

分类: cs.CV, cs.CL

发布日期: 2025-02-27

🔗 代码/项目: GITHUB

💡 一句话要点

微调GPT-4o用于城市路口交通冲突检测，提升视觉推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交通冲突检测 多模态大语言模型 GPT-4o 视觉推理 智能交通 视频分析 路口管理

📋 核心要点

  1. 无信号灯路口交通控制面临复杂性、频繁冲突和盲点等挑战，现有方法难以有效应对。
  2. 利用GPT-4o等多模态大语言模型，直接分析路口鸟瞰视频，进行冲突检测并提供驾驶建议。
  3. 微调后的GPT-4o在冲突检测、解释生成和行动推荐方面均取得显著成果，验证了MLLM在交通管理中的潜力。

📝 摘要（中文）

本研究探索了利用多模态大型语言模型（MLLM），如GPT-4o，直接使用四岔路口的鸟瞰视频进行逻辑和视觉推理的能力，以应对无信号灯城市路口交通控制的挑战，这些路口通常具有复杂性、频繁冲突和盲点。在该方法中，GPT-4o充当智能系统，检测冲突并为驾驶员提供解释和建议。微调后的模型达到了77.14%的准确率，而对微调后的GPT-4o的真实预测值的评估显示，模型生成的解释的准确率达到89.9%，推荐的后续动作的准确率达到92.3%。这些结果突出了使用MLLM进行实时交通管理的可能性，使用视频作为输入，为路口交通管理和运营提供可扩展且可操作的见解。本研究中使用的代码可在https://github.com/sarimasri3/Traffic-Intersection-Conflict-Detection-using-images.git 获取。

🔬 方法详解

问题定义：论文旨在解决无信号灯城市路口交通冲突检测的问题。现有方法通常依赖于复杂的传感器网络或人工规则，成本高昂且难以适应复杂多变的交通环境。此外，现有方法缺乏对冲突原因的解释和对驾驶员的建议，难以实现主动的交通管理。

核心思路：论文的核心思路是利用多模态大型语言模型（MLLM）的视觉推理和语言理解能力，直接从路口鸟瞰视频中学习交通规则和冲突模式。通过将视频作为输入，MLLM可以自动识别潜在的冲突，并生成相应的解释和建议，从而实现智能化的交通管理。

技术框架：该方法的技术框架主要包括以下几个步骤：1) 数据收集：收集四岔路口的鸟瞰视频数据，并进行标注，包括冲突类型、参与车辆等信息。2) 模型选择：选择GPT-4o作为基础模型，利用其强大的视觉和语言能力。3) 模型微调：使用标注的数据对GPT-4o进行微调，使其能够识别交通冲突并生成相应的解释和建议。4) 评估：评估微调后的模型在冲突检测、解释生成和行动推荐方面的性能。

关键创新：该论文的关键创新在于将多模态大型语言模型应用于交通冲突检测领域，并直接使用视频作为输入。与传统的基于传感器或人工规则的方法相比，该方法具有更高的灵活性和可扩展性，能够自动学习交通规则和冲突模式，并提供个性化的驾驶建议。

关键设计：论文中没有详细说明关键的参数设置、损失函数、网络结构等技术细节。但是，可以推断，微调过程可能涉及使用交叉熵损失函数来优化冲突分类的准确性，并使用语言模型相关的损失函数来优化解释和建议生成的质量。具体的网络结构可能依赖于GPT-4o的默认配置，并根据交通冲突检测任务进行适当的调整。具体细节未知。

📊 实验亮点

微调后的GPT-4o模型在交通冲突检测方面取得了显著成果，达到了77.14%的准确率。更重要的是，人工评估显示，模型生成的解释的准确率高达89.9%，推荐的后续动作的准确率达到92.3%。这些结果表明，MLLM不仅能够检测交通冲突，还能提供高质量的解释和建议，为驾驶员提供有价值的辅助信息。

🎯 应用场景

该研究成果可应用于智能交通管理系统，实现实时交通冲突检测和预警，提高道路安全性。此外，该技术还可用于自动驾驶车辆的决策规划，帮助车辆更好地理解交通环境，避免潜在的碰撞风险。未来，该研究可扩展到更复杂的交通场景，如多车道、环岛等，为构建更智能、更安全的交通系统提供技术支持。

📄 摘要（原文）

Traffic control in unsignalized urban intersections presents significant challenges due to the complexity, frequent conflicts, and blind spots. This study explores the capability of leveraging Multimodal Large Language Models (MLLMs), such as GPT-4o, to provide logical and visual reasoning by directly using birds-eye-view videos of four-legged intersections. In this proposed method, GPT-4o acts as intelligent system to detect conflicts and provide explanations and recommendations for the drivers. The fine-tuned model achieved an accuracy of 77.14%, while the manual evaluation of the true predicted values of the fine-tuned GPT-4o showed significant achievements of 89.9% accuracy for model-generated explanations and 92.3% for the recommended next actions. These results highlight the feasibility of using MLLMs for real-time traffic management using videos as inputs, offering scalable and actionable insights into intersections traffic management and operation. Code used in this study is available at https://github.com/sarimasri3/Traffic-Intersection-Conflict-Detection-using-images.git.