Zenbo Patrol: A Social Assistive Robot Based on Multimodal Deep Learning for Real-time Illegal Parking Recognition and Notification

📄 arXiv: 2510.04190v1 📥 PDF

作者: Jian-jie Zheng, Chih-kai Yang, Po-han Chen, Lyn Chao-ling Chen

分类: cs.RO

发布日期: 2025-10-05

💡 一句话要点

提出基于多模态深度学习的Zenbo巡逻机器人，用于实时识别和通知违章停车。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交机器人 多模态学习 车牌识别 违章停车检测 GPT-4o

📋 核心要点

  1. 现有方法在复杂环境下车牌识别精度不足，且缺乏实时性和自动化。
  2. 利用Zenbo机器人搭载GPT-4o多模态模型，实现无需预处理的车牌识别与违章通知。
  3. 实验表明，该方法在车牌识别方面具有高精度，并能有效解决室内停车场违章停车问题。

📝 摘要（中文）

本研究中，社交机器人作为巡逻员，实时识别和通知违章停车行为。对比了双模型流水线方法和大型多模态模型，最终采用GPT-4o多模态模型进行车牌识别，无需预处理。为了在平坦地面上平稳移动，机器人在模拟停车场中进行导航实验。机器人自动改变相机视角，以捕获车牌号码格式的图像。从机器人捕获的图像中，通过GPT-4o模型识别车牌上的数字，并判断其合法性。当检测到违章停车时，机器人立即向系统管理员发送Line消息。这项工作的贡献在于，一种新颖的多模态深度学习方法已验证在车牌识别中具有高精度，并且提供了一种社交辅助机器人，用于解决实际场景中的问题，并可应用于室内停车场。

🔬 方法详解

问题定义：论文旨在解决室内停车场中违章停车难以实时识别和通知的问题。现有方法通常需要复杂的图像预处理步骤，并且在光照条件不佳或车牌污损的情况下，识别精度会显著下降。此外，缺乏能够自主巡逻并及时通知管理人员的自动化系统。

核心思路：论文的核心思路是利用社交机器人Zenbo作为载体，搭载多模态深度学习模型GPT-4o，直接从机器人拍摄的图像中识别车牌，无需进行复杂的预处理。通过机器人的自主巡逻和实时识别，可以及时发现违章停车行为并通知管理人员。

技术框架：整体框架包括以下几个主要模块：1) Zenbo机器人平台：负责自主导航和图像采集；2) GPT-4o多模态模型：负责从图像中识别车牌号码；3) 违章判断模块：根据识别的车牌号码判断是否违章；4) 通知模块：通过Line消息向系统管理员发送违章通知。机器人通过自动改变相机视角来捕获不同角度的车牌图像。

关键创新：该方法最重要的创新点在于直接利用GPT-4o多模态模型进行车牌识别，无需传统方法中复杂的图像预处理步骤，例如图像增强、边缘检测、字符分割等。这种端到端的识别方式简化了流程，并提高了在复杂环境下的识别精度。

关键设计：论文中没有详细描述GPT-4o模型的具体参数设置或训练细节，因为GPT-4o是一个预训练的大型多模态模型。关键设计在于如何将GPT-4o模型集成到Zenbo机器人平台中，并实现自主巡逻和实时通知功能。机器人自动调整相机角度以获取最佳车牌图像，并使用Line API进行违章通知。

📊 实验亮点

论文验证了基于GPT-4o多模态模型的车牌识别方法在实际场景中的可行性和高精度。虽然论文中没有给出具体的性能数据和对比基线，但强调了该方法无需预处理即可实现有效的车牌识别，这与传统方法相比是一个显著的优势。该方法为解决实际问题提供了一种新的思路。

🎯 应用场景

该研究成果可广泛应用于室内停车场、住宅小区、商业中心等场景，实现违章停车的自动识别和管理，提高停车场的管理效率和安全性。未来，还可以扩展到其他违章行为的识别，例如占用消防通道、乱扔垃圾等，构建更智能化的社区管理系统。

📄 摘要（原文）

In the study, the social robot act as a patrol to recognize and notify illegal parking in real-time. Dual-model pipeline method and large multimodal model were compared, and the GPT-4o multimodal model was adopted in license plate recognition without preprocessing. For moving smoothly on a flat ground, the robot navigated in a simulated parking lot in the experiments. The robot changes angle view of the camera automatically to capture the images around with the format of license plate number. From the captured images of the robot, the numbers on the plate are recognized through the GPT-4o model, and identifies legality of the numbers. When an illegal parking is detected, the robot sends Line messages to the system manager immediately. The contribution of the work is that a novel multimodal deep learning method has validated with high accuracy in license plate recognition, and a social assistive robot is also provided for solving problems in a real scenario, and can be applied in an indoor parking lot.