Zenbo Patrol: A Social Assistive Robot Based on Multimodal Deep Learning for Real-time Illegal Parking Recognition and Notification

📄 arXiv: 2510.04190v1 📥 PDF

作者: Jian-jie Zheng, Chih-kai Yang, Po-han Chen, Lyn Chao-ling Chen

分类: cs.RO

发布日期: 2025-10-05

💡 一句话要点

提出基于多模态深度学习的Zenbo巡逻机器人，用于实时识别和通知违章停车。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交机器人 多模态学习 车牌识别 违章停车检测 GPT-4o

📋 核心要点

  1. 现有方法在复杂环境下车牌识别精度不足，且缺乏实时性和自动化。
  2. 利用Zenbo机器人搭载GPT-4o多模态模型，无需预处理即可识别车牌并判断是否违章。
  3. 实验表明，该方法在车牌识别方面具有高精度，并能实时通知违章停车行为。

📝 摘要（中文）

本研究中，社交机器人作为巡逻员，实时识别并通知违章停车行为。对比了双模型流水线方法和大型多模态模型，最终采用GPT-4o多模态模型进行车牌识别，无需预处理。为了在平坦地面上平稳移动，机器人在模拟停车场中进行导航实验。机器人自动改变相机视角，以车牌号码的格式捕获周围图像。从机器人捕获的图像中，通过GPT-4o模型识别车牌上的数字，并判断其合法性。当检测到违章停车时，机器人立即向系统管理员发送Line消息。这项工作的主要贡献在于，一种新颖的多模态深度学习方法在车牌识别中得到了验证，具有很高的准确性，并且提供了一种社交辅助机器人，用于解决实际场景中的问题，可应用于室内停车场。

🔬 方法详解

问题定义：论文旨在解决室内停车场中违章停车难以实时识别和通知的问题。现有方法通常需要复杂的图像预处理步骤，并且识别精度在复杂光照和角度下会显著下降。此外，缺乏能够自主巡逻并及时通知管理人员的自动化系统。

核心思路：论文的核心思路是利用社交机器人Zenbo作为移动平台，搭载GPT-4o多模态模型，直接从原始图像中识别车牌号码，并判断其是否违章。通过机器人的自主导航和视角调整，可以覆盖更广阔的区域，提高识别效率。

技术框架：整体框架包括以下几个主要模块：1) Zenbo机器人平台：负责自主导航和图像采集；2) GPT-4o多模态模型：负责从图像中识别车牌号码；3) 违章判断模块：根据识别的车牌号码判断是否违章；4) 通知模块：通过Line消息向系统管理员发送违章通知。机器人首先在模拟停车场内进行导航，自动调整相机角度以捕获车牌图像，然后将图像输入GPT-4o模型进行识别，最后将识别结果与数据库进行比对，判断是否违章并发送通知。

关键创新：最重要的技术创新点在于直接利用GPT-4o多模态模型进行车牌识别，无需传统的图像预处理步骤，例如车牌定位、字符分割等。这简化了整个流程，并提高了在复杂环境下的识别精度。与现有方法相比，该方法更加鲁棒，并且能够实现端到端的实时识别和通知。

关键设计：论文中没有详细描述GPT-4o模型的具体参数设置或训练细节，因为GPT-4o是闭源模型。关键设计在于如何利用Zenbo机器人的运动控制和相机角度调整，以获得高质量的车牌图像。此外，违章判断模块需要维护一个包含合法车牌号码的数据库，并根据实际情况进行更新。

📊 实验亮点

论文验证了基于GPT-4o多模态模型的车牌识别方法在实际场景中的可行性，并展示了其高精度和实时性。虽然论文中没有给出具体的性能数据，但强调了该方法无需预处理的优势，并实现了违章停车的自动通知功能。

🎯 应用场景

该研究成果可应用于室内停车场、住宅小区等场景，实现违章停车的自动识别和通知，提高停车管理效率，减少人工巡查成本。未来可扩展到其他智能安防领域，例如非法入侵检测、异常行为识别等。

📄 摘要（原文）

In the study, the social robot act as a patrol to recognize and notify illegal parking in real-time. Dual-model pipeline method and large multimodal model were compared, and the GPT-4o multimodal model was adopted in license plate recognition without preprocessing. For moving smoothly on a flat ground, the robot navigated in a simulated parking lot in the experiments. The robot changes angle view of the camera automatically to capture the images around with the format of license plate number. From the captured images of the robot, the numbers on the plate are recognized through the GPT-4o model, and identifies legality of the numbers. When an illegal parking is detected, the robot sends Line messages to the system manager immediately. The contribution of the work is that a novel multimodal deep learning method has validated with high accuracy in license plate recognition, and a social assistive robot is also provided for solving problems in a real scenario, and can be applied in an indoor parking lot.