使用Python基于HyperLPR/Mask-RCNN的中文车牌识别

2023-02-22,,

基于HyperLPR的中文车牌识别

Bolg:https://blog.csdn.net/lsy17096535/article/details/78648170 https://www.jianshu.com/p/7ab673abeaae

GitHub:https://github.com/zeusees/HyperLPR

HyperLPR

简介

HyperLPR是开源的基于深度学习实现的高性能中文车牌识别库,由北京智云视图科技有限公司开发,与较为流行的开源的其他框架相比,它的检测速度、鲁棒性和多场景的适应性都要好于目前开源的框架,HyperLPR可以识别多种中文车牌,包括单行蓝牌/黄牌,白牌(白色警用车牌),新能源车牌,使馆/港澳车牌,教练车牌,武警车牌等。HyperLRP支持PHP、C/C++、Python语言,Windows/Mac/Linux/Android/IOS平台。

特性

基于端到端Sequence模型,无需进行字符分割,识别速度更快
速度快720p,单核Intel 2.2G CPU(Macbook Pro 2015)平均识别时间<=90ms
识别率高,仅仅针对车牌ROI在EasyPR数据集上,0-error达到 95.2%,1-error识别率达到 97.4%(指在定位成功后的车牌识别率)
轻量总代码量不超1k行
带有Android实现,其Android Demo可解决一些在一些普通业务场景(如执法记录仪)下的车牌识别任务

注意事项

Win工程中若需要使用静态库,需单独编译
本项目的C++实现和Python实现无任何关联,都为单独实现
在编译C++工程的时候必须要使用OpenCV 3.3(DNN库),否则无法编译

Python依赖

Keras (>2.0.0)
Theano(>0.9) or Tensorflow(>1.1.x)
Numpy (>1.10)
Scipy (0.19.1)
OpenCV(>3.0)
Scikit-image (0.13.0)
PIL

CPP依赖

Opencv 3.3

设计流程

step1. 使用opencv 的 HAAR Cascade 检测车牌大致位置

step2. Extend 检测到的大致位置的矩形区域

step3. 使用类似于MSER的方式的 多级二值化 + RANSAC 拟合车牌的上下边界

step4. 使用CNN Regression回归车牌左右边界

step5. 使用基于纹理场的算法进行车牌校正倾斜

step6. 使用CNN滑动窗切割字符

step7. 使用CNN识别字符

使用

from hyperlpr import  pipline as  pp
import cv2
image = cv2.imread("filename")
image,res  = pp.SimpleRecognizePlate(image)
print(res)

Linux/Mac编译

仅需要的依赖OpenCV 3.3 (需要DNN框架)

cd cpp_implementation
mkdir build
cd build
cmake ../
sudo make -j 

识别测试APP

测试 Android APP:https://fir.im/HyperLPR

识别样例

基于Mask-RCNN及CNN的车牌字符定位、分割与识别

Blog:https://my.oschina.net/airxiechao/blog/2239875

Github:https://github.com/airxiechao/simple-car-plate-recognition(Simple-Car-Plate-Recognition)

数据准备

用于车牌定位的数据集

原始数据:250张车辆图片,200张用于训练,50张用于测试

标记数据:在图片上标注出车牌区域(https://gitee.com/easypr/EasyPR/tree/master/resources/image/general_test)- 标注工具使用VGG Image Annotator(VIA),是一个网页程序,可以导入图片,使用多边形标注,标注好了以后可以导出json - 已标注好的数据集(下载:https://github.com/airxiechao/simple-car-plate-recognition/blob/master/dataset/carplate.zip)

用于字符识别的数据集

分隔好的单个车牌汉子、字母和数字 - https://gitee.com/easypr/EasyPR/blob/master/resources/train/ann.7z

训练Mask-RCNN定位车牌

参考:https://engineering.matterport.com/splash-of-color-instance-segmentation-with-mask-r-cnn-and-tensorflow-7c761e238b46 - 用Mask-RCNN识别图片中的气球

1)下载预训练模型:从https://github.com/matterport/Mask_RCNN/releases下载预先用COCO数据集训练好的模型mask_rcnn_coco.h5

2)载入车辆图片数据:carplate.py(浏览标注数据 - inspect_data.ipynb)

3)训练:mask_rcnn_carplate_0030.h5

python carplate.py train --dataset=../dataset/carplate --weights=coco

4)查看模型训练的效果:inspect_model.ipynd - https://github.com/airxiechao/simple-car-plate-recognition/tree/master/Mask_RCNN

训练CNN单个字符识别

参考:Keras的Mnist_CNN - https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py

训练:char_cnn.h5 - https://github.com/airxiechao/simple-car-plate-recognition/blob/master/char_cnn/char_cnn.ipynb

分割车牌字符

把车牌区域转换成灰度图像,利用边缘特征分割出区域,再筛选出字符区域 - https://github.com/airxiechao/simple-car-plate-recognition/blob/master/character_segmentation.ipynb

执行推理

https://github.com/airxiechao/simple-car-plate-recognition/blob/master/inference.ipynb

使用Python基于HyperLPR/Mask-RCNN的中文车牌识别的相关教程结束。

《使用Python基于HyperLPR/Mask-RCNN的中文车牌识别.doc》

下载本文的Word格式文档,以方便收藏与打印。