一种基于图像识别的开放式停车计费方法与装置制造方法及图纸

本发明专利技术公开了一种基于图像识别的开放停车计费方法，本发明专利技术的技术方案主要分为车辆入库和车辆出库两个流程，入库即当前端车辆图像采集设备感应到车辆时，会采集一组图片，然后送入到入库流程进行判别，判别出此车位上是否开始有车辆占用，如果有车辆占用，则将此车位标记为入库，否则继续等待；若此车位的状态为入库状态，即有车辆占用，对车辆图像采集设备采集的图像送入出库流程进行判别，其中出库流程分为自动入库车辆的出库流程和人工判别入库的出库流程两种情况，若判别为出库，则计算车辆占用的时间进行计费并生成计费单，发送至车主，否则继续等待。还公开了一种基于图像识别的开放停车计费装置，本发明专利技术提供的方法、装置能有效提高开放式停车位中车位管理的效率以及提高用户的使用体验。

【技术实现步骤摘要】
一种基于图像识别的开放式停车计费方法与装置
本专利技术涉及一种基于图像识别的开放式停车计费方法与装置。
技术介绍
目前基于封闭的停车场，大都有自己的车辆进出入管理软件，通过单纯的车牌识别技术，可以精确的获取车辆的出入时间，并对停车费进行计算。但对于类似路边等开放式场景的车费计费一直是个难题，目前大都采用人工收费的方式，人工收费效率低，且需要耗费大量的人工。本专利技术提出了一种基于图像识别的开放式停车计费方法与装置，预先在路侧停每个停车位附近都装一个车辆图像采集设备，此设备可以感知车辆进入与离开，同时结合分析抓拍的图像内的车牌等信息，最终可以自动生成停车计费单，发送至车主，车主可以进行线上缴费。
技术实现思路
针对目前的技术现状，本专利技术提出了一种基于图像识别的开放式停车计费方法与装置，预先在路侧停每个停车位附近都装一个车辆图像采集设备，此设备可以感知车辆进入与离开，同时结合分析抓拍的图像内的车牌等信息，最终可以自动生成停车计费单，发送至车主，车主可以进行线上缴费。本专利技术提供了一种基于图像识别的开放式停车计费方法，包括：S1、对入库的车辆进行抓拍，并将采集到的N张图片分别进行车牌识别，如果识别到车牌，则进入S2，如果未识别到车牌，则进入S3；S2、对识别到车牌的车牌置信度进行判断，如果置信度满足预设条件，则标记该张图片为自动入库，否则标记为人工判别标记；S3、对图片进行有车无车判断，如果判断出图片中无车，则对该图片标记为不处理；否则对该图片标记为人工判断；>S4、分别统计该组图片中自动入库、人工判别和不处理图片的数量，并判断车辆是否入库；S5、针对有自动入库标记的车位进行车辆图片抓拍，判断是否出库；S6、针对人工入库标记的车位进行车辆图片抓拍，判断是否出库；S7、计算车辆出库与入库的时间间隔，生成计费单。另外，本专利技术还提供了一种基于图像识别的开放式停车计费装置，该装置包括：入库图片抓拍模块，用于对车位中的车辆入库进行抓拍，并将抓拍到的图片发送至车牌识别模块进行识别；车牌识别模块，将采集到的N张图片分别进行车牌识别，如果识别到车牌，则发送至车牌整牌置信度判别模块，如果未识别到车牌，则发送至有车无车判别模块进行进一步判别；车牌整牌置信度判别模块：经过车牌识别模块，对识别到车牌的车牌置信度进行如下判别，若满足预设条件，则标记该张图片为自动入库，否则标记为人工判别；有车无车判别模块：将识别不到车牌的图片进行有车无车判断，如果判断出图片中无车，则对该图片标记为不处理；否则对该图片标记为人工判断；入库综合判断模块：分别统计该组图片中自动入库、人工判别和不处理图片的数量，并判断车辆是否入库；出库车辆识别模块，判断车位上的车辆是否出库；停车费计算模块，计算车辆出库与入库的时间间隔，生成计费单。从以上技术方案可以看出，本专利技术的技术方案通过对停车场内车辆进行识别，对车辆的状态进行监测，实现对车辆停车的准确收费，保证收费的准确性，减少了人工费用，便于停车位的管理，而且使用方便简单，能够给用户提供友好的服务，有效提高用户使用体验。附图说明图1为本申请具体实施例中车辆入库图片识别流程示意图；图2为本申请具体实施例中自动入库车辆出库流程示意图；图3为本申请具体实施例中人工入库车辆出库流程示意图；图4为本申请具体实施例中残差网络单元示意图。具体实施方式以下结合其中的较佳实施例对本专利技术方案进行详细阐述。实施例一该实施例提供了一种基于图像识别的开放式停车计费方法，在开放式停车管理设备识别到车辆入库时，会对入库车辆进行抓拍，得到一组抓拍的图片，然后开始本专利技术基于图像识别的开放式停车计费方法，方法具体包括：S1、将采集到的一组图片(N张)分别进行车牌识别，如果识别到车牌，则进入S2，如果未识别到车牌，则进入S3。其中，车牌识别可以采用传统的字符分割、字符识别策略对图片中的车牌进行识别，即将检测到的车牌采用垂直投影或者连通区域分析的方法进行字符分割，然后将分割下来的单个字符采用lbp+svm，gabor+svm或者卷积神经网络等算法进行识别；也可以采用卷CNN+RNN网络对校正后归一化的车牌做整行识别，将车牌归一化到128*32尺寸，即宽128，高32，然后送入神经网络进行识别。S2、对识别到车牌的车牌置信度进行判断。经过车牌识别模块，对识别到车牌的车牌置信度进行如下判别，若同时满足以下两个条件，则标记该张图片为自动入库，否则标记为人工判别标记。a)整牌置信度f>T1，其中f表示为车牌的整牌置信度(0～1区间)，T1为整牌阈值可以取值为0.95；b)车牌每位字符的置信度f(i)>T2，其中f(i)表示第i个车牌字符的置信度(0～1区间)，T2为字符置信度阈值可以取值为0.93。S3、对图片进行有车无车判断。将车牌识别中，将识别不到车牌的图片进行有车无车判断，如果判断出图片中无车，则对该图片标记为不处理；否则对该图片标记为人工判断。其中，利用图片分类模型对图片进行分类，完成对图片有车无车判断。具体的，可以采用卷积神经网络对场景图像进行分类，如alexnet、deepface、mobilnet、resnet模型等，根据图像的类型，分为六类，如下所示：有车样本：露出车身车轮、只露出底盘(无车轮)、只有车轮。无车样本：场景中没有车、场景中有经过车辆(远处小车)、图片曝光。S4、分别统计该组图片中自动入库、人工判别和不处理图片的数量，并判断车辆是否入库。经过以上流程处理，该组的N张图片会分别被标记为自动入库、人工判别和不处理三个类型，其数量分别记为N1、N2和N3，按照以下顺序进行判别，最终得出决策结果。1)、若N1/N2>fT1，则该车位自动入库(其中fT1可以取值为0.4)，对该车位标记为自定入库，否则进入下步判别；2)、若N3＝N，则丢弃改组数据，该车位不做入库标记，否则将该组数据由人工进行判别；3)、由人工进行标记此车位是否为人工入库或丢弃。S5、针对有自动入库标记的车位进行车辆图片抓拍，判断是否出库。该步骤具体包括：S5.1、对该车辆图片进行车牌识别，获得车牌的位置以及车牌内容。所述车牌识别方法可以与步骤S1中车牌的识别方法相同，也可以是其他的车牌识别方法。所述车牌的位置即车牌的上、下、左、右四个位置坐标，记top1，bottom1，left1，right1四个值。S5.2、车辆出库判断，将识别到的车牌号码和车牌位置与自动入库最后的一张车牌结果和车牌位置进行比对，若同时满足以下条件，则不做任何处理，并将该张图合并到自动入库图库内，作为最后一张图，否则该车位自动出库。1)最后一张入库的车牌号码与当前车牌号码6位或者6位以上相同；2)最后一张入库的车牌位置坐标上、下、左、右记本文档来自技高网...

【技术保护点】
1.一种基于图像识别的开放式停车计费方法，包括：/nS1、对入库的车辆进行抓拍，并将采集到的N张图片分别进行车牌识别，如果识别到车牌，则进入S2，如果未识别到车牌，则进入S3；/nS2、对识别到车牌的车牌置信度进行判断，如果置信度满足预设条件，则标记该张图片为自动入库，否则标记为人工判别标记；/nS3、对图片进行有车无车判断，如果判断出图片中无车，则对该图片标记为不处理；否则对该图片标记为人工判断；/nS4、分别统计该组图片中自动入库、人工判别和不处理图片的数量，并判断车辆是否入库；/nS5、针对有自动入库标记的车位进行车辆图片抓拍，判断是否出库；/nS6、针对人工入库标记的车位进行车辆图片抓拍，判断是否出库；/nS7、计算车辆出库与入库的时间间隔，生成计费单。/n

【技术特征摘要】
1.一种基于图像识别的开放式停车计费方法，包括：
S1、对入库的车辆进行抓拍，并将采集到的N张图片分别进行车牌识别，如果识别到车牌，则进入S2，如果未识别到车牌，则进入S3；
S2、对识别到车牌的车牌置信度进行判断，如果置信度满足预设条件，则标记该张图片为自动入库，否则标记为人工判别标记；
S3、对图片进行有车无车判断，如果判断出图片中无车，则对该图片标记为不处理；否则对该图片标记为人工判断；
S4、分别统计该组图片中自动入库、人工判别和不处理图片的数量，并判断车辆是否入库；
S5、针对有自动入库标记的车位进行车辆图片抓拍，判断是否出库；
S6、针对人工入库标记的车位进行车辆图片抓拍，判断是否出库；
S7、计算车辆出库与入库的时间间隔，生成计费单。


2.根据权利要求1所述的停车计费方法，所述预设条件包括：
a)整牌置信度f>T1，其中f表示为车牌的整牌置信度，0<f<1，T1为整牌阈值可以取值为0.95；
b)车牌每位字符的置信度f(i)>T2，其中f(i)表示第i个车牌字符的置信度，0<f(i)<1，T2为字符置信度阈值可以取值为0.93。


3.根据权利要求1所述的停车计费方法，所述S4进一步包括：
统计该组的N张图片中分别被标记为自动入库、人工判别和不处理三个类型的数量，并分别记为N1、N2和N3，按照以下顺序进行判别：
1)、若N1/N2>fT1，则该车位自动入库，对该车位标记为自定入库，否则进入下步判别；
2)、若N3＝N，则丢弃改组数据，该车位不做入库标记，否则将该组数据由人工进行判别；
3)、由人工进行标记此车位是否为人工入库或丢弃。


4.根据权利要求1所述的停车计费方法，所述步骤S5进一步包括：
S5.1、对该车辆图片进行车牌识别，获得车牌的位置以及车牌内容；所述车牌的位置即车牌的上、下、左、右四个位置坐标，记top1，bottom1，left1，right1四个值。
S5.2、车辆出库判断，将识别到的车牌号码和车牌位置与自动入库最后的一张车牌结果和车牌位置进行比对，若同时满足以下条件，则不做任何处理，并将该张图合并到自动入库图库内，作为最后一张图，否则该车位自动出库；
1)最后一张入库的车牌号码与当前车牌号码6位或者6位以上相同；
2)最后一张入库的车牌位置坐标上、下、左、右记top，bottom，left，right，同时满足以下四个不等式，其中disThr为距离阈值，取值为5：
|top–top1|<disThr；
|bottom–bottom1|<disThr；
|left–left1|<disThr；
|right–right1|<disThr。


5.根据权利要求1所述的停车计费方法，所述步骤S6进一步包括：
将抓拍到的车辆图片与最近一张入库图片进行图像相似度计算，计算得到的相似度为f，若f<T1，则自动出库，若f>T2，则将该张图合并到车辆入库图库中，作为最近一张入库图片。


6.根据权利要求5所述的停车计费方法，所述图像相似度计算包括：
1)图像特征提取：分别对两幅图像，采用深度学习网络进行特征提取，提取出一个256维度的向量作为图像的特征；
2)计算两个特征之间的相似度公式如下：



其中，fcon为计算的相似度，N为特征的维度，这里取值为256，F1为图像1的提取的特征，F2为图像2提取的特征，公式将相似度归一化到[0100]区间内。


7.一种基于图像识别的开放式停车计费装置，包括：
入库图片抓拍模块，用于对车位中的车辆入库进行抓拍，并将抓拍到的图片发送至车牌识别模块进行识别；
车牌识别模块，将采集到的N张图片分别进行车牌识别，如果识别到车牌，则发送至车牌整牌置...

【专利技术属性】
技术研发人员：鲁继勇，王海峰，赖胜军，韩道猛，
申请(专利权)人：深圳智优停科技有限公司，
类型：发明
国别省市：广东;44