基于深度学习和传统算法的证件版面分析方法技术

本发明专利技术公开了一种基于深度学习和传统算法的证件版面分析方法，包括以下步骤：对采集到的图像进行证件检测，获得带倾斜角度的证件区域和相片区域；将带倾斜角度的证件区域裁剪出来，对证件区域进行摆正，摆正的结果分为正置的证件区域和倒置的证件区域；对文本行进行语义分割，获得证件上所有的文本行坐标信息；对检测到的文本行结果，比对字符识别结果，确认证件类型和证件倒正的信息；进行证件区域的透视变换，实现证件的对齐；在对齐后的待匹配图片上，抠取出预设需要识别的区域，与所有文本行结果进行面积的交并比计算，获取结构化的文本行结果；对结构化的文本行结果，使用深度学习算法

【技术实现步骤摘要】
基于深度学习和传统算法的证件版面分析方法


[0001]本专利技术涉及证件识别
，尤其涉及一种基于深度学习和传统算法的证件版面分析方法
。

技术介绍

[0002]现有的证件版面分析方法大多为基于深度学习的文本检测和文本识别方法，采集证件图像后通过模板匹配截取识别区域进行文字识别，但上述方案常常由于使用场景的限制，如，拍摄光源不足，成像质量较差，影响识别结果，从而导致结构化输出的识别信息无法被识别，证件查验失败，又如，当拍摄图像产生畸变时，采用基于深度学习的版面分析算法，证件核验的良率较低，再如，当应用于驾驶证
、
行驶证等现场印刷制成的证件时，由于印刷文字容易越界，现有的证件版面分析方法对此类证件的识别效率不高，不能实现现场车辆的快速放行
。

技术实现思路

[0003]本专利技术的一个目的在于提供一种基于深度学习和传统算法的证件版面分析方法，通过深度学习和传统算法，对证件进行版面分析，准确识别字符区域，结构化输出更精确，在证件拍摄不够清晰，存在畸变的情况下，仍可以准确地结构化输出识别结果，准确率提升还有利于提升驾驶人员的通行速度
。
[0004]本专利技术的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现
。
[0005]依本专利技术的一个方面，能够实现前述目的和其他目的和优势的本专利技术的一种基于深度学习和传统算法的证件版面分析方法，包括以下步骤：步骤（
A
）：对采集到的图像进行证件检测，获得带倾斜角度的证件区域和相片区域；步骤（
B
）：将带倾斜角度的证件区域裁剪出来，对证件区域进行摆正，摆正的结果分为正置的证件区域和倒置的证件区域；步骤（
C
）：对文本行进行语义分割，获得证件上所有的文本行坐标信息；步骤（
D
）：对检测到的文本行结果，比对字符识别结果，确认证件类型和证件倒正的信息；步骤（
E
）：进行证件区域的透视变换，实现证件的对齐；步骤（
F
）：在对齐后的待匹配图片上，抠取出预设需要识别的区域，与所有文本行结果进行面积的交并比计算，获取结构化的文本行结果；步骤（
G
）：对结构化的文本行结果，使用深度学习算法
crnn
进行字符识别，结构化输出全页识别结果
。
[0006]根据本专利技术的一个实施例，所述步骤（
B
）包括子步骤（
B1
）：对被摆正后的证件区域进行直线检测，通过直线的角度调整，实现证件区域角度的微调整
。
[0007]根据本专利技术的一个实施例，所述步骤（
B
）包括子步骤（
B2
）：使用证件检测获得的证件区域的四个角点，摆正证件区域，然后采用仿射变换算法摆正证件区域
。
[0008]根据本专利技术的一个实施例，所述步骤（
B
）还包括子步骤（
B3
）：使用
sauvola
二值化方法，得到文字区域，使用腐蚀和膨胀算法，移除二值图像中面积小的噪声像素和填充图像中字符的细小空洞使得字符更加完整，使用霍夫直线检测，获得所有直线检测结果
。
[0009]根据本专利技术的一个实施例，所述步骤（
C
）包括子步骤：在训练时采用语义分割的算法网络结构，在推理时去掉分割分支，检测文本行的结果是否满足本方案的预设条件
。
[0010]根据本专利技术的一个实施例，所述步骤（
D
）包括子步骤（
D1
）：按照文本行外接框从宽到窄排序，取前
n
个文本行结果，使用字符识别算法，对排序在
top n
的文本行进行字符识别，
n
为预设数值
。
[0011]根据本专利技术的一个实施例，所述步骤（
D
）包括子步骤（
D2
）：比对字符识别结果时，如果字符识别结果没有匹配到想要的结果，则结合文本行的纵轴坐标，将文本行区域进行
180
度的翻转再次识别一次，再与目标字段进行匹配，验证证件类型
。
[0012]根据本专利技术的一个实施例，所述步骤（
E
）包括子步骤（
E1
）：对所述步骤（
D
）中的排序结果获得前
n
个最窄的文本行区域，送入字符识别模型进行字符识别，获得关键区域，关键区域的坐标点与模板库中的坐标对应，进行证件区域的透视变换
。
[0013]根据本专利技术的一个实施例，所述步骤（
E
）包括子步骤（
E2
）：对文本行识别结果进行文本区域的宽排序，获得前
n
个最窄的文本行区域，提取覆盖这些区域最大的四边形的坐标，与已知模板库中的坐标对应，进行透视变换，将待匹配图片进行拉伸，与模板库中的图片进行对齐，在这个过程中设置一个限制条件，如果最大四边形的坐标没有达到整个证件区域的一半，则放弃透视变换，直接进入下一个步骤
。
[0014]根据本专利技术的一个实施例，所述步骤（
F
）包括子步骤：使用待识别区域坐标与文本行的坐标区域进行面积交并比的计算，设定阈值，满足阈值，则确认该文本行为待识别区域的文字内容，反之，则该待识别区域内没有需要识别的文字内容
。
[0015]本专利技术的有益效果是：在基于深度学习的优势上，融合传统算法，对证件进行版面分析，准确识别字符区域，结构化输出更精确，在证件拍摄不够清晰，存在畸变的情况下，仍可以准确地结构化输出识别结果，可通过数据库中的证件信息进行比对，排查伪证
、
过期证件，尤其是用于驾驶证和行驶证此类现场印刷的证件时，准确率提升还有利于提升驾驶人员的通行速度
。
附图说明
[0016]图1为本专利技术的一个实施例的基于深度学习和传统算法的证件版面分析方法的步骤流程图
。
[0017]图2为本专利技术的上述实施例的基于深度学习和传统算法的证件版面分析方法的算法步骤流程图
。
[0018]图3为本专利技术的上述实施例的基于深度学习和传统算法的证件版面分析方法的倾斜角度示意图
。
[0019]图4为本专利技术的上述实施例的基于深度学习和传统算法的证件版面分析方法的详细步骤流程图
。
[0020]图5为本专利技术的上述实施例的基于深度学习和传统算法的证件版面分析方法的算法框架图
。
[0021]图6为本专利技术的上述实施例的基于深度学习和传统算法的证件版面分析方法的算法框架图
。
[0022]图7为本专利技术的上述实施例的基于深度学习和传统算法的证件版面分析方法的详细步骤流程图
。
[0023]图8为本专利技术的上述实施例的基于深度学习和传统算法的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习和传统算法的证件版面分析方法，其特征在于，包括以下步骤：步骤（
A
）：对采集到的图像进行证件检测，获得带倾斜角度的证件区域和相片区域；步骤（
B
）：将带倾斜角度的证件区域裁剪出来，对证件区域进行摆正，摆正的结果分为正置的证件区域和倒置的证件区域；步骤（
C
）：对文本行进行语义分割，获得证件上所有的文本行坐标信息；步骤（
D
）：对检测到的文本行结果，比对字符识别结果，确认证件类型和证件倒正的信息；步骤（
E
）：进行证件区域的透视变换，实现证件的对齐；步骤（
F
）：在对齐后的待匹配图片上，抠取出预设需要识别的区域，与所有文本行结果进行面积的交并比计算，获取结构化的文本行结果；步骤（
G
）：对结构化的文本行结果，使用深度学习算法
crnn
进行字符识别，结构化输出全页识别结果
。2.
根据权利要求1所述的证件版面分析方法，其特征在于，所述步骤（
B
）包括子步骤（
B1
）：对被摆正后的证件区域进行直线检测，通过直线的角度调整，实现证件区域角度的微调整
。3.
根据权利要求2所述的证件版面分析方法，其特征在于，所述步骤（
B
）包括子步骤（
B2
）：使用证件检测获得的证件区域的四个角点，摆正证件区域，然后采用仿射变换算法摆正证件区域
。4.
根据权利要求3所述的证件版面分析方法，其特征在于，所述步骤（
B
）还包括子步骤（
B3
）：使用
sauvola
二值化方法，得到文字区域，使用腐蚀和膨胀算法，移除二值图像中面积小的噪声像素和填充图像中字符的细小空洞使得字符更加完整，使用霍夫直线检测，获得所有直线检测结果
。5.
根据权利要求4所述的证件版面分析方法，其特征在于，所述步骤（
C
）包括子步骤：在训练时采用语义分割的算法网络结构，在推理时去掉分割分支，检测文...

【专利技术属性】
技术研发人员：付雪平，夏炉系，苗应亮，张浒，胡刚，
申请(专利权)人：盛视科技股份有限公司，
类型：发明
国别省市：