本发明专利技术公开了翻阅护照信息提取方法及装置，通过构建基于深度网络的页面实例分割模型；使用所述页面实例分割模型对目标图像帧中的页面实例进行分割识别，识别目标图像帧中的页面实例个数；判断所述目标图像帧中的页面实例个数是否小于预设的区分阈值，若小于与预设的区分阈值，则判断所述目标图像帧为平展页面图像，从而准确识别出护照页面的平铺图像与非平铺图像，以解决翻阅图像配合视频拍摄提取护照信息的方式无法实际应用的技术问题，提高人证查验效率。证查验效率。证查验效率。
【技术实现步骤摘要】
翻阅护照信息提取方法及装置
[0001]本专利技术涉及图像识别领域，尤其涉及翻阅护照信息提取方法及装置。
技术介绍
[0002]出入境边检人证查验中，工作人员需要对本式旅行证件进行快速翻阅并定位资料页、签证页等含有有效信息的页面，以便于在规定时间内完成查验、鉴别和盖验讫章的工作。客流量大的情况下，工作人员需保持精力高度集中，容易产生疲劳并降低判别能力，影响查验工作效率。采用翻阅配合视频拍摄和提示，可以辅助工作人员对护照信息进行识别和提取，但是翻阅护照的视频图像中存在许多页面未展平的图片，现有技术无法识别护照页面是否展平，导致翻阅视频不利于后续的信息提取工作。
[0003]因此，现有技术无法识别护照页面是否展平，导致翻阅配合视频拍摄提取护照信息的方式无法实际应用已成为本领域技术人员亟待解决的技术问题。
技术实现思路
[0004]本专利技术提供了翻阅护照信息提取方法、翻阅护照信息提取方法及系统，用于解决现有技术无法识别护照页面是否展平，导致翻阅图像配合视频拍摄提取护照信息的方式无法实际应用的技术问题。
[0005]为解决上述技术问题，本专利技术提出的技术方案为：
[0006]一种翻阅护照信息提取方法，包括以下步骤：
[0007]构建基于深度网络的页面实例分割模型；
[0008]使用所述页面实例分割模型对目标图像帧中的页面实例进行分割识别，识别目标图像帧中的页面实例个数；判断所述目标图像帧中的页面实例个数是否小于预设的区分阈值，若小于与预设的区分阈值，则判断所述目标图像帧为平展页面图像，并从所述平展页面图像中提取护照信息。
[0009]优选的，从所述平展页面图像中提取护照信息，包括以下步骤：
[0010]将所述平展页面图像输入至护照信息分类模型中，识别所述平展页面图像中的护照信息类别，根据所述护照信息的类别采用对应类别的信息提取方式提取信息。
[0011]优选的，所述护照信息分类模型的识别类别包括印章页、资料页；根据所述护照信息的类别采用对应类别的信息提取方式提取信息，具体为：
[0012]对于类别为印章页的平展页面图像进行印章检测，定位出印章的位置，取出印章切片，传入印章国家识别模型和印章OCR识别模型中提取印章的国家信息和印章日期信息；
[0013]对于类别为资料页的图片，进行文字检测，定位出文字的位置之后，剪裁切片，传入文字识别模型中解析文字信息，从而完成资料页的版面分析。
[0014]优选的，在从所述平展页面图像中提取护照信息前，还包括以下去重步骤：
[0015]对于视频中任意两张属于连续帧的平展页面图像，均执行以下步骤：
[0016]提取两者的图像特征，并计算二者的相似度，判断二者的相似度是否大于预设阈
值，若二者的相似度大于预设阈值，则判断二者为重合图像，剔除二者中的任一张。
[0017]优选的，在从所述平展页面图像中提取护照信息前，还包括以下步骤：
[0018]对去重后的平展页面图像进行对比度拉升，再采用保持梯度的滤波操作，将对比度拉升后的平展页面图像作为原图，经过USM锐化后的平展页面图像作为引导图，进行导向滤波去噪。
[0019]一种翻阅护照信息提取装置，包括：
[0020]页面实例分割模型：用于对目标图像帧中的页面实例进行分割识别，识别目标图像帧中的页面实例个数；
[0021]判断模块，用于判断所述目标图像帧中的页面实例个数是否小于预设的区分阈值，若小于与预设的区分阈值，则判断所述目标图像帧为平展页面图像，
[0022]护照信息提取模块，用于从所述平展页面图像中提取护照信息。
[0023]优选的，所述页面实例分割模型包括：特征提取模块、特征融合模块、掩码原型预测模块、掩码系数预测模块、掩码生成模块，边界框预测模块、分类预测模块以及非极大值抑制模块；
[0024]所述特征提取模块用于提取目标图像帧中的多种不同层次的特征图；
[0025]所述特征融合模块通过卷积层和上采样层分别对多种不同层次的特征图进行特征融合，得到多张特征融合图，并将所述多种特征图中尺寸最小的特征图进行多次下采样，并在每次下采样时获得一张特征融合图；
[0026]所述掩码原型预测模块用于预测所述尺寸最大的特征融合图的掩码原型；
[0027]所述掩码系数预测模块用于预测每个特征融合图生成的bounding box的掩码系数；
[0028]所述掩码生成模块根据所述掩码原型和掩码系数生成特征融合图中bounding box的掩码；
[0029]所述边界框预测模块用于预测每个特征融合图中bounding box的预测信息；
[0030]所述分类预测模块用于预测每个特征融合图中bounding box的类别预测信息；
[0031]所述非极大值抑制模块用于对每个特征融合图中bounding box进行抑制过滤后，输出最终的类别预测信息。
[0032]优选的，所述特征提取模块由ResNet50网络构成，ResNet50分为5个stage，特征图步长依次为[2,4,8,16,32]，其中，第一个stage对输入进行预处理，第二个Stage包含3个Bottleneck，剩下的3个stage分别包括4、6、3个Bottleneck。
[0033]优选的，所述掩码原型预测模块由3个3*3卷积层、上采样层、1个3*3卷积层、1个 1*1卷积层构成；所述掩码系数预测模块由3*3的卷积层构成，并采用Tanh激活函数激活；
[0034]优选的，所述掩码生成模块用于将所述掩码原型与所述掩码系数进行矩阵相乘运算，再经过sigmoid激活运算，得到所述特征融合图中bounding box的掩码。
[0035]本专利技术具有以下有益效果：
[0036]本专利技术中的翻阅护照信息提取方法及装置，通过构建基于深度网络的页面实例分割模型；使用所述页面实例分割模型对目标图像帧中的页面实例进行分割识别，识别目标图像帧中的页面实例个数；判断所述目标图像帧中的页面实例个数是否小于预设的区分阈值，若小于与预设的区分阈值，则判断所述目标图像帧为平展页面图像，从而准确识别出护
照页面的平铺图像与非平铺图像，以解决翻阅配合视频拍摄提取护照信息的方式无法实际应用的技术问题，提高人证查验效率。
[0037]除了上面所描述的目的、特征和优点之外，本专利技术还有其它的目的、特征和优点。下面将参照附图，对本专利技术作进一步详细的说明。
附图说明
[0038]构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0039]图1为本专利技术实施例提供的翻阅护照信息提取方法的流程图；
[0040]图2为本专利技术实施例提供的实例分割模型的结构简图；
[0041]图3是本专利技术实施例提供的特征融合模块网络结构图；
[0042]图4是本专利技术实施例提供的掩码本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种翻阅护照信息提取方法，其特征在于，包括以下步骤：构建基于深度网络的页面实例分割模型；使用所述页面实例分割模型对目标图像帧中的页面实例进行分割识别，识别目标图像帧中的页面实例个数；判断所述目标图像帧中的页面实例个数是否小于预设的区分阈值，若小于与预设的区分阈值，则判断所述目标图像帧为平展页面图像，并从所述平展页面图像中提取护照信息。2.根据权利要求1所述的翻阅护照信息提取方法，其特征在于，从所述平展页面图像中提取护照信息，包括以下步骤：将所述平展页面图像输入至护照信息分类模型中，识别所述平展页面图像中的护照信息类别，根据所述护照信息的类别采用对应类别的信息提取方式提取信息。3.根据权利要求2所述的翻阅护照信息提取方法，其特征在于，所述护照信息分类模型的识别类别包括印章页、资料页；根据所述护照信息的类别采用对应类别的信息提取方式提取信息，具体为：对于类别为印章页的平展页面图像进行印章检测，定位出印章的位置，取出印章切片，传入印章国家识别模型和印章OCR识别模型中提取印章的国家信息和印章日期信息；对于类别为资料页的图片，进行文字检测，定位出文字的位置之后，剪裁切片，传入文字识别模型中解析文字信息，从而完成资料页的版面分析。4.根据权利要求3所述的翻阅护照信息提取方法，其特征在于，在从所述平展页面图像中提取护照信息前，还包括以下去重步骤：对于视频中任意两张属于连续帧的平展页面图像，均执行以下步骤：提取两者的图像特征，并计算二者的相似度，判断二者的相似度是否大于预设阈值，若二者的相似度大于预设阈值，则判断二者为重合图像，剔除二者中的任一张。5.根据权利要求4所述的翻阅护照信息提取方法，其特征在于，在从所述平展页面图像中提取护照信息前，还包括以下步骤：对去重后的平展页面图像进行对比度拉升，再采用保持梯度的滤波操作，将对比度拉升后的平展页面图像作为原图，经过USM锐化后的平展页面图像作为引导图，进行导向滤波去噪。6.一种翻阅护照信息提取装置，其特征在于，包括：页面实例分割模型：用于对目标图像帧中的页面实例进行分割识别，识别目标图像帧中的页面实例个数；判断模块，用于判断所述目标图像帧中的页面实例个数是否小于预设的区分阈值，若小于...
【专利技术属性】
技术研发人员：张裕平，
申请(专利权)人：深圳市雄帝科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。