本发明专利技术公开了一种单证抓拍方法、设备及计算机存储介质。该方法包括:通过单证分类模型提取视频流中的第一单证图像集合;通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别,获取符合图像变换要求的第二单证图像集合;其中,所述单证识别模型为采用人工智能的卷积神经网络模型,所述单证识别模型的全连接层包含与第一单证图像中的单证区域对应的位置信息参数和位置信息置信度参数;对所述第二单证图像集合中的每一幅图像进行图像变换,得到符合信息提取要求的第三单证图像集合。该方法解决了单证录入困难的问题,提高用户单证录入的操作体验。
【技术实现步骤摘要】
单证抓拍方法、设备及计算机存储介质
本专利技术涉及智能抓拍
,尤其涉及一种单证抓拍方法。
技术介绍
当前的单证文字识别OCR(OpticalCharacterRecognition,光学字符识别)功能通过用户拍摄上传单证照片到云端服务器进行处理,但是用户所上传的单证存在不符合拍摄要求的问题,例如:拍摄不全、过远距离拍摄、拍摄图像反光严重或者拍摄环境光线过暗等等。以上问题常常会导致文字识别失败,或者单证录入错误。对于这种问题,业界通常的做法是根据文字识别的置信度阈值进行推断单证识别结果的可靠性,对于识别结果置信度过低的单证拒绝返回结果。但是由于单证上传云端和云端处理时间较长,并且没有办法指导用户按照标准的拍摄规则进行拍摄,所以会导致用户重复上传不符合拍摄要求的情况,导致用户体验下降。
技术实现思路
有鉴于此,提供一种单证抓拍方法,解决单证录入困难的问题。本申请实施例提供了一种单证抓拍方法,其特征在于,所述方法包括:通过单证分类模型提取视频流中的第一单证图像集合;通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别,获取符合图像变换要求的第二单证图像集合;其中,所述单证识别模型为采用卷积神经网络模型,所述单证识别模型的全连接层包含与第一单证图像中的单证区域对应的位置信息参数和位置信息置信度参数;对所述第二单证图像集合中的每一幅图像进行图像变换,得到符合信息提取要求的第三单证图像集合。在一实施例中,所述通过单证分类模型提取视频流中的第一单证图像集合包括:截取视频通话过程中的视频流;从所述视频流中以预设周期或者预设帧数间隔来采集视频帧;当所述视频帧被单证分类模型识别为单证图像时,将所述视频帧加入第一单证图像集合。在一实施例中,当所述视频帧被单证分类模型识别为单证图像时,加快采集频率和/或增加抓拍分辨率。在一实施例中,所述通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别,获取符合图像变换要求的第二单证图像集合,包括:获取由单证分类模型确定的单证区域对应的位置信息以及位置信息置信度;当位置信息置信度参数大于预设的置信度阈值时,将第一单证图像的像素特征与所述位置信息以及位置信息置信度一起输入所述单证识别模型并输出为第二单证图像。在一实施例中,还包括:根据所应用的目标设备的硬件配置训练得到不同的所述单证识别模型,包括:使用不同的训练集和卷积网络结构设置,获得对应体型和精度的单证识别模型;所述对应体型和精度的单证识别模型用以适配相应硬件条件的移动终端。在一实施例中,所述卷积神经网络模型的输入层被配置为接收的输入特征包括所述第一单证图像的像素特征与所述位置信息以及位置信息置信度;所述卷积神经网络模型的卷积层被配置为使用分阶段卷积方法;所述卷积神经网络模型的全连接层被配置为将各阶段计算所得输出结果进行拼接。在一实施例中,所述分阶段卷积包括:对输入的第一单证图像所有通道进行第一部分的卷积计算;对输入的第一单证图像每个通道进行第二部分的卷积计算;其中第一部分的卷积计算方法和第二部分的卷积计算方法不同。在一实施例中,所述图像变换包括:调用仿射变换方法执行图像变换操作。为实现上述目的,还提供一种计算机可读存储介质,其特征在于,其上存储有单证抓拍程序,其特征在于,该单证抓拍程序被处理器执行时实现上述任一所述的方法。为实现上述目的,还提供一种设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的单证抓拍程序,所述处理器执行所述单证抓拍程序时实现上述任一所述的方法。本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:通过单证分类模型提取视频流中的第一单证图像集合;通过单证分类模型将对应场景下所需的单证分类视频帧进行提取加入第一单证图像集合,是进行单证识别的基础。通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别,获取符合图像变换要求的第二单证图像集合;其中,所述单证识别模型为采用卷积神经网络模型,所述单证识别模型的全连接层包含与第一单证图像中的单证区域对应的位置信息参数和位置信息置信度参数;对单证识别模型中的卷积神经网络进行优化后,可以在计算资源和电量有限的移动端部署,可以使该技术方案更好的落地实施。对所述第二单证图像集合中的每一幅图像进行图像变换,得到符合信息提取要求的第三单证图像集合。解决单证录入困难的问题。达到了低时耗和低能耗的单证智能抓拍,同时提高用户单证录入的操作体验。附图说明图1为本申请单证抓拍方法的第一实施例的流程示意图;图2为本申请单证抓拍方法第二实施例对第一实施例中步骤S110细化的流程示意图;图3为本申请单证抓拍方法的第三实施例对第一实施例中步骤S120细化的流程示意图;图4为本申请实施例中涉及的单证抓拍方法的硬件架构示意图;图5为本申请单证抓拍方法的流程图;图6为本申请实施例中涉及的分阶段卷积的结构示意图具体实施方式应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。本专利技术实施例的主要解决方案是:通过单证分类模型提取视频流中的第一单证图像集合;通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别,获取符合图像变换要求的第二单证图像集合;其中,所述单证识别模型为采用卷积神经网络模型,所述单证识别模型的全连接层包含与第一单证图像中的单证区域对应的位置信息参数和位置信息置信度参数;对所述第二单证图像集合中的每一幅图像进行图像变换,得到符合信息提取要求的第三单证图像集合。解决单证录入困难的问题。达到了低时耗和低能耗的单证智能抓拍,同时提高用户单证录入的操作体验,且优化后的单证识别模型可以在计算资源和电量有限的移动端部署。为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。本申请涉及一种设备040,该设备040包括如图4所示:至少一个处理器042、存储器041。处理器042可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器042中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器042可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本专利技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器041,处理器042读取存储器041中的信息,结合其硬件完成上述方法的步骤。可以理解,本专利技术实施例中的存储器041可以是易失性存储器或非易失性存本文档来自技高网...
【技术保护点】
1.一种单证抓拍方法,其特征在于,所述方法包括:/n通过单证分类模型提取视频流中的第一单证图像集合;/n通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别,获取符合图像变换要求的第二单证图像集合;其中,所述单证识别模型为采用卷积神经网络模型,所述单证识别模型的全连接层包含与第一单证图像中的单证区域对应的位置信息参数和位置信息置信度参数;/n对所述第二单证图像集合中的每一幅图像进行图像变换,得到符合信息提取要求的第三单证图像集合。/n
【技术特征摘要】
1.一种单证抓拍方法,其特征在于,所述方法包括:
通过单证分类模型提取视频流中的第一单证图像集合;
通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别,获取符合图像变换要求的第二单证图像集合;其中,所述单证识别模型为采用卷积神经网络模型,所述单证识别模型的全连接层包含与第一单证图像中的单证区域对应的位置信息参数和位置信息置信度参数;
对所述第二单证图像集合中的每一幅图像进行图像变换,得到符合信息提取要求的第三单证图像集合。
2.如权利要求1所述的单证抓拍方法,其特征在于,所述通过单证分类模型提取视频流中的第一单证图像集合包括:
截取视频通话过程中的视频流;
从所述视频流中以预设周期或者预设帧数间隔来采集视频帧;
当所述视频帧被单证分类模型识别为单证图像时,将所述视频帧加入第一单证图像集合。
3.如权利要求2所述的单证抓拍方法,其特征在于,当所述视频帧被单证分类模型识别为单证图像时,加快采集频率和/或增加抓拍分辨率。
4.如权利要求1所述的单证抓拍方法,其特征在于,所述通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别,获取符合图像变换要求的第二单证图像集合,包括:
获取由单证分类模型确定的单证区域对应的位置信息以及位置信息置信度;
当位置信息置信度参数大于预设的置信度阈值时,将第一单证图像的像素特征与所述位置信息以及位置信息置信度一起输入所述单证识别模型并输出为第二单证图像。
...
【专利技术属性】
技术研发人员:杨若愚,
申请(专利权)人:中国平安财产保险股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。