票据区域识别方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术涉及智能决策，揭露一种票据区域识别方法，包括：将含有多张票据的待识别图像输入训练好的票据区域识别模型，得到多个尺度模板中每个尺度模板对应的票据区域识别结果，所述票据区域识别结果包括待识别图像中每张票据对应的预测区域；基于所述预测区域确定待识别图像对应的目标尺度模板，将目标尺度模板对应的票据区域识别结果作为目标识别结果。本发明专利技术还提供一种票据区域识别装置、电子设备及可读存储介质。本发明专利技术提高了票据区域识别准确度。度。度。

【技术实现步骤摘要】
票据区域识别方法、装置、电子设备及可读存储介质


[0001]本专利技术涉及智能决策领域，尤其涉及一种票据区域识别方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着科技的进步，人工智能的应用越来越广泛，例如，在财务报销的场景中，可通过OCR识别技术对票据内容进行识别，使得票据录入效率更高、录入结果更准确，然而，对于多张票据混贴在一张报销单的情况，由于票据尺寸不一、粘贴方向不同且粘贴有重叠，从而使得OCR识别结果不准确，因此，需在OCR识别前对混贴票据进行票据区域识别，以对各张票据进行拆分。
[0003]传统的票据区域识别方法主要通过二值化，形态学处理，连通域检测，霍夫直线检测，或者是关键点检测来实现。这些方法通常只能检测图片中仅有单张票据的情况；且检测效果不稳定，针对图片有畸变，背景较复杂等情况可能检测不到或者检测出错。因此，亟需一种票据区域识别方法，以提高票据区域识别准确度。

技术实现思路

[0004]鉴于以上内容，有必要提供一种票据区域识别方法，旨在提高票据区域识别准确度。
[0005]本专利技术提供的票据区域识别方法，包括：
[0006]解析用户基于客户端发出的票据区域识别请求，获取所述请求携带的待识别图像，所述待识别图像中含有多张票据；
[0007]将所述待识别图像输入训练好的票据区域识别模型，得到多个尺度模板中每个尺度模板对应的票据区域识别结果，所述票据区域识别结果包括所述待识别图像中每张票据对应的预测区域；
[0008]基于所述预测区域确定所述待识别图像对应的目标尺度模板，将所述目标尺度模板对应的票据区域识别结果作为目标识别结果，并将所述目标识别结果反馈给所述客户端。
[0009]可选的，所述票据区域识别模型的构建过程包括：
[0010]在特征金字塔模型的自顶向下网络分支的输出处增加特征融合分支，所述特征融合分支包括上采样模块和卷积模块；
[0011]在所述特征融合分支的输出处增加分类分支，所述分类分支包括区域特征聚集模块和全连接模块。
[0012]可选的，所述票据区域识别模型的训练过程包括：
[0013]采集预设数量的携带第一标注信息的票据图像，计算所述票据图像在多个尺度模板中的每个尺度模板下的第二标注信息，得到携带第一及第二标注信息的票据图像集；
[0014]将所述票据图像集输入所述票据区域识别模型，训练所述票据区域识别模型的分
类分支，通过最小化第一损失函数确定所述票据区域识别模型的分类分支的参数，得到初级票据区域识别模型；
[0015]固定所述分类分支的参数，将所述票据图像集输入所述初级票据区域识别模型，通过最小化第二损失函数确定所述初级票据区域识别模型的自底向上网络分支、自顶向上网络分支及特征融合分支的参数，得到训练好的票据区域识别模型。
[0016]可选的，所述将所述票据图像集输入所述票据区域识别模型，训练所述票据区域识别模型的分类分支，包括：
[0017]获取所述票据区域识别模型的特征融合分支的各个通道输出的特征图，根据所述第一及第二标注信息裁剪出每张特征图中各张票据对应的区域，将所述区域作为正样本；
[0018]在所述特征图中随机裁剪不同大小的背景区域、和/或不完整票据的区域、和/或多张票据叠加的区域作为负样本；
[0019]利用所述正样本及负样本训练所述票据区域识别模型的分类分支。
[0020]可选的，所述第一损失函数的计算公式为：
[0021][0022]其中，H为第一损失函数，p
ij
为票据图像集中第i个样本中的第j个票据区域是票据的真实概率，q
ij
为票据图像集中第i个样本中的第j个票据预测区域是票据的预测概率，e为票据图像集中样本的总数量，F
i
为票据图像集中第i个样本中票据区域的总数量，i、j、e皆为正整数；
[0023]所述第二损失函数的计算公式为：
[0024][0025][0026]其中，I为第二损失函数，A
ij
为票据样本集中第i个样本中的第j个票据的真实区域，B
ij
为票据样本集中第i个样本中的第j个票据的预测区域，q
ij
为票据样本集中第i个样本中的第j个票据预测区域是票据的预测概率，c为常数，I
ij
为票据样本集中第i个样本中的第j个票据的损失值，e为票据图像集中样本的总数量，F
i
为票据图像集中第i个样本中票据区域的总数量，i、j、e皆为正整数。
[0027]可选的，所述基于所述预测区域确定所述待识别图像对应的目标尺度模板，包括：
[0028]依照尺度模板从小到大的顺序依次判断每个尺度模板对应的票据区域识别结果中各张票据的预测区域是否有重叠；
[0029]当判断某一指定尺度模板中票据的预测区域有重叠时，将所述指定尺度模板的前一个尺度模板作为所述待识别图像对应的目标尺度模板。
[0030]可选的，在依照尺度模板从小到大的顺序依次判断每个尺度模板对应的票据区域识别结果中各张票据的预测区域是否有重叠之后，所述方法还包括：
[0031]若每个尺度模板对应的票据区域识别结果中各张票据的预测区域都有重叠，则将最小尺度模板作为所述待识别图像对应的目标尺度模板；
[0032]若每个尺度模板对应的票据区域识别结果中各张票据的预测区域都没有重叠，则将最大尺度模板作为所述待识别图像对应的目标尺度模板。
[0033]为了解决上述问题，本专利技术还提供一种票据区域识别装置，所述装置包括：
[0034]解析模块，用于解析用户基于客户端发出的票据区域识别请求，获取所述请求携带的待识别图像，所述待识别图像中含有多张票据；
[0035]识别模块，用于将所述待识别图像输入训练好的票据区域识别模型，得到多个尺度模板中每个尺度模板对应的票据区域识别结果，所述票据区域识别结果包括所述待识别图像中每张票据对应的预测区域；
[0036]确定模块，用于基于所述预测区域确定所述待识别图像对应的目标尺度模板，将所述目标尺度模板对应的票据区域识别结果作为目标识别结果，并将所述目标识别结果反馈给所述客户端。
[0037]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0038]至少一个处理器；以及，
[0039]与所述至少一个处理器通信连接的存储器；其中，
[0040]所述存储器存储有可被所述至少一个处理器执行的票据区域识别程序，所述票据区域识别程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述票据区域识别方法。
[0041]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有票据区域识别程序，所述票据区域识别程序可被一个或者多个处理器执行，以实现上述票票据区域识别方法。
[0042]相较现有技术，本专利技术首先解析用户基于客户端发出的票据区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种票据区域识别方法，其特征在于，所述方法包括：解析用户基于客户端发出的票据区域识别请求，获取所述请求携带的待识别图像，所述待识别图像中含有多张票据；将所述待识别图像输入训练好的票据区域识别模型，得到多个尺度模板中每个尺度模板对应的票据区域识别结果，所述票据区域识别结果包括所述待识别图像中每张票据对应的预测区域；基于所述预测区域确定所述待识别图像对应的目标尺度模板，将所述目标尺度模板对应的票据区域识别结果作为目标识别结果，并将所述目标识别结果反馈给所述客户端。2.如权利要求1所述的票据区域识别方法，其特征在于，所述票据区域识别模型的构建过程包括：在特征金字塔模型的自顶向下网络分支的输出处增加特征融合分支，所述特征融合分支包括上采样模块和卷积模块；在所述特征融合分支的输出处增加分类分支，所述分类分支包括区域特征聚集模块和全连接模块。3.如权利要求2所述的票据区域识别方法，其特征在于，所述票据区域识别模型的训练过程包括：采集预设数量的携带第一标注信息的票据图像，计算所述票据图像在多个尺度模板中的每个尺度模板下的第二标注信息，得到携带第一及第二标注信息的票据图像集；将所述票据图像集输入所述票据区域识别模型，训练所述票据区域识别模型的分类分支，通过最小化第一损失函数确定所述票据区域识别模型的分类分支的参数，得到初级票据区域识别模型；固定所述分类分支的参数，将所述票据图像集输入所述初级票据区域识别模型，通过最小化第二损失函数确定所述初级票据区域识别模型的自底向上网络分支、自顶向上网络分支及特征融合分支的参数，得到训练好的票据区域识别模型。4.如权利要求3所述的票据区域识别方法，其特征在于，所述将所述票据图像集输入所述票据区域识别模型，训练所述票据区域识别模型的分类分支，包括：获取所述票据区域识别模型的特征融合分支的各个通道输出的特征图，根据所述第一及第二标注信息裁剪出每张特征图中各张票据对应的区域，将所述区域作为正样本；在所述特征图中随机裁剪不同大小的背景区域、和/或不完整票据的区域、和/或多张票据叠加的区域作为负样本；利用所述正样本及负样本训练所述票据区域识别模型的分类分支。5.如权利要求3所述的票据区域识别方法，其特征在于，所述第一损失函数的计算公式为：其中，H为第一损失函数，p
ij
为票据图像集中第i个样本中的第j个票据区域是票据的真实概率，q
ij
为票据图像集中第i个样本中的第j个票据预测区域是票据的预测概率，e为票据图像集中样本的总数量，F
i
为票据图像集中第i个样本中票据区域的总数量，i、j、e皆为正
整数；所述第二损失函数的计算公式为：所述第二损失函数的计算公...

【专利技术属性】
技术研发人员：张颖，蒋栋，刘屹，沈志勇，高宏，
申请(专利权)人：招商局金融科技有限公司，
类型：发明
国别省市：