模型训练方法、字符识别方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种模型训练方法、字符识别方法、装置、设备及存储介质，通过至少部分网络层输出的特征图的辨识度越高时，迁移网络层输出的特征图越趋近于上述至少部分网络层输出的特征图，使得目标字符识别模型能够学习初始字符识别模型中好的特征提取行为，而对于初始字符识别模型中不好的特征提取行为，则进行更新迭代，结合训练目标字符识别模型的样本是从大数据集中挑选出来的字符出现频率相对均匀的样本，使得目标字符识别模型朝各个样本方向收敛，而不是朝高频字方向收敛，克服了现有技术容易将偏僻字识别成常见字的问题。

【技术实现步骤摘要】
模型训练方法、字符识别方法、装置、设备及存储介质
本申请涉及信息处理
，更具体地说，涉及一种模型训练方法、字符识别方法、装置、设备及存储介质。
技术介绍
光学字符识别(OpticalCharacterRecognition，简称OCR)是计算机视觉的子方向，目标是从图像数据中识别出文字，并保存为计算机文本数据。目前，较常用的字符识别方法是利用神经网络模型进行字符识别，然而，目前的神经网络模型在进行字符识别时易出现将偏僻字被识别成常见字的情况。
技术实现思路
有鉴于此，本申请提供了一种模型训练方法、字符识别方法、装置、设备及存储介质，以克服现有技术容易将偏僻字识别成常见字的问题。为了实现上述目的，现提出的方案如下：一种字符识别模型训练方法，包括：利用目标字符识别模型对目标图像样本进行处理，得到所述目标图像样本对应的第一字符识别结果；所述目标字符识别模型至少包括由初始字符识别模型的部分或全部网络层组成的迁移网络层，所述初始字符识别模型通过初始图像样本集训练得到，所述目标图像样本为所述初始图像样本集中字符出现频率满足预设均匀分布条件的图像样本；根据由第一目标和第二目标构成的训练目标对所述目标字符识别模型的参数进行更新；其中，所述第一目标为所述第一字符识别结果趋近于所述目标图像样本对应的字符标签，所述第二目标为所述部分或全部网络层在所述初始字符识别模型处理所述目标图像样本时输出的特征图对所述初始字符识别模型输出的第二字符识别结果的影响越大，所述迁移网络层输出的特征图越趋近于所述部分或全部网络层输出的特征图。上述方法，优选的，所述根据由第一目标和第二目标构成的训练目标对所述目标字符识别模型的参数进行更新，包括：根据所述目标字符识别模型的正则化损失函数，对所述目标字符识别模型的参数进行更新，以实现所述第一目标和所述第二目标；其中，所述正则化损失函数的误差部分为所述第一字符识别结果与所述目标图像样本对应的字符标签的差异，所述正则化损失函数的正则化部分至少包括由所述迁移网络层与所述部分或全部网络层中的对应特征图的差异的加权和构成的第一正则项；其中，每一个差异的权重表征所述部分或全部网络层输出的与所述目标图像样本对应的特征图对所述第二字符识别结果的影响程度。上述方法，优选的，所述第一正则项通过如下方式获得：对应所述迁移网络层中的至少部分迁移网络层中的每一个特征提取模块，计算该特征提取模块基于所述目标图像样本输出的特征图与目标网络层中与该特征提取模块对应的目标特征提取模块基于所述目标图像样本输出的特征图之间的距离；其中，所述目标网络层为所述初始字符识别模型中与所述至少部分迁移网络层对应的网络层；计算该特征提取模块基于所述目标图像样本输出的特征图与所述目标特征提取模块基于所述目标图像样本输出的特征图的距离的权重；利用各个距离的权重，将所述至少部分迁移网络层中的各个特征提取模块基于所述目标图像样本输出的特征图对应的距离加权求和，得到与所述目标图像样本对应的第一正则项。上述方法，优选的，所述计算该特征提取模块输出的特征图与所述目标特征提取模块输出的特征图的距离的权重，包括：获取所述第二字符识别结果与所述目标图像样本对应的字符标签的第一差异；获取所述目标特征提取模块的参数的取值为目标取值时，所述初始字符识别模型对所述目标图像样本进行处理得到的字符识别结果与所述目标图像样本对应的字符标签的第二差异；所述目标取值使得所述第二差异大于所述第一差异；对所述第一差异和所述第二差异的差值进行标准化处理，得到该特征提取模块输出的特征图与所述目标特征提取模块输出的特征图的距离的权重。上述方法，优选的，所述目标字符识别模型由所述迁移网络层和新增网络层构成；其中，所述新增网络层的参数随机初始化；所述正则化损失函数的正则化部分还包括：由所述新增网络层的参数构成的，用于对所述新增网络层的参数进行正则化的第二正则项。上述方法，优选的，所述目标图像样本为具有一排字符的条状图像；所述利用目标字符识别模型对目标图像样本进行处理，得到所述目标图像样本对应的第一字符识别结果，包括：利用所述目标字符识别模型对所述条状图像进行特征提取，得到大小为H/b×W/a的特征图；所述H为所述条状图像沿字符排列方向的长度，所述W为所述条状图像垂直于所述字符排列方向的长度，所述a和b均为大于1的正整数，且W/a>1；利用所述目标字符识别模型将所述大小为H/a×W/a的特征图中的各个(W/a)*(W/a)大小的像素块变形为像素沿所述字符排列方向排列的像素块，得到变形后的特征图；根据变形后的特征图进行字符识别得到所述第一字符识别结果。一种字符识别方法，包括：获取待识别的字符图像数据；将所述待识别的图像数据输入如上任意一项所述的字符识别模型训练方法得到的字符识别模型，得到字符识别结果。一种字符识别模型训练装置，包括：第一识别模块，用于通过目标字符识别模型对目标图像样本进行处理，得到所述目标图像样本对应的第一字符识别结果；所述目标字符识别模型至少包括由初始字符识别模型的部分或全部网络层组成的迁移网络层，所述初始字符识别模型通过初始图像样本集训练得到，所述目标图像样本为所述初始图像样本集中字符出现频率满足预设均匀分布条件的图像样本；更新模块，用于通过所述目标字符识别模型根据由第一目标和第二目标构成的训练目标对所述目标字符识别模型的参数进行更新；其中，所述第一目标为所述第一字符识别结果趋近于所述目标图像样本对应的字符标签，所述第二目标为所述部分或全部网络层在所述初始字符识别模型处理所述目标图像样本时输出的特征图对所述初始字符识别模型输出的第二字符识别结果的影响越大，所述迁移网络层输出的特征图越趋近于所述部分或全部网络层输出的特征图。一种字符识别装置，包括：数据获取模块，用于获取待识别的字符图像数据；第二识别模块，用于将所述待识别的图像数据输入如上任意一项所述的字符识别模型训练方法得到的字符识别模型，得到字符识别结果。一种字符识别模型训练设备，包括存储器和处理器；所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现如上任一项所述的字符识别模型训练方法的各个步骤。一种字符识别设备，包括存储器和处理器；所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现如上所述的字符识别方法的各个步骤。一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上任一项所述的字符识别模型训练方法的各个步骤，或者，执行如上所述的字符识别方法的各个步骤。从上述的技术方案可以看出，本申请实施例提供的模型训练方法、字符识别方法、装置、设备及存储介质，在利用大数据集(即初始图像样本集)训练得到初始字符识别模型后，将初始字符识别模型中的至少部分网络层用于目标字符识别模型，然后利用小数据集(即大数本文档来自技高网...

【技术保护点】
1.一种字符识别模型训练方法，其特征在于，包括：/n利用目标字符识别模型对目标图像样本进行处理，得到所述目标图像样本对应的第一字符识别结果；所述目标字符识别模型至少包括由初始字符识别模型的部分或全部网络层组成的迁移网络层，所述初始字符识别模型通过初始图像样本集训练得到，所述目标图像样本为所述初始图像样本集中字符出现频率满足预设均匀分布条件的图像样本；/n根据由第一目标和第二目标构成的训练目标对所述目标字符识别模型的参数进行更新；其中，所述第一目标为所述第一字符识别结果趋近于所述目标图像样本对应的字符标签，所述第二目标为所述部分或全部网络层在所述初始字符识别模型处理所述目标图像样本时输出的特征图对所述初始字符识别模型输出的第二字符识别结果的影响越大，所述迁移网络层输出的特征图越趋近于所述部分或全部网络层输出的特征图。/n

【技术特征摘要】
1.一种字符识别模型训练方法，其特征在于，包括：
利用目标字符识别模型对目标图像样本进行处理，得到所述目标图像样本对应的第一字符识别结果；所述目标字符识别模型至少包括由初始字符识别模型的部分或全部网络层组成的迁移网络层，所述初始字符识别模型通过初始图像样本集训练得到，所述目标图像样本为所述初始图像样本集中字符出现频率满足预设均匀分布条件的图像样本；
根据由第一目标和第二目标构成的训练目标对所述目标字符识别模型的参数进行更新；其中，所述第一目标为所述第一字符识别结果趋近于所述目标图像样本对应的字符标签，所述第二目标为所述部分或全部网络层在所述初始字符识别模型处理所述目标图像样本时输出的特征图对所述初始字符识别模型输出的第二字符识别结果的影响越大，所述迁移网络层输出的特征图越趋近于所述部分或全部网络层输出的特征图。


2.根据权利要求1所述的方法，其特征在于，所述根据由第一目标和第二目标构成的训练目标对所述目标字符识别模型的参数进行更新，包括：
根据所述目标字符识别模型的正则化损失函数，对所述目标字符识别模型的参数进行更新，以实现所述第一目标和所述第二目标；
其中，所述正则化损失函数的误差部分为所述第一字符识别结果与所述目标图像样本对应的字符标签的差异，所述正则化损失函数的正则化部分至少包括由所述迁移网络层与所述部分或全部网络层中的对应特征图的差异的加权和构成的第一正则项；其中，每一个差异的权重表征所述部分或全部网络层输出的与所述目标图像样本对应的特征图对所述第二字符识别结果的影响程度。


3.根据权利要求2所述的方法，其特征在于，所述第一正则项通过如下方式获得：
对应所述迁移网络层中的至少部分迁移网络层中的每一个特征提取模块，计算该特征提取模块基于所述目标图像样本输出的特征图与目标网络层中与该特征提取模块对应的目标特征提取模块基于所述目标图像样本输出的特征图之间的距离；其中，所述目标网络层为所述初始字符识别模型中与所述至少部分迁移网络层对应的网络层；
计算该特征提取模块基于所述目标图像样本输出的特征图与所述目标特征提取模块基于所述目标图像样本输出的特征图的距离的权重；
利用各个距离的权重，将所述至少部分迁移网络层中的各个特征提取模块基于所述目标图像样本输出的特征图对应的距离加权求和，得到与所述目标图像样本对应的第一正则项。


4.根据权利要求3所述的方法，其特征在于，所述计算该特征提取模块输出的特征图与所述目标特征提取模块输出的特征图的距离的权重，包括：
获取所述第二字符识别结果与所述目标图像样本对应的字符标签的第一差异；
获取所述目标特征提取模块的参数的取值为目标取值时，所述初始字符识别模型对所述目标图像样本进行处理得到的字符识别结果与所述目标图像样本对应的字符标签的第二差异；所述目标取值使得所述第二差异大于所述第一差异；
对所述第一差异和所述第二差异的差值进行标准化处理，得到该特征提取模块输出的特征图与所述目标特征提取模块输出的特征图的距离的权重。


5.根据权利要求2所述的方法，其特征在于，所述目标字符识别模型由所述迁移网络层和新增网络层构成；其中，所述新增网络层的参数随...

【专利技术属性】
技术研发人员：韩涛，李梓赫，谭昶，
申请(专利权)人：讯飞智元信息科技有限公司，
类型：发明
国别省市：安徽;34