文字识别方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种文字识别方法、装置、电子设备及存储介质。该方法包括：接收待文字识别图像；基于区域识别模型确定与待文字识别图像相对应的目标文字区域，并基于文字识别模型确定目标文字区域所对应的目标文字；其中，区域识别模型和文字识别模型为对基准模型进行轻量化优化后所对应的模型；显示与待文字识别图像相对应的目标文字。基于上述技术方案，将对基准模型进行轻量化优化后所对应的区域识别模型和文字识别模型部署在移动端，达到了将文字识别方法部署在终端设备中，并且实现了对准确率影响较小的同时提高应用实时性能的技术效果。的技术效果。的技术效果。

【技术实现步骤摘要】
文字识别方法、装置、电子设备及存储介质


[0001]本公开实施例涉及图像处理
，尤其涉及一种文字识别方法、装置、电子设备及存储介质。

技术介绍

[0002]随着图像处理技术的不断发展，用户可以利用多种应用对图像进行文字识别，从而达到从图像中提取文字信息的目的。
[0003]现有的文字识别方法往往是直接将得到的模型进行简化后部署在移动端，仅仅考虑网络结构轻量化或模型压缩等单一角度，无法保证识别结果的准确性，不能满足用户的需求。

技术实现思路

[0004]本公开实施例提供一种文字识别方法、装置、电子设备及存储介质，以实现将文字识别方法部署在终端设备中，达到了对准确率影响较小的同时提高应用实时性能的技术效果。
[0005]第一方面，本公开实施例提供了一种文字识别方法，该方法包括：
[0006]接收待文字识别图像；
[0007]基于区域识别模型确定与所述待文字识别图像相对应的目标文字区域，并基于文字识别模型确定所述目标文字区域所对应的目标文字；其中，所述区域识别模型和所述文字识别模型为对基准模型进行轻量化优化后所对应的模型；
[0008]显示与所述待文字识别图像相对应的目标文字。
[0009]第二方面，本公开实施例还提供了一种文字识别装置，该装置包括：
[0010]图像接收模块，用于接收待文字识别图像；
[0011]文字识别模块，用于基于区域识别模型确定与所述待文字识别图像相对应的目标文字区域，并基于文字识别模型确定所述目标文字区域所对应的目标文字；其中，所述区域识别模型和所述文字识别模型为对基准模型进行轻量化优化后所对应的模型；
[0012]显示模块，用于显示与所述待文字识别图像相对应的目标文字。
[0013]第三方面，本公开实施例还提供了一种电子设备，所述设备包括：
[0014]一个或多个处理器；
[0015]存储装置，用于存储一个或多个程序，
[0016]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的文字识别方法。
[0017]第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例任一所述的文字识别方法。
[0018]本专利技术实施例的技术方案，通过接收待文字识别图像，并且基于区域识别模型确定与所述待文字识别图像相对应的目标文字区域，并基于文字识别模型确定所述目标文字
区域所对应的目标文字，进而在终端设备的显示界面中显示与待文字识别图像相对应的目标文字，通过将对基准模型进行轻量化优化后所对应的区域识别模型和文字识别模型部署在移动端，达到了将文字识别方法部署在终端设备中，并且实现了对准确率影响较小的同时提高应用实时性能的技术效果。
附图说明
[0019]为了更加清楚地说明本公开示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本公开所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
[0020]图1为本公开实施例提供的一种文字识别方法的流程图；
[0021]图2为本公开实施例提供的文字识别方法的流程图；
[0022]图3为本公开实施例提供的文字识别方法的流程图；
[0023]图4为本公开实施例提供的一种文字识别装置的结构框图；
[0024]图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0025]下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
[0026]实施例一
[0027]需要说明的是，当需要将模型部署在移动终端时，由于移动终端的设备性能是有限的，可以理解的是，建立完成的普通模型对部署的设备的性能需求是很高的，也即移动终端的性能无法满足模型的运行需求，基于此，当需要对数据进行处理时，会导致处理得到的结果不满足需求。因此，本技术方案提供了一种轻量级的模型结构，使得可以基于轻量级的模型结构对数据进行处理，例如可以是识别相应的文字等。具体得到轻量级模型的方法如图1所示：
[0028]S01、特征提取网络结构的轻量化。需要说明的是，本申请实施例采用一种轻量级的神经网络模型MobileNetV3作为基准模型，然后在基准模型的基础上进行网络通道剪枝以进一步降低模型复杂度。相比于其他网络模型的传统卷积方式，MobileNetV3模型将其替换为深度可分离卷积，可以大幅度减少计算量和参数量。同时通过通道剪枝的方式可以减少输出特征图的通道数，降低模型复杂度的同时减少模型所占存储空间，更有利于移动端的部署应用。在对通道裁剪的过程中，要同时衡量对模型准确性的影响，以保证不影响准确率的同时降低模型大小。
[0029]S02、整体算法处理流程的轻量化。示例性的，可以通过结合任务的目标使用场景，去除或者简化任务常规处理流程中一些非必要的模块。如文字识别任务，常见的算法处理流程是检测区域图像矫正、视觉特征提取、序列特征提取、预测四个步骤，若使用场景中不存在图像矫正的需求或者可以不需要结合上下文信息的序列特征进行预测，则可以简化算法的处理流程，此策略可以大幅度降低模型复杂度，从而减少推理耗时。
[0030]S03、得到区域识别模型与文字识别模型。示例性的，可以通过获取对应的训练样本，基于样本对模型进行训练，并且在训练的过程中实时调整模型参数，进而在满足预设的条件时，确定出区域识别模型和文字识别模型。
[0031]S04、模型轻量化。可以理解的是，服务端训练好的推理模型相对于移动端任务来说，计算程度仍然过于复杂，而且不适用移动端的深度学习框架，因此采用模型转换工具将模型转换为适合移动端框架与存储格式的模型。同时在转换过程中通过模型量化技术，压缩模型中参数所占的内存字节数，比如将模型权重从FP32类型量化至INT8类型，可以保证在模型精度受到很小影响的同时，降低模型大小为原来的1/4，量化技术主要是压缩模型体积，对推理速度的加速有一定影响。在模型量化时需要逐步调优选择合适的量化方式，并与原模型的识别效果进行对比，以求最大程度的保证准确率。
[0032]S05、移动端前向推理轻量化。将转换、量化后的轻量推理模型部署在移动端，输入待识别图片，通过检测、识别模型前向推理过程，得到识别结果。对于接收的输入图片通过调整图片的分辨率以及采集图片的有效区域大小从而降低输入模型的图片信息量，降低模型计算量、减少耗时。
[0033]本公开实施例提供的技术方案，通过将特征提取网络结构、整体算法处理流程进行轻量化，并得到对应的区域识别模型与文字识别模型，进而将得到的区域识别模型与文字识别模型进行轻量化后部署在移动终端上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文字识别方法，其特征在于，应用于客户端中，包括：接收待文字识别图像；基于区域识别模型确定与所述待文字识别图像相对应的目标文字区域，并基于文字识别模型确定所述目标文字区域所对应的目标文字；其中，所述区域识别模型和所述文字识别模型为对基准模型进行轻量化优化后所对应的模型；显示与所述待文字识别图像相对应的目标文字。2.根据权利要求1所述的方法，其特征在于，所述基于区域识别模型确定与所述待文字识别图像相对应的目标文字区域，并基于文字识别模型确定所述目标文字区域所对应的目标文字，包括：基于所述区域识别模型对待文字识别图像进行处理，得到与所述待文字识别图像相对应的目标矩阵，并基于所述目标矩阵确定所述目标文字区域；基于所述文字识别模型对所述目标文字区域以及所述待文字识别图像进行处理，确定与所述目标文字区域相对应的目标文字。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标矩阵确定所述目标文字区域，包括：基于所述目标矩阵，确定文字信息于所述待文字识别图像中所对应的目标像素点；基于预设形状和所述目标像素点，确定所述目标文字区域。4.根据权利要求1所述的方法，其特征在于，还包括：获取至少一个第一训练样本；其中，所述第一训练样本中包括第一原始图像，以及第一原始图像中文字区域所对应的坐标矩阵；针对各训练样本，将当前训练样本中的第一原始图像以及相应的坐标矩阵输入至待训练区域识别模型中，得到与所述当前训练样本相对应的实际输出矩阵；其中，所述待训练区域识别模型中的通道数量为第一预设通道数量；基于所述实际输出矩阵和所述坐标矩阵，确定损失值，以基于所述损失值对所述待训练区域识别模型中的模型参数进行修正；将所述待训练区域识别模型中的损失函数收敛作为训练目标，得到所述区域识别模型。5.根据权利要求4所述的方法，其特征在于，还包括：获取至少一个第二训练样本；其中，所述第二训练样本中包...

【专利技术属性】
技术研发人员：王玲玲，普恒安，李丽，
申请(专利权)人：中邮信息科技北京有限公司，
类型：发明
国别省市：