一种识别图像的方法和装置制造方法及图纸

本发明专利技术公开了一种识别图像的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对训练数据集中的各个图像样本分别标记公式标签和文字标签；分别采用标记有公式标签的图像样本、标记有文字标签的图像样本训练卷积神经网络，得到第一卷积神经网络和第二卷积神经网络；基于所述第一卷积神经网络和所述第二卷积神经网络，分别定位出待识别图像中的公式区域和文字区域。该实施方式能够解决需要用户框选公式区域的技术问题。

A method and device of image recognition

【技术实现步骤摘要】
一种识别图像的方法和装置
本专利技术涉及机器学习
，尤其涉及一种识别图像的方法和装置。
技术介绍
现有技术中，对图像进行文本识别时，需要用户先在图像中框选出公式所在位置，如图1所示，然后识别公式区域和文字区域的文本信息。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：每次识别图像中的文本时都需要用户先框选出公式区域，这样会增加用户操作，从而导致识别效率较低。
技术实现思路
有鉴于此，本专利技术实施例提供一种识别图像的方法和装置，以解决需要用户框选公式区域的技术问题。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种识别图像的方法，包括：对训练数据集中的各个图像样本分别标记公式标签和文字标签；分别采用标记有公式标签的图像样本、标记有文字标签的图像样本训练卷积神经网络，得到第一卷积神经网络和第二卷积神经网络；基于所述第一卷积神经网络和所述第二卷积神经网络，分别定位出待识别图像中的公式区域和文字区域。可选地，所述公式标签包括公式文本在所述图像样本中的位置信息，所述文字标签包括文字文本在所述图像样本中的位置信息。可选地，分别采用标记有公式标签的图像样本、标记有文字标签的图像样本训练卷积神经网络，得到第一卷积神经网络和第二卷积神经网络，包括：以图像样本作为输入、公式标签作为输出，训练卷积神经网络，得到第一卷积神经网络；以图像样本作为输入、文字标签作为输出，训练卷积神经网络，得到第二卷积神经网络。可选地，基于所述第一卷积神经网络和所述第二卷积神经网络，分别定位出待识别图像中的公式区域和文字区域，包括：将待识别图像分别输入到所述第一卷积神经网络和所述第二卷积神经网络中，输出公式区域的位置信息和文字区域的位置信息，从而在所述待识别图像中分别定位出公式区域和文字区域。可选地，分别定位出待识别图像中的公式区域和文字区域之后，还包括：基于光学字符识别，分别从所述待识别图像的公式区域和文字区域中识别出文本信息。另外，根据本专利技术实施例的另一个方面，提供了一种识别图像的装置，包括：标记模块，用于对训练数据集中的各个图像样本分别标记公式标签和文字标签；训练模块，用于分别采用标记有公式标签的图像样本、标记有文字标签的图像样本训练卷积神经网络，得到第一卷积神经网络和第二卷积神经网络；定位模块，用于基于所述第一卷积神经网络和所述第二卷积神经网络，分别定位出待识别图像中的公式区域和文字区域。可选地，所述公式标签包括公式文本在所述图像样本中的位置信息，所述文字标签包括文字文本在所述图像样本中的位置信息。可选地，所述训练模块还用于：以图像样本作为输入、公式标签作为输出，训练卷积神经网络，得到第一卷积神经网络；以图像样本作为输入、文字标签作为输出，训练卷积神经网络，得到第二卷积神经网络。可选地，所述识别模块还用于：将待识别图像分别输入到所述第一卷积神经网络和所述第二卷积神经网络中，输出公式区域的位置信息和文字区域的位置信息，从而在所述待识别图像中分别定位出公式区域和文字区域。可选地，所述识别模块还用于：分别定位出待识别图像中的公式区域和文字区域之后，基于光学字符识别，分别从所述待识别图像的公式区域和文字区域中识别出文本信息。根据本专利技术实施例的另一个方面，还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。根据本专利技术实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。上述专利技术中的一个实施例具有如下优点或有益效果：因为采用分别采用标记有公式标签的图像样本、标记有文字标签的图像样本训练卷积神经网络，得到第一卷积神经网络和第二卷积神经网络，从而基于第一卷积神经网络和第二卷积神经网络分别定位出待识别图像中的公式区域和文字区域的技术手段，所以克服了现有技术中需要用户框选公式区域的技术问题。本专利技术实施例通过两个卷积神经网络分别定位出待识别图像中的公式区域和文字区域，用户不再需要在图像中框选出公式区域和文字区域，也不需要判断图像中是否有公式区域或者文字区域。而且，本专利技术实施例不但可以识别出公式区域和文字区域，还可以区分出公式区域和文字区域，因此减少了用户操作，提高了文本识别效率。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是现有技术中在图像中框选出公式区域的示意图；图2是根据本专利技术实施例的识别图像的方法的主要流程示意图；图3是根据本专利技术实施例的图像样本的示意图；图4是根据本专利技术实施例的在图像样本上标记标签的示意图；图5是根据本专利技术实施例的将标签保存至xml格式文件中的示意图；图6是根据本专利技术一个可参考实施例的识别图像的方法的主要流程示意图；图7是根据本专利技术实施例的识别图像的装置的主要模块的示意图；图8是本专利技术实施例可以应用于其中的示例性系统架构图；图9是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图2是根据本专利技术实施例的识别图像的方法的主要流程的示意图。作为本专利技术的一个实施例，如图2所示，所述识别图像的方法可以包括：步骤201，对训练数据集中的各个图像样本分别标记公式标签和文字标签。在该步骤中，首先准备一定数量(比如1万张、2万张或者3万张等)的图像样本作为训练数据集，这些图像样本上含有文字和/或公式，如图3所示。然后，对于每一张图像样本，在这张图像样本上分别标记公式标签和文本标签。可选地，所述公式标签包括公式文本在所述图像样本中的位置信息，所述文字标签包括文字文本在所述图像样本中的位置信息。比如，以在图3所示的图像样本上标记公式标签为例，可以采用labelimg软件做标记，在图像样本上框选出公式区域，如图4所示，从而得到公式标签(也就是框选出的公式区域在图像样本中的位置信息)，将公式标签保存在xml格式文件中，如图5所示。同理，继续在该图像样本上框选出文字区域，从而得到文本标签(也就是框选出的文字区域在图像样本中的位置信息)，将文字标签保存在xml格式文件中。步骤202，分别采用标记有公式标签的图像样本、标记有文字标签的图像样本训练卷积本文档来自技高网...

【技术保护点】
1.一种识别图像的方法，其特征在于，包括：/n对训练数据集中的各个图像样本分别标记公式标签和文字标签；/n分别采用标记有公式标签的图像样本、标记有文字标签的图像样本训练卷积神经网络，得到第一卷积神经网络和第二卷积神经网络；/n基于所述第一卷积神经网络和所述第二卷积神经网络，分别定位出待识别图像中的公式区域和文字区域。/n

【技术特征摘要】
1.一种识别图像的方法，其特征在于，包括：
对训练数据集中的各个图像样本分别标记公式标签和文字标签；
分别采用标记有公式标签的图像样本、标记有文字标签的图像样本训练卷积神经网络，得到第一卷积神经网络和第二卷积神经网络；
基于所述第一卷积神经网络和所述第二卷积神经网络，分别定位出待识别图像中的公式区域和文字区域。


2.根据权利要求1所述的方法，其特征在于，所述公式标签包括公式文本在所述图像样本中的位置信息，所述文字标签包括文字文本在所述图像样本中的位置信息。


3.根据权利要求2所述的方法，其特征在于，分别采用标记有公式标签的图像样本、标记有文字标签的图像样本训练卷积神经网络，得到第一卷积神经网络和第二卷积神经网络，包括：
以图像样本作为输入、公式标签作为输出，训练卷积神经网络，得到第一卷积神经网络；
以图像样本作为输入、文字标签作为输出，训练卷积神经网络，得到第二卷积神经网络。


4.根据权利要求2所述的方法，其特征在于，基于所述第一卷积神经网络和所述第二卷积神经网络，分别定位出待识别图像中的公式区域和文字区域，包括：
将待识别图像分别输入到所述第一卷积神经网络和所述第二卷积神经网络中，输出公式区域的位置信息和文字区域的位置信息，从而在所述待识别图像中分别定位出公式区域和文字区域。


5.根据权利要求1所述的方法，其特征在于，分别定位出待识别图像中的公式区域和文字区域之后，还包括：
基于光学字符识别，分别从所述待识别图像的公式区域和文字区域中识别出文本信息。


6.一种识别图像的装置，其特征在于，包括：
标记模块，用于对训练数据集中的各个图像样本分别标记公式标签和文字标签；<...

【专利技术属性】
技术研发人员：易显维，
申请(专利权)人：中国建设银行股份有限公司，建信金融科技有限责任公司，
类型：发明
国别省市：北京;11