连续手写字识别方法及系统技术方案

本发明专利技术的连续手写字识别方法及系统，通过分割包含手写字符串的主图像为多个子图像；通过第一神经网络模型分别对所述多个子图像进行特征提取以得到对应数量个特征向量序列；通过第二神经网络模型获得每个特征向量序列对应的字符串片段的识别结果的第一概率值；通过损失函数模块执行以下过程：枚举组成所述手写字符串的各个所述字符串片段组合，并根据所述第一概率值来计算各个字符串片段组合的第二概率值，选择第二概率值最大的字符串片段组合作为所述手写字符串的初步识别结果；不需要通过对连续字体准确切割成孤立字体去识别，且配合神经网络模型进行学习识别，快速准确，提升用户体验。

Method and system for recognizing continuous handwritten characters

Continuous handwritten word recognition system and the method of the invention, the segmentation of handwritten character string contains the main image into multiple sub images; the first neural network model for the sub image feature extraction to get the corresponding number of feature vector sequence; the first through second probabilistic neural network model to obtain a sequence of feature vectors corresponding to each string fragments the result of recognition of the value; performing the following procedure by loss function module: enumerate all components of the handwritten character string the string fragments, and according to the first probability value to calculate the probability of each second string fragment combination value, preliminary identification results of second probability value string fragments maximum as the handwritten character string don't need; through the continuous accurate cutting into isolated font font to identify, and cooperate with God Through the network model for learning recognition, fast and accurate, and enhance user experience.

【技术实现步骤摘要】
连续手写字识别方法及系统
本专利技术涉及图像文字识别
，特别是涉及连续手写字识别方法及系统。
技术介绍
近年来，基于孤立字的手写字识别准确率已经达到了一定水平，随着科技的不断发展和电子产品的跟新替换，孤立字识别的技术越来越不能够满足人们的需求，也不符合人们日常的书写习惯，从而连续手写字的识别技术不断出现。具体来讲，对于孤立字的识别，可以用条件概率表述，maxP(ci|p)(1)其中p表示孤立字图像，ci表示第i个中文字符；而对于连续手写字，一张输入的图像中含有N个中文字符，所以s＝c1c2...cN(2)其中s表示图像p所对应的字符串，最后要求解的问题则为，maxP(s|p)(3)此时，可以看出用同样的方法解决连续手写字的识别问题，其算法复杂度和时间复杂度都会对整个网络开销带来很大的负面影响，严重影响用户体验；再者，对识别模型的输入要求图像大小是固定的，但对于连续手写字，其终端写两个字或者三个字的图像大小是不一样的，而且对其进行切割成的孤立字图像大小也非一样，采用通用的图像缩放方法会对其精度造成一定的影响，而且，对图像切割有误的话，会对后面的识别结果及其它处理造成严重的影响。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供连续手写字识别方法及系统，用于解决现有技术中的问题。为实现上述目的及其他相关目的，本专利技术提供一种连续手写字识别方法，包括：分割包含手写字符串的主图像为多个子图像；通过第一神经网络模型分别对所述多个子图像进行特征提取以得到对应数量个特征向量序列；通过第二神经网络模型获得每个特征向量序列对应的字符串片段的识别结果的第一概率值；通过损失函数模块执行以下过程：枚举组成所述手写字符串的各个所述字符串片段组合，并根据所述第一概率值来计算各个字符串片段组合的第二概率值，选择第二概率值最大的字符串片段组合作为所述手写字符串的初步识别结果。于本专利技术的一实施例中，所述第一神经网络模型的类型包括：CNN模型。于本专利技术的一实施例中，所述第二神经网络模型的类型包括：LSTM模型。于本专利技术的一实施例中，所述损失函数模块的类型包括：CTC模型。于本专利技术的一实施例中，所述方法还包括：网络测试过程，其包括：通过beam-search结合预设语言模型的方式来根据所述第二概率值计算得到第三概率值，并将第三概率值最大的字符串片段组合作为所述手写字符串的最终识别结果。于本专利技术的一实施例中，所述方法还包括：通过随机梯度下降算法训练所述第一神经网络模型、第二神经网络模型、及损失函数模块中的一者或多者。于本专利技术的一实施例中，各所述子图像尺寸相同；相邻子图像间有部分重叠或边缘相接。为实现上述目的及其他相关目的，本专利技术提供一种连续手写字识别系统，包括：图像处理模块，用于分割包含手写字符串的主图像为多个子图像；第一神经网络模块，用于分别对所述多个子图像进行特征提取以得到对应数量个特征向量序列；第二神经网络模块，获得每个特征向量序列对应的字符串片段的识别结果的第一概率值；损失函数模块模块，枚举组成所述手写字符串的各个所述字符串片段组合，并根据所述第一概率值来计算各个字符串片段组合的第二概率值，选择第二概率值最大的字符串片段组合作为所述手写字符串的初步识别结果。于本专利技术的一实施例中，所述第一神经网络模块包括：CNN模型。于本专利技术的一实施例中，所述第二神经网络模块包括：LSTM模型。于本专利技术的一实施例中，所述损失函数模块包括：CTC模型。于本专利技术的一实施例中，所述第一神经网络模块、第二神经网络模块、及损失函数模块中的一或多者通过随机梯度下降算法进行训练。于本专利技术的一实施例中，所述系统包括：网络测试模块，用于通过beam-search结合预设语言模型的方式来根据所述第二概率值计算得到第三概率值，并将第三概率值最大的字符串片段组合作为所述手写字符串的最终识别结果。。于本专利技术的一实施例中，各所述子图像尺寸相同；相邻子图像间有部分重叠或边缘相接。如上所述，本专利技术的连续手写字识别方法及系统，通过分割包含手写字符串的主图像为多个子图像；通过第一神经网络模型分别对所述多个子图像进行特征提取以得到对应数量个特征向量序列；通过第二神经网络模型获得每个特征向量序列对应的字符串片段的识别结果的第一概率值；通过损失函数模型执行以下过程：枚举组成所述手写字符串的各个所述字符串片段组合，并根据所述第一概率值来计算各个字符串片段组合的第二概率值，选择第二概率值最大的字符串片段组合作为所述手写字符串的初步识别结果；不需要通过对连续字体准确切割成孤立字体去识别，且配合神经网络模型进行学习识别，快速准确，提升用户体验。附图说明图1显示为本专利技术于一实施例中的连续手写字识别方法的流程示意图。图2显示为CNN模型的结构示意图。图3显示为LSTM模型的结构示意图。图4显示为本专利技术于一实施例中的连续手写字识别系统的模块示意图。元件标号说明401图像处理模块402第一神经网络模块403第二神经网络模块404损失函数模块S101～S104步骤具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。请参阅图1，本专利技术提供一种连续手写字识别方法的实施例，该方法包括：步骤S101：分割包含手写字符串的主图像为多个子图像。于本专利技术的一实施例中，所述子图像可以图片；所述分割过程，可以是首先进行预处理，例如将整张图片的空白区域裁剪去除，并将切割后的子图像宽高比缩放成固定大小的宽高比，譬如裁剪后得到的图片宽高比为2:1，放大时为64:128；然后再将其进行分割成子图片，并将其处理为灰度图像作为神经网络的输入。具体的，假设通过终端采集的一张手写字图像大小为m×n，将图像“分割”为k个子图像(子图片)的集合{p1,p2,...,pk}，其中，各所述子图像尺寸相同，相邻子图像间有部分重叠或边缘相接；具体的，所述各个子图像可以是利用大小例如为m×d，步长为l的模板，将原图(m×n)通过滑窗的形式进行切割，其中l≤d，以使相邻子图像间不会有间隔。步骤S102：通过第一神经网络模型分别对所述多个子图像进行特征提取以得到对应数量个特征向量序列。具体的，该第一神经网络模型可以是CNN(ConvolutionalNeuralNetwork卷积神经网络)模型，通过CNN模型对这k个子图像进行特征提取，其对应的特征向量序列分别为v1,v2,...,vk。卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。其结构示意图2所示。由图2可知，输入图像可以通过和三个可训练的；滤波器和可加偏置进行卷积，卷积后在C1层产生三个特征映射图，然后特征映射图中每组本文档来自技高网...

【技术保护点】
一种连续手写字识别方法，其特征在于，包括：分割包含手写字符串的主图像为多个子图像；通过第一神经网络模型分别对所述多个子图像进行特征提取以得到对应数量个特征向量序列；通过第二神经网络模型获得每个特征向量序列对应的字符串片段的识别结果的第一概率值；通过损失函数模块执行以下过程：枚举组成所述手写字符串的各个所述字符串片段组合，并根据所述第一概率值来计算各个字符串片段组合的第二概率值，选择第二概率值最大的字符串片段组合作为所述手写字符串的初步识别结果。

【技术特征摘要】
1.一种连续手写字识别方法，其特征在于，包括：分割包含手写字符串的主图像为多个子图像；通过第一神经网络模型分别对所述多个子图像进行特征提取以得到对应数量个特征向量序列；通过第二神经网络模型获得每个特征向量序列对应的字符串片段的识别结果的第一概率值；通过损失函数模块执行以下过程：枚举组成所述手写字符串的各个所述字符串片段组合，并根据所述第一概率值来计算各个字符串片段组合的第二概率值，选择第二概率值最大的字符串片段组合作为所述手写字符串的初步识别结果。2.根据权利要求1所述的连续手写字识别方法，其特征在于，所述第一神经网络模型的类型包括：CNN模型。3.根据权利要求1所述的连续手写字识别方法，其特征在于，所述第二神经网络模型的类型包括：LSTM模型。4.根据权利要求1所述的连续手写字识别方法，其特征在于，所述损失函数模块的类型包括：CTC模型。5.根据权利要求1所述的连续手写字识别方法，其特征在于，还包括：网络训练过程通过随机梯度下降算法训练所述第一神经网络模型、第二神经网络模型、及损失网络函数模块中的一者或多者。6.根据权利要求1所述的连续手写字识别方法，其特征在于，还包括：网络测试过程，其包括：通过beam-search结合预设语言模型的方式来根据所述第二概率值计算得到第三概率值，并将第三概率值最大的字符串片段组合作为所述手写字符串的最终识别结果。7.根据权利要求1所述的连续手写字识别方法，其特征在于，各所述子图像尺寸相同；相邻子图像间有部分...

【专利技术属性】
技术研发人员：周诚，孙环荣，陈兆金，宫新伟，单志辉，吴宗翰，赵世亭，
申请(专利权)人：上海嵩恒网络科技有限公司，
类型：发明
国别省市：上海,31