对包含算式的图像进行处理的方法和装置制造方法及图纸

本申请公开了对包含算式的图像进行处理的方法和装置。所述方法包括：对所述包含算式的图像进行预处理；所述预处理包括：从所述包含算式的图像中去除干扰线，得到中间图像，以及对所述中间图像进行字符切割处理，得到包含顺序的多幅字符图像；基于预置的字符识别模型对各字符图像分别进行识别，得到相应的识别结果；基于所述识别结果以及所述顺序确定数学算式，对所述数学算式进行相应的计算，得到计算结果。该技术方案考虑到了包含算式的图像的特点，通过去除干扰线来提高后续字符切割的准确率以及字符图像的识别率，并基于确定的数学算式自动、快速地进行解答，能够给出数学习题、算式验证码等的答案，节省了人工劳动。

Method and device for processing image containing formula

The application discloses a method and a device for processing an image including a formula. The method includes: preprocessing the image containing the formula; the preprocessing includes: removing the interference line from the image containing the formula, obtaining the intermediate image, and character cutting the intermediate image to obtain a plurality of character images including the sequence; recognizing each character image based on the preset character recognition model, and obtaining the corresponding Recognition result: determine the mathematical formula based on the recognition result and the order, and calculate the corresponding mathematical formula to get the calculation result. The technical scheme takes into account the characteristics of the image containing the formula, improves the accuracy of the subsequent character cutting and the recognition rate of the character image by removing the interference line, and solves automatically and quickly based on the determined mathematical formula, which can give the answers of the mathematical exercises, the formula verification code, etc., and saves the labor.

【技术实现步骤摘要】
对包含算式的图像进行处理的方法和装置
本申请涉及图像处理
，具体涉及对包含算式的图像进行处理的方法和装置。
技术介绍
目前，包含算式的图像在许多场景得到了应用，例如，许多网站和APP都需要用户输入验证码进行人机安全验证，所采用的验证码图像就是包含算式的图像，用户需要输入算式的答案；又例如中小学数据运算题目也可以以图片方式展示，等等。因此需要一种能够对包含算式的图像进行处理的手段，帮助人们自动获得算式的答案。
技术实现思路
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的对包含算式的图像进行处理的方法和装置。依据本申请的一个方面，提供了一种对包含算式的图像进行处理的方法，包括：对所述包含算式的图像进行预处理；所述预处理包括：从所述包含算式的图像中去除干扰线，得到中间图像，以及对所述中间图像进行字符切割处理，得到包含顺序的多幅字符图像；基于预置的字符识别模型对各字符图像分别进行识别，得到相应的识别结果；基于所述识别结果以及所述顺序确定数学算式，对所述数学算式进行相应的计算，得到计算结果。可选地，所述从所述包含算式的图像中去除干扰线包括：对所述包含算式的图像执行颜色空间转换，将预设的阈值范围作为过滤条件，基于所述过滤条件去除干扰线的颜色区域。可选地，所述对所述中间图像进行字符切割处理包括：基于所述中间图像在x轴方向上的投影得到像素分布，根据所述像素分布进行字符切割处理。可选地，所述字符识别模型是基于深度卷积神经网络训练得到的；其中，在训练过程中使用的训练数据是对字符图像进行图像聚类后标注得到的，所述字符图像是对包含算式的样本图像进行所述预处理后得到的。可选地，所述图像聚类包括：将字符图像在主成分上的投影系数作为字符图像的特征向量，利用k均值聚类算法对字符图像进行聚类，得到一级图像类簇；将字符图像的方向梯度直方图特征作为字符图像的特征向量，利用k均值聚类算法对各一级图像类簇中的字符图像进行聚类，得到二级图像类簇；对各二级图像类簇中的字符图像，基于dHash算法，计算各图像间的汉明距离，根据所述距离进行聚类，得到最终的图像类簇。可选地，所述识别结果包括数字和运算符号；所述基于所述识别结果以及所述顺序确定数学算式包括：根据所述识别结果中运算符号的相对位置进行运算转换，得到数学算式。可选地，所述包含算式的图像为图像验证码；所述计算结果是用于完成验证的验证信息；所述基于所述识别结果以及所述顺序确定数学算式包括：当一幅字符图像的识别结果有多个时，依据各识别结果对应的预估概率选择识别结果，根据选择的识别结果和所述顺序确定数学算式；若不能确定数学算式或所述验证信息验证失败，则重新选择识别结果。依据本申请的另一方面，提供了一种对包含算式的图像进行处理的装置，包括：预处理单元，用于对所述包含算式的图像进行预处理；所述预处理包括：从所述包含算式的图像中去除干扰线，得到中间图像，以及对所述中间图像进行字符切割处理，得到包含顺序的多幅字符图像；字符识别单元，用于基于预置的字符识别模型对各字符图像分别进行识别，得到相应的识别结果；计算单元，用于基于所述识别结果以及所述顺序确定数学算式，对所述数学算式进行相应的计算，得到计算结果。可选地，所述预处理单元，用于对所述包含算式的图像执行颜色空间转换，将预设的阈值范围作为过滤条件，基于所述过滤条件去除干扰线的颜色区域。可选地，所述预处理单元，用于基于所述中间图像在x轴方向上的投影得到像素分布，根据所述像素分布进行字符切割处理。可选地，所述字符识别模型是基于深度卷积神经网络训练得到的；其中，在训练过程中使用的训练数据是对字符图像进行图像聚类后标注得到的，所述字符图像是对包含算式的样本图像进行所述预处理后得到的。可选地，所述图像聚类包括：将字符图像在主成分上的投影系数作为字符图像的特征向量，利用k均值聚类算法对字符图像进行聚类，得到一级图像类簇；将字符图像的方向梯度直方图特征作为字符图像的特征向量，利用k均值聚类算法对各一级图像类簇中的字符图像进行聚类，得到二级图像类簇；对各二级图像类簇中的字符图像，基于dHash算法，计算各图像间的汉明距离，根据所述距离进行聚类，得到最终的图像类簇。可选地，所述识别结果包括数字和运算符号；所述计算单元，用于根据所述识别结果中运算符号的相对位置进行运算转换，得到数学算式。可选地，所述包含算式的图像为图像验证码；所述计算结果是用于完成验证的验证信息；所述计算单元，用于当一幅字符图像的识别结果有多个时，依据各识别结果对应的预估概率选择识别结果，根据选择的识别结果和所述顺序确定数学算式；若不能确定数学算式或所述验证信息验证失败，则重新选择识别结果。依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。由上述可知，本申请的技术方案，通过对包含算式的图像进行去除干扰线，得到中间图像，以及对中间图像进行字符切割处理，得到包含顺序的多幅字符图像作为预处理手段，从而基于预置的字符识别模型对各字符图像分别进行识别，得到相应的识别结果，最终基于识别结果以及顺序确定数学算式，对数学算式进行相应的计算，得到计算结果。该技术方案考虑到了包含算式的图像的特点，通过去除干扰线来提高后续字符切割的准确率以及字符图像的识别率，并基于确定的数学算式自动、快速地进行解答，能够给出数学习题、算式验证码等的答案，节省了人工劳动。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本申请一个实施例的一种对包含算式的图像进行处理的方法的流程示意图；图2示出了根据本申请一个实施例的一种对包含算式的图像进行处理的装置的结构示意图；图3示出了根据本申请一个实施例的电子设备的结构示意图；图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；图5示出了根据本申请一个实施例的包含算式的图像示例；图6示出了根据本申请一个实施例的对图5去除干扰线得到的中间图像示例；图7示出了根据本申请一个实施例的图6所示的本文档来自技高网...

【技术保护点】
1.一种对包含算式的图像进行处理的方法，其特征在于，该方法包括：/n对所述包含算式的图像进行预处理；所述预处理包括：从所述包含算式的图像中去除干扰线，得到中间图像，以及对所述中间图像进行字符切割处理，得到包含顺序的多幅字符图像；/n基于预置的字符识别模型对各字符图像分别进行识别，得到相应的识别结果；/n基于所述识别结果以及所述顺序确定数学算式，对所述数学算式进行相应的计算，得到计算结果。/n

【技术特征摘要】
1.一种对包含算式的图像进行处理的方法，其特征在于，该方法包括：
对所述包含算式的图像进行预处理；所述预处理包括：从所述包含算式的图像中去除干扰线，得到中间图像，以及对所述中间图像进行字符切割处理，得到包含顺序的多幅字符图像；
基于预置的字符识别模型对各字符图像分别进行识别，得到相应的识别结果；
基于所述识别结果以及所述顺序确定数学算式，对所述数学算式进行相应的计算，得到计算结果。


2.如权利要求1所述的方法，其特征在于，所述从所述包含算式的图像中去除干扰线包括：
对所述包含算式的图像执行颜色空间转换，将预设的阈值范围作为过滤条件，基于所述过滤条件去除干扰线的颜色区域。


3.如权利要求1所述的方法，其特征在于，所述对所述中间图像进行字符切割处理包括：
基于所述中间图像在x轴方向上的投影得到像素分布，根据所述像素分布进行字符切割处理。


4.如权利要求1所述的方法，其特征在于，所述字符识别模型是基于深度卷积神经网络训练得到的；其中，在训练过程中使用的训练数据是对字符图像进行图像聚类后标注得到的，所述字符图像是对包含算式的样本图像进行所述预处理后得到的。


5.如权利要求4所述的方法，其特征在于，所述图像聚类包括：
将字符图像在主成分上的投影系数作为字符图像的特征向量，利用k均值聚类算法对字符图像进行聚类，得到一级图像类簇；
将字符图像的方向梯度直方图特征作为字符图像的特征向量，利用k均值聚类算法对各一级图像类簇中的字符图像进行聚类，得到二级图像类簇；
对各二级图像类簇中的字符图像，基于dHash算法，计算各图像间的汉明距离，根...

【专利技术属性】
技术研发人员：潘惊治，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11