一种图像文本结构化提取方法及装置制造方法及图纸

本发明专利技术提供了一种图像文本结构化提取方法及装置，包括利用样本图片制作模板图片，框选模板图片的固定参照区域和可变待识别区域；修正模板图片中固定参照区域的精确位置；获取待识别图片，对待识别图片进行文字识别，得到多个识别区域的字符串以及位置坐标；将待识别图片的字符串与模板图片的固定参照区域的字符串进行比对，找出匹配到相同字符串的4组坐标点；通过4组坐标点计算透视投影矩阵，并对待识别图片进行透视变换；对透视变换后的待识别图片的可变待识别区域进行裁剪，对裁剪的可变待识别区域进行文字识别，将识别到的字符串输出

【技术实现步骤摘要】
一种图像文本结构化提取方法及装置


[0001]本专利技术涉及信息提取
，特别涉及一种图像文本结构化提取方法及装置
。

技术介绍

[0002]OCR(OpticalCharacterRecognition
，光学字符识别
)
技术是指对输入图像进行分析识别处理，获取图像中文本信息的过程，是当前应用最为广泛的人工智能技术之一，在多个行业得到广泛的应用，如金融行业的票据识别，快递物流行业的快速分拣，交通行业的车牌识别
、
出租车票识别，以及日常生活中的卡证
、
票据识别等
。
[0003]由于在日常生活中，大多数的文档
、
票据
、
卡证等，它们都具有固定格式，只是有些区域所有不同，比如身份证，姓名后面具体是某个人的名字，性别后面的具体性别
。
然而，
OCR
技术识别出的结果仅仅是一串可编辑的字符串，不包含任何结构化信息，使得对于识别结果，往往需要建立一系列规则进行筛选再录入，效率低下，造成了极大的人力成本浪费
。
因此，针对具有固定格式的文档
、
票据
、
卡证等，亟需提供一种能够快速提取结构化文本信息的方法
。

技术实现思路

[0004]本专利技术要解决的技术问题，在于提供一种图像文本结构化提取方法及装置，能够实现快速提取结构化文本信息，且能够适用于各种应用场景
。
[0005]本专利技术是这样实现的：
[0006]第一方面，一种图像文本结构化提取方法，所述方法包括如下步骤：
[0007]步骤
1、
利用具有固定格式的样本图片制作模板图片，框选模板图片中的固定参照区域和可变待识别区域；
[0008]步骤
2、
使用深度学习的
ocr
算法对模板图片进行文字检测，修正模板图片中固定参照区域的精确位置；
[0009]步骤
3、
获取待识别图片，将待识别图片的尺寸调整至与模板图片一致，使用深度学习的
ocr
算法对待识别图片进行文字识别，得到多个识别区域的字符串以及位置坐标；
[0010]步骤
4、
将待识别图片的字符串与模板图片的固定参照区域的字符串进行比对，找出匹配到相同字符串的4组坐标点；通过4组坐标点计算出透视投影矩阵，并根据透视投影矩阵对待识别图片进行透视变换；
[0011]步骤
5、
对透视变换后的待识别图片的可变待识别区域进行裁剪，使用深度学习的
ocr
算法对裁剪的可变待识别区域进行文字识别，将识别到的字符串输出
。
[0012]进一步的，在所述步骤1中，框选的固定参照区域的数量大于等于4个
。
[0013]进一步的，所述步骤2具体为：
[0014]根据模板图片中框选出的固定参照区域的左上角坐标和右下角坐标，从模板图片中抠取固定参照区域；
[0015]使用深度学习的
ocr
算法对抠取的固定参照区域进行文字检测，从而获得文字区
域的左上角坐标和右下角坐标；
[0016]将框选的固定参照区域的左上角坐标与文字区域的左上角坐标相加，同理将框选的固定参照区域的右下角坐标与文字区域的右下角坐标相加，从而得到修正后的固定参照区域的精确位置坐标
。
[0017]进一步的，在所述步骤4中，在将待识别图片的字符串与模板图片的固定参照区域的字符串进行比对后，如果匹配到相同字符串的坐标点小于4组，则裁剪模板图片中的固定参照区域，使用
opencv
将裁剪的固定参照区域逐一与待识别图片进行关键点检测和识别，从而得到匹配的多组关键点坐标；
[0018]从匹配的多组关键点坐标中挑选出围成面积最大的4组关键点坐标，通过4组关键点坐标计算出透视投影矩阵，并根据透视投影矩阵对待识别图片进行透视变换
。
[0019]进一步的，在所述步骤5中，在使用深度学习的
ocr
算法对裁剪的可变待识别区域进行文字识别时，如果未识别到内容，则将模板图片的可变待识别区域映射到待识别图片上，再使用深度学习的
ocr
算法对映射到待识别图片上的可变待识别区域进行文字识别
。
[0020]第二方面，一种图像文本结构化提取装置，包括模板制作模块
、
位置修正模块
、
第一识别模块
、
匹配变换模块以及第二识别模块；
[0021]所述模板制作模块，用于利用具有固定格式的样本图片制作模板图片，框选模板图片中的固定参照区域和可变待识别区域；
[0022]所述位置修正模块，用于使用深度学习的
ocr
算法对模板图片进行文字检测，修正模板图片中固定参照区域的精确位置；
[0023]所述第一识别模块，用于获取待识别图片，将待识别图片的尺寸调整至与模板图片一致，使用深度学习的
ocr
算法对待识别图片进行文字识别，得到多个识别区域的字符串以及位置坐标；
[0024]所述匹配变换模块，用于将待识别图片的字符串与模板图片的固定参照区域的字符串进行比对，找出匹配到相同字符串的4组坐标点；通过4组坐标点计算出透视投影矩阵，并根据透视投影矩阵对待识别图片进行透视变换；
[0025]所述第二识别模块，用于对透视变换后的待识别图片的可变待识别区域进行裁剪，使用深度学习的
ocr
算法对裁剪的可变待识别区域进行文字识别，将识别到的字符串输出
。
[0026]进一步的，在所述模板制作模块中，框选的固定参照区域的数量大于等于4个
。
[0027]进一步的，所述位置修正模块具体为：
[0028]根据模板图片中框选出的固定参照区域的左上角坐标和右下角坐标，从模板图片中抠取固定参照区域；
[0029]使用深度学习的
ocr
算法对抠取的固定参照区域进行文字检测，从而获得文字区域的左上角坐标和右下角坐标；
[0030]将框选的固定参照区域的左上角坐标与文字区域的左上角坐标相加，同理将框选的固定参照区域的右下角坐标与文字区域的右下角坐标相加，从而得到修正后的固定参照区域的精确位置坐标
。
[0031]进一步的，在所述匹配变换模块中，在将待识别图片的字符串与模板图片的固定参照区域的字符串进行比对后，如果匹配到相同字符串的坐标点小于4组，则裁剪模板图片
中的固定参照区域，使用
opencv
将裁剪的固定参照区域逐一与待识别图片进行关键点检测和识别，从而得到匹配的多组关键点坐标；
[0032]从匹配的多组关键点坐标中挑选出围成面积最大的4组关键点坐标，通过4组关键点坐标计算出透视投影矩阵，并根据透视投影矩阵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像文本结构化提取方法，其特征在于：所述方法包括如下步骤：步骤
1、
利用具有固定格式的样本图片制作模板图片，框选模板图片中的固定参照区域和可变待识别区域；步骤
2、
使用深度学习的
ocr
算法对模板图片进行文字检测，修正模板图片中固定参照区域的精确位置；步骤
3、
获取待识别图片，将待识别图片的尺寸调整至与模板图片一致，使用深度学习的
ocr
算法对待识别图片进行文字识别，得到多个识别区域的字符串以及位置坐标；步骤
4、
将待识别图片的字符串与模板图片的固定参照区域的字符串进行比对，找出匹配到相同字符串的4组坐标点；通过4组坐标点计算出透视投影矩阵，并根据透视投影矩阵对待识别图片进行透视变换；步骤
5、
对透视变换后的待识别图片的可变待识别区域进行裁剪，使用深度学习的
ocr
算法对裁剪的可变待识别区域进行文字识别，将识别到的字符串输出
。2.
如权利要求1所述的一种图像文本结构化提取方法，其特征在于：在所述步骤1中，框选的固定参照区域的数量大于等于4个
。3.
如权利要求1所述的一种图像文本结构化提取方法，其特征在于：所述步骤2具体为：根据模板图片中框选出的固定参照区域的左上角坐标和右下角坐标，从模板图片中抠取固定参照区域；使用深度学习的
ocr
算法对抠取的固定参照区域进行文字检测，从而获得文字区域的左上角坐标和右下角坐标；将框选的固定参照区域的左上角坐标与文字区域的左上角坐标相加，同理将框选的固定参照区域的右下角坐标与文字区域的右下角坐标相加，从而得到修正后的固定参照区域的精确位置坐标
。4.
如权利要求1所述的一种图像文本结构化提取方法，其特征在于：在所述步骤4中，在将待识别图片的字符串与模板图片的固定参照区域的字符串进行比对后，如果匹配到相同字符串的坐标点小于4组，则裁剪模板图片中的固定参照区域，使用
opencv
将裁剪的固定参照区域逐一与待识别图片进行关键点检测和识别，从而得到匹配的多组关键点坐标；从匹配的多组关键点坐标中挑选出围成面积最大的4组关键点坐标，通过4组关键点坐标计算出透视投影矩阵，并根据透视投影矩阵对待识别图片进行透视变换
。5.
如权利要求1所述的一种图像文本结构化提取方法，其特征在于：在所述步骤5中，在使用深度学习的
ocr
算法对裁剪的可变待识别区域进行文字识别时，如果未识别到内容，则将模板图片的可变待识别区域映射到待识别图片上，再使用深度学习的
ocr
算法对映射到待识别图片上的可变待识别区域进行文字识别
。6.
一种图像文本结构化提取装置，其特征在于：包...

【专利技术属性】
技术研发人员：吴志雄，徐春梅，林武兴，卓智强，于宗富，
申请(专利权)人：福建南威软件有限公司，
类型：发明
国别省市：