一种增值税发票识别系统及方法技术方案

本发明专利技术公开了一种增值税发票识别系统及方法，涉及票据识别领域，该系统包括PDF识别模块和图片识别模块，PDF识别模块用于对PDF形式增值税发票进行识别，以及当对PDF形式增值税发票识别失败时，基于PDF格式和图片格式间的转化，将PDF形式增值税发票转化为图片形式增值税发票；图片识别模块用于对于图片形式增值税发票以及PDF识别模块转化得到的图片形式增值税发票进行识别。本发明专利技术无需进行增值税发票文件类型的指定，便可实现增值税发票的自动识别。

【技术实现步骤摘要】
一种增值税发票识别系统及方法
本专利技术涉及票据识别领域，具体涉及一种增值税发票识别系统及方法。
技术介绍
增值税发票作为企业间交易的凭证，是核实业务往来以及报税的重要依据，此外，增值税发票对于企业的财务管理也极为重要。随着信息化进程的不断推进，当前增值税发票存在纸质发票和电子发票两种，其中，纸质发票(或打印出来的电子发票)一般通过拍照、扫描等方式电子化后以图像文件的形式进行存储，即形成图片形式增值税发票进行存储，而电子发票则一般以PDF文件格式存储，即形成PDF形式增值税发票进行存储。在实际的工作中，企业财务需要录入的发票，一般都是图片形式增值税发票和PDF形式增值税发票两种类型混合的。现有的增值税发票识别系统，很少具有对PDF形式增值税发票识别的功能，即便是有，也与图片形式增值税发票识别的功能分离，且与发票图像识别数据格式不统一，需要用户自主选择，并处理不同的数据格式，无法实现自动化区分识别同时，现有的对于图片形式增值税发票的识别一般以OCR(OpticalCharacterRecognition，光学字符识别)技术为基础，主要过程包括预处理、文字检测、文字识别和后处理，但其存在以下缺陷：(1)预处理一般为基于传统图像处理方法，但是对真实条件下复杂多变的拍照场景，如光照、旋转、模糊、扭曲、发票区域占整个图片区域小、发票区域与背景相似等情况，其处理效果差，且对高分辨率的图片处理速度慢。(2)文字检测一般为传统图像处理或基于深度学习的文字行检测方法，但只能检测水平或有轻微倾斜的文字行，无法处理大角度旋转甚至垂直的文字行。(3)文字识别一般为传统图像处理或基于深度学习的识别方法，但由于中文汉字具有以形辨字、字符数量多的特殊性，导致经常出现错识别为形似字的情况，且对模糊文字识别精度低、识别速度慢。(4)后处理一般为基于预设规则或模板的匹配方法，此类方法无法处理文字检测或文字识别出现的漏识别、错识别等情况，且对于图片上出现字段被部分遮挡、字段打印不规整、字段错行等情形，亦无法成功匹配。因此现有的图片形式增值税发票识别方法，易出现结果输出字段不全情况，输出结果只包含诸如发票代码、发票号码等较为容易匹配的字段。由上可知，现有的增值税发票识别方法对于扫描或高质量的增值税发票图片有较好的效果，但对真实场景复杂多变的拍照环境和纸质发票打印出来的各种不规整情形，识别效果较差，无法实现对于图片形式增值税发票和PDF形式增值税发票两种形式发票的有效识别。
技术实现思路
针对现有技术中存在的缺陷，本专利技术的目的在于提供一种增值税发票识别系统及方法，无需进行增值税发票文件类型的指定，便可实现增值税发票的自动识别。为达到以上目的，本专利技术提供的一种增值税发票识别系统，包括：PDF识别模块，其用于对PDF形式增值税发票进行识别，以及当对PDF形式增值税发票识别失败时，基于PDF格式和图片格式间的转化，将PDF形式增值税发票转化为图片形式增值税发票；图片识别模块，其用于对于图片形式增值税发票以及PDF识别模块转化得到的图片形式增值税发票进行识别。在上述技术方案的基础上，所述PDF识别模块包括信息提取模块和字段提取模块；所述信息提取模块用于解析PDF形式增值税发票的PDF文件数据，得到PDF文件数据中每个字符的文字内容和位置坐标；所述字段提取模块用于基于预设规则，将信息提取模块得到的每个字符的文字内容和位置坐标，组合为key-value形式的字段，并得到每个字段对应文字内容的位置坐标。在上述技术方案的基础上，所述预设规则为基于增值税电子发票的版式规则，得到的各个字符的空间位置关系和各个字符的文字内容的正则关系。在上述技术方案的基础上，所述图片识别模块包括区域分割模块、文字检测模块、模型连接模块、文字识别模块、版面分析模块、字段提取模块和结果校验模块；所述区域分割模块用于将图片形式增值税发票所在图片中的发票区域进行分割，得到增值税发票图片；所述文字检测模块用于检测增值税发票图片上文字行所在的位置，得到文字行的边界框坐标，所述文字行为多个，且每个文字行对应一边界框坐标；所述模型连接模块用于将文字检测模块检测得到的文字行的边界框坐标所在区域转化为图片，得到文字行图片；所述文字识别模块用于对文字行图片上的文字内容进行识别；所述版面分析模块用于基于文字行的边界框坐标、文字行间的相对位置和识别得到的文字行的文字内容，得到每个文字行所属的字段类别；所述字段提取模块用于基于文字行所属的字段类别，将文字行的文字内容组合成key-value形式的字段，并得到每个字段对应文字内容的位置坐标，输出识别结果；所述结果校验模块用于对识别结果进行校验。在上述技术方案的基础上，所述区域分割模块将图片形式增值税发票所在图片中的发票区域进行分割，得到增值税发票图片，具体过程为：基于FastSCNN，得到图片形式增值税发票所在图片的方向，以及图片形式增值税发票所在图片中的发票区域掩膜；对得到的发票区域掩膜进行轮廓检测，并基于透视变换技术将图片形式增值税发票所在图片中的发票区域进行裁剪；根据得到的图片形式增值税发票所在图片的方向，对裁剪得到的发票区域进行对应旋转，得到方向为正，且发票区域占满整张图片的增值税发票图片。在上述技术方案的基础上，所述模型连接模块将文字检测模块检测得到的文字行的边界框坐标所在区域转化为图片，得到文字行图片，具体过程为：基于透视变换技术，并根据文字行的边界框坐标，对增值税发票图片中的文字行进行裁剪，得到文字行图片，且每张文字行图片仅包括一行文字，且文字行图片的方向为正。在上述技术方案的基础上，所述文字识别模块对文字行图片上的文字内容进行识别，具体的，文字识别模块基于CRNN+CTC模型对文字行图片上的文字内容进行识别；所述CRNN+CTC模型在对文字行图片进行识别时，将宽高比相近的文字行图片合并成一个批次，输入CRNN+CTC模型以进行文字内容识别；所述CRNN+CTC模型有提取图像特征的卷积神经网络backbone、提取语义特征的循环神经网络languagemodel和计算损失的CTCLoss串联组成；所述卷积神经网络backbone和循环神经网络languagemodel之间设有可插拔的超分辨率模块，所述超分辨率模块用于在卷积神经网络backbone的输出之后添加一个与循环神经网络languagemodel平行的分支，利用上采样结构将输入恢复到与输入相同的尺寸；所述CRNN+CTC模型还用于根据语料统计字符出现的频率，并采用Huffman树的形式对字符进行编码。在上述技术方案的基础上，所述版面分析模块基于文字行的边界框坐标、文字行间的相对位置和识别得到的文字行的文字内容，得到每个文字行所属的字段类别，具体的，基于文字行的边界框坐标、文字行间的相对位置和识别得到的文字行的文字内本文档来自技高网...

【技术保护点】
1.一种增值税发票识别系统，其特征在于，包括：/nPDF识别模块，其用于对PDF形式增值税发票进行识别，以及当对PDF形式增值税发票识别失败时，基于PDF格式和图片格式间的转化，将PDF形式增值税发票转化为图片形式增值税发票；/n图片识别模块，其用于对于图片形式增值税发票以及PDF识别模块转化得到的图片形式增值税发票进行识别。/n

【技术特征摘要】
1.一种增值税发票识别系统，其特征在于，包括：
PDF识别模块，其用于对PDF形式增值税发票进行识别，以及当对PDF形式增值税发票识别失败时，基于PDF格式和图片格式间的转化，将PDF形式增值税发票转化为图片形式增值税发票；
图片识别模块，其用于对于图片形式增值税发票以及PDF识别模块转化得到的图片形式增值税发票进行识别。


2.如权利要求1所述的一种增值税发票识别系统，其特征在于：
所述PDF识别模块包括信息提取模块和字段提取模块；
所述信息提取模块用于解析PDF形式增值税发票的PDF文件数据，得到PDF文件数据中每个字符的文字内容和位置坐标；
所述字段提取模块用于基于预设规则，将信息提取模块得到的每个字符的文字内容和位置坐标，组合为key-value形式的字段，并得到每个字段对应文字内容的位置坐标。


3.如权利要求2所述的一种增值税发票识别系统，其特征在于：所述预设规则为基于增值税电子发票的版式规则，得到的各个字符的空间位置关系和各个字符的文字内容的正则关系。


4.如权利要求1所述的一种增值税发票识别系统，其特征在于：
所述图片识别模块包括区域分割模块、文字检测模块、模型连接模块、文字识别模块、版面分析模块、字段提取模块和结果校验模块；
所述区域分割模块用于将图片形式增值税发票所在图片中的发票区域进行分割，得到增值税发票图片；
所述文字检测模块用于检测增值税发票图片上文字行所在的位置，得到文字行的边界框坐标，所述文字行为多个，且每个文字行对应一边界框坐标；
所述模型连接模块用于将文字检测模块检测得到的文字行的边界框坐标所在区域转化为图片，得到文字行图片；
所述文字识别模块用于对文字行图片上的文字内容进行识别；
所述版面分析模块用于基于文字行的边界框坐标、文字行间的相对位置和识别得到的文字行的文字内容，得到每个文字行所属的字段类别；
所述字段提取模块用于基于文字行所属的字段类别，将文字行的文字内容组合成key-value形式的字段，并得到每个字段对应文字内容的位置坐标，输出识别结果；
所述结果校验模块用于对识别结果进行校验。


5.如权利要求4所述的一种增值税发票识别系统，其特征在于，所述区域分割模块将图片形式增值税发票所在图片中的发票区域进行分割，得到增值税发票图片，具体过程为：
基于FastSCNN，得到图片形式增值税发票所在图片的方向，以及图片形式增值税发票所在图片中的发票区域掩膜；
对得到的发票区域掩膜进行轮廓检测，并基于透视变换技术将图片形式增值税发票所在图片中的发票区域进行裁剪；
根据得到的图片形式增值税发票所在图片的方向，对裁剪得到的发票区域进行对应旋转，得到方向为正，且发票区域占满整张图片的增值税发票图片。


6.如权利要求4所述的一种增值税发票识别系统，其特征在于，所述模型连接模块...

【专利技术属性】
技术研发人员：严博宇，汤佳敏，王飞，
申请(专利权)人：武汉天喻信息产业股份有限公司，
类型：发明
国别省市：湖北;42