快递面单识别和自矫正方法、识别系统技术方案

本发明专利技术公开了一种快递面单识别和自矫正方法、识别系统。其中快递面单识别和自矫正方法，包括：获取快递的图像进行文本块检测，并对文本块的字符内容进行预识别；根据预识别的文本块的字符内容以及文本块的位置进行关系匹配分析，从而得到文本块的相互关系以及文本块的类别；根据文本块的相互关系以及文本块预识别的字符，对文本块预识别的字符分别进行推理实现自矫正；将自矫正的字符信息和文本块类别作为快递面单的识别结果。本发明专利技术可以提高快递面单的识别准确率，并且适用范围更广。并且适用范围更广。并且适用范围更广。

【技术实现步骤摘要】
快递面单识别和自矫正方法、识别系统


[0001]本专利技术涉及OCR识别(Optical Character Recognition，光学字符识别)的
，尤其涉及一种快递面单识别和自矫正方法。

技术介绍

[0002]由于当前不同快递公司的包裹，收件人、发件人的信息很难获取和共享，导致乡镇级快递转发站无法直接对接收快递进行分选，为了减轻人工分选的工作量，需要通过OCR技术对快递面单进行识别。但是不同公司快递面单的版面结构差异很大，单纯基于视觉进行版面分析难度较大，并且很多快递面单都存在随意涂抹和面单缺失等问题，导致常规OCR算法准确率较低。
[0003]当前，快递面单信息的识别通常是将快递面单当成一种特殊的复杂表格，通过表格版面分析和字符OCR算法进行解析识别，主要有三种方法：
[0004]1.直接检测文本框位置。通过目标检测或语义分割等视觉算法，检测出文本框的具体位置，同时对文本框进行OCR识别，然后从文本框的空间排布信息推导出行、列、单元格信息，结合各文本框的文本内容生成电子表格。但是这种方法极度依赖OCR检测结果和人工设计的规则，对于不同样式的快递面单，需分别做针对性开发，对于新的快递面单格式适配性和拓展性非常差。
[0005]2.检测表格线进行版面分析。通过目标检测算法检测角点，或者运用图像形态学变换、纹理提取、边缘检测等手段提取表格线，再由角点和表格线推导行、列、合并单元格的信息，然后对单元格内文本框进行OCR识别，最后结合版面分析结果生成电子表格。但是这种方法需要有比较清晰完整的表格线，不适合用于快递面单这种无线条复杂表格的版面分析。
[0006]3.神经网络端到端学习。通过专门设计的神经网络模型，比如TableBank等，使用image to text技术，将表格图片识别转为某种结构化描述语言(比如html定义表格结构的标签)，其中包含了表格版面格式和文本内容，可直接生成电子表格。这种解决方案的鲁棒性较差，对于不同类型的快递面单，容易出现个别类型面单识别效果较差的情况，且无法从中间步骤干预修复，模型修复调整难度大，不适合工程落地。
[0007]因此，如何提供一种识别准确率比较高的快递面单识别和自矫正方法是待解决的技术问题。

技术实现思路

[0008]为了解决现有技术中的识别算法准确度不高、应用范围较窄的技术问题，本专利技术提出了快递面单识别和自矫正方法、识别系统。
[0009]本专利技术提出的快递面单识别和自矫正方法，包括：
[0010]步骤1，获取快递面单的图像进行文本块检测，并对文本块的字符内容进行预识别；
[0011]步骤2，根据预识别的文本块的字符内容以及文本块的位置进行关系匹配分析，从而得到文本块之间的相互关系以及各文本块的类别；
[0012]步骤3，根据文本块之间的相互关系以及预识别的文本块的字符内容，进行语义分析，对文本块的字符内容分别进行推理实现自矫正；
[0013]步骤4，将自矫正得到的字符信息以及文本块的类别作为快递面单的识别结果。
[0014]进一步，从视频流中截取数据帧，并将数据帧输入到预置的快递面单检测模型中获取所述快递面单的图像。
[0015]进一步，所述步骤2包括：
[0016]步骤2.1，以文本块为单位，对各文本块进行嵌入编码，每一个文本块编码为一个嵌入向量，将所有文本块的嵌入向量进行拼接、变换得到以快递面单为单位的所有文本块的编码矩阵；
[0017]步骤2.2，分析各文本块之间的相对位置关系，得到一个快递面单的所有文本块的位置编码矩阵；
[0018]步骤2.3，将一个快递面单的所有文本块的编码矩阵和位置编码矩阵进行多头自注意力推理，提取每一个文本块与其他文本块之间的语义关系，并形成关系匹配矩阵；
[0019]步骤2.4，基于所述关系匹配矩阵得到所述文本块的类别。
[0020]进一步，所述步骤2.1包括：
[0021]采用分词算法将每一个文本块的文本内容进行分词处理，得到S([c1,c2,ci,
……
,cn]),其中ci为文本的最小语义单元，通过词表查询，将文本映射为一维的文本词向量S0，向量长度为L0；
[0022]根据文本块编号顺序，将各文本词向量拼接为文本映射矩阵其中M0为文本块最大数量；
[0023]设置2个可训练的矩阵变量和N0为模型隐变量的长度，通过E
t
＝Z
t
×
K
t
+b
t
计算出该快递面单的文本块的编码矩阵
[0024]进一步,所述步骤2.2包括：
[0025]将各文本块的中心点坐标按照一定顺序进行排序编号，得到的文本块编号记为d，对应的位置编码向量长度为N0，数值均为P
d
，其中P
d
的计算公式为
[0026][0027]将文本块编码向量按照编号顺序，拼接为位置编码矩阵
[0028]进一步，所述关系匹配矩阵经过FFN网络推理得到所述文本块的类别，进行推理时的损失函数的计算公式为其中，M0为文本块最大数量，types为文本块的类别的数量，y
di
为某个类别的标签值，y
di_pre_prob
是推理时输出该类别的概率值。
[0029]进一步，所述步骤3包括：
[0030]步骤3.1，对每一个文本块内部的字符进行嵌入编码，得到每一个文本块的字符编码矩阵；
[0031]步骤3.2，将一个快递面单的关系匹配矩阵和其所有的字符编码矩阵进行拼接，得到文本块输入编码矩阵，所述拼接公式为X
i
＝RE
i
||E
i
，RE
i
是第i个文本块对应的关系匹配向量，长度为N0，E
i
是第i个文本块对应的字符Embeddings编码矩阵，形状为[L0,N0]，X
i
表示第i个文本块输入编码矩阵，形状为[L0+1,N0]；
[0032]步骤3.3，将文本块输入编码矩阵进行多头自注意力推理，得到字符特征矩阵；
[0033]步骤3.4，基于字符特征矩阵得到矫正后的各文本块的编码矩阵。
[0034]进一步，所述步骤3.1包括：
[0035]采用分词算法将文本块预识别的字符进行分词处理，得到S([c1,c2,ci,
……
,cn]),其中ci为字符的最小语义单元；
[0036]通过词表查询，将文本映射为一维的文本词向量S0，向量长度为L0；
[0037]设置可训练的字典矩阵和
[0038]基于两个字典矩阵计算得到文本块对应的字符编码矩阵。
[0039]本专利技术提出的快递面单识别系统，包括：
[0040]摄像头，用于获取图像；
[0041]工控机，用于从图像中获取格式文本的图像进行文本块检测，并对文本块的文本内容进行预识别，根据预识别的文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种快递面单识别和自矫正方法，其特征在于，包括：步骤1，获取快递面单的图像进行文本块检测，并对文本块的字符内容进行预识别；步骤2，根据预识别的文本块的字符内容以及文本块的位置进行关系匹配分析，从而得到文本块之间的相互关系以及各文本块的类别；步骤3，根据文本块之间的相互关系以及预识别的文本块的字符内容，进行语义分析，对文本块的字符内容分别进行推理实现自矫正；步骤4，将自矫正得到的字符信息以及文本块类别作为快递面单的识别结果。2.如权利要求1所述的快递面单识别和自矫正方法，其特征在于，从视频流中截取数据帧，并将数据帧输入到预置的快递面单检测模型中获取所述快递面单的图像。3.如权利要求1所述的快递面单识别和自矫正方法，其特征在于，所述步骤2包括：步骤2.1，以文本块为单位，对各文本块进行嵌入编码，每一个文本块编码为一个嵌入向量，将所有文本块的嵌入向量进行拼接、变换得到以快递面单为单位的所有文本块的编码矩阵；步骤2.2，分析各文本块之间的相对位置关系，得到一个快递面单的所有文本块的位置编码矩阵；步骤2.3，将一个快递面单的所有文本块的编码矩阵和位置编码矩阵进行多头自注意力推理，提取每一个文本块与其他文本块之间的语义关系，并形成关系匹配矩阵；步骤2.4，基于所述关系匹配矩阵得到所述文本块的类别。4.如权利要求3所述的快递面单识别和自矫正方法，其特征在于，所述步骤2.1包括：采用分词算法将每一个文本块的文本内容进行分词处理，得到S([c1,c2,ci,
……
,cn]),其中ci为文本的最小语义单元，通过词表查询，将文本映射为一维的文本词向量S0，向量长度为L0；根据文本块编号顺序，将各文本词向量拼接为文本映射矩阵其中M0为文本块最大数量；设置2个可训练的矩阵变量和N0为模型隐变量的长度，通过E
t
＝Z
t
×
K
t
+b
t
计算出该快递面单的文本块的编码矩阵5.如权利要求4所述的快递面单识别和自矫正方法，其特征在于,所述步骤2.2包括：将各文本块的中心点坐标按照一定顺序进行排序编号，得到的文本块编号记为d，对应的位置编码向量长度为N0，数值均为P
d
，其中P
d
的计算公式为将文本块编码向...

【专利技术属性】
技术研发人员：窦毅，王晓浩，温燕香，唐经航，田昊洋，
申请(专利权)人：广西桂华智能制造有限公司，
类型：发明
国别省市：