本申请公开了一种文档图片处理方法、装置、电子设备及可读存储介质，方法包括：获取文档图片中多个文本块对应的多个文本块信息，其中，文本块信息包括每个文本块的文本信息和坐标信息；根据每个文本块的文本信息和坐标信息，生成目标文本；根据文档图片、目标文本、多个文本块信息和预设图片处理模型，生成多个字向量、多个文本向量、多个位置向量和图像特征向量；根据多个字向量、多个文本向量、多个位置向量、图像特征向量和预设图片处理模型，确定每个文本块中每个字的标签信息；根据标签信息，确定每个文本块的文本数据。提高了文本结构化的鲁棒性以及准确性，进而有效提升了文本结构化的整体效果。结构化的整体效果。结构化的整体效果。
【技术实现步骤摘要】
文档图片处理方法、装置、电子设备及可读存储介质
[0001]本申请涉及文档图像处理
，特别是涉及一种文档图片处理方法、装置、电子设备及可读存储介质。
技术介绍
[0002]目前，在保险理赔、医疗、资料审核等领域，会用到对文档图片所包含的文本信息，通过人工智能技术进行理解、分类、提取以及信息归纳，以将各种文档图片转化成结构化的文本数据。现有技术中，一般通过光学字符识别(Optical Character Recognition，OCR)技术将文档图片转换为文本及符号，再应用自然语言处理(Natural Language Processing，NLP)技术将文档图片的文本及符号转化为结构化信息。然而，通过OCR技术抽取的文本信息可能缺失语义分割性，因此，直接使用NLP技术对OCR的文本信息进行结构化的效果大打折扣。此外，OCR技术普遍存在错字漏字的情况，使得最终得到的文本准确性较低。
技术实现思路
[0003]有鉴于此，本申请提供了一种文档图片处理方法、装置、电子设备及可读存储介质，主要目的在于解决OCR技术结合NLP技术进行文档图片的文本提取结构化效果较差，且文本准确性较低的问题。
[0004]依据本申请第一方面，提供了一种文档图片处理方法，该方法包括：
[0005]获取文档图片中多个文本块对应的多个文本块信息，其中，文本块信息包括每个文本块的文本信息和坐标信息；
[0006]根据每个文本块的文本信息和坐标信息，生成目标文本；
[0007]根据文档图片、目标文本、多个文本块信息和预设图片处理模型，生成多个字向量、多个文本向量、多个位置向量和图像特征向量；
[0008]根据多个字向量、多个文本向量、多个位置向量、图像特征向量和预设图片处理模型，确定每个文本块中每个字的标签信息；
[0009]根据标签信息，确定每个文本块的文本数据。
[0010]可选地，获取文档图片中多个文本块对应的多个文本块信息的步骤，具体包括：
[0011]获取待处理的文档图片；
[0012]将文档图片输入至预设图片处理模型进行识别，确定出文档图片中每个文本块的文本信息和坐标信息。
[0013]可选地，根据每个文本块的文本信息和坐标信息，生成目标文本的步骤，具体包括：
[0014]根据每个文本块的坐标信息，对多个文本块的多个文本信息进行拼接，生成拼接后的目标文本。
[0015]可选地，根据文档图片、目标文本、多个文本块信息和预设图片处理模型，生成多个字向量、多个文本向量、多个位置向量和图像特征向量的步骤，具体包括：
[0016]将目标文本输入预设图片处理模型，生成多个字向量；
[0017]将多个文本块信息输入预设图片处理模型，生成多个文本块对应的多个文本向量；
[0018]获取文档图片的图片格式信息；
[0019]将每个文本块的坐标信息和图片格式信息输入预设图片处理模型，生成多个文本块对应的多个位置向量；
[0020]将图片格式信息输入预设图片处理模型，生成文档图片的图像特征向量。
[0021]可选地，根据多个字向量、多个文本向量、多个位置向量、图像特征向量和预设图片处理模型，确定每个字符的标签信息的步骤，具体包括：
[0022]根据多个字向量、多个文本向量、多个位置向量和图像特征向量，生成目标向量；
[0023]对目标向量进行特征标识；
[0024]将标识后的目标向量输入预设图片处理模型，确定多个表征向量；
[0025]根据每个表征向量的特征标识，在多个表征向量中，确定文本特征对应的多个目标表征向量；
[0026]将多个目标表征向量输入预设图片处理模型，生成每个字的标签信息。
[0027]可选地，根据多个字向量、多个文本向量、多个位置向量和图像特征向量，生成目标向量的步骤，具体包括：
[0028]将多个字向量、多个文本向量和多个位置向量相加，生成文本特征向量；
[0029]拼接文本特征向量和图像特征向量，生成目标向量。
[0030]可选地，获取文档图片中多个文本块对应的多个文本块信息之前，还包括：
[0031]获取多个历史文档图片和多个历史文本；
[0032]将多个历史文档图片和多个历史文本作为文档训练数据集，对多个预设深度学习模型进行预训练，生成预设图片处理模型。
[0033]依据本申请第二方面，提供了一种文档图片处理装置，该装置包括：
[0034]获取模块，用于获取文档图片中多个文本块对应的多个文本块信息，其中，文本块信息包括每个文本块的文本信息和坐标信息；
[0035]第一生成模块，用于根据每个文本块的文本信息和坐标信息，生成目标文本；
[0036]第二生成模块，用于根据文档图片、目标文本、多个文本块信息和预设图片处理模型，生成多个字向量、多个文本向量、多个位置向量和图像特征向量；
[0037]第一确定模块，用于根据多个字向量、多个文本向量、多个位置向量、图像特征向量和预设图片处理模型，确定每个文本块中每个字的标签信息；
[0038]第二确定模块，用于根据标签信息，确定每个文本块的文本数据。
[0039]可选地，获取模块，具体用于：
[0040]获取待处理的文档图片；
[0041]将文档图片输入至预设图片处理模型进行识别，确定出文档图片中每个文本块的文本信息和坐标信息。
[0042]可选地，第一生成模块，具体用于：
[0043]根据每个文本块的坐标信息，对多个文本块的多个文本信息进行拼接，生成拼接后的目标文本。
[0044]可选地，第二生成模块，具体用于：
[0045]将目标文本输入预设图片处理模型，生成多个字向量；
[0046]将多个文本块信息输入预设图片处理模型，生成多个文本块对应的多个文本向量；
[0047]获取文档图片的图片格式信息；
[0048]将每个文本块的坐标信息和图片格式信息输入预设图片处理模型，生成多个文本块对应的多个位置向量；
[0049]将图片格式信息输入预设图片处理模型，生成文档图片的图像特征向量。
[0050]可选地，第一确定模块，具体用于：
[0051]根据多个字向量、多个文本向量、多个位置向量和图像特征向量，生成目标向量；
[0052]对目标向量进行特征标识；
[0053]将标识后的目标向量输入预设图片处理模型，确定多个表征向量；
[0054]根据每个表征向量的特征标识，在多个表征向量中，确定文本特征对应的多个目标表征向量；
[0055]将多个目标表征向量输入预设图片处理模型，生成每个字的标签信息。
[0056]可选地，该装置还包括：
[0057]第三生成模块，用于将多个字向量、多个文本向量和多个位置向量相加，生成文本特征向量；
[0058]第四生成模块，用于拼接文本特征向量和图像特征向量，生本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文档图片处理方法，其特征在于，包括：获取文档图片中多个文本块对应的多个文本块信息，其中，文本块信息包括每个文本块的文本信息和坐标信息；根据所述每个文本块的所述文本信息和所述坐标信息，生成目标文本；根据所述文档图片、所述目标文本、所述多个文本块信息和预设图片处理模型，生成多个字向量、多个文本向量、多个位置向量和图像特征向量；根据所述多个字向量、所述多个文本向量、所述多个位置向量、所述图像特征向量和所述预设图片处理模型，确定每个文本块中每个字的标签信息；根据所述标签信息，确定每个文本块的文本数据。2.根据权利要求1所述的方法，其特征在于，所述获取文档图片中多个文本块对应的多个文本块信息的步骤，具体包括：获取待处理的所述文档图片；将所述文档图片输入至所述预设图片处理模型进行识别，确定出所述文档图片中每个文本块的所述文本信息和所述坐标信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述每个文本块的所述文本信息和所述坐标信息，生成目标文本的步骤，具体包括：根据每个文本块的坐标信息，对所述多个文本块的多个文本信息进行拼接，生成拼接后的目标文本。4.根据权利要求1所述的方法，其特征在于，所述根据所述文档图片、所述目标文本、所述多个文本块信息和预设图片处理模型，生成多个字向量、多个文本向量、多个位置向量和图像特征向量的步骤，具体包括：将所述目标文本输入所述预设图片处理模型，生成所述多个字向量；将所述多个文本块信息输入所述预设图片处理模型，生成多个文本块对应的所述多个文本向量；获取所述文档图片的图片格式信息；将每个文本块的所述坐标信息和所述图片格式信息输入所述预设图片处理模型，生成多个文本块对应的所述多个位置向量；将所述图片格式信息输入所述预设图片处理模型，生成所述文档图片的图像特征向量。5.根据权利要求1所述的方法，其特征在于，所述根据所述多个字向量、所述多个文本向量、所述多个位置向量、所述图像特征向量和所述预设图片处理模型，确定每个字符的标签信息的步骤，具体包括：根据所述多个字向量、所述多个文本向量、所述多个位置向...
【专利技术属性】
技术研发人员：凌慧峰，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。