一种目标文本提取方法及系统技术方案

本发明专利技术提供一种目标文本提取方法及系统，目标文本提取方法包括：获取原始图像集；将原始图像集输入识别网络进行训练，获取识别模型，训练过程包括：区域划分、图像区域语义标签提取和文本区域语义标签提取；获取待识别图像；将待识别图像输入识别模型进行识别，获取图像区域语义标签和文本区域语义标签；根据图像区域语义标签和文本区域语义标签，进行目标文本提取；本发明专利技术中的目标文本提取方法及系统，通过获取图像区域语义标签和文本区域语义标签，并根据图像区域语义标签和文本区域语义标签，进行目标文本提取，能够较好地提取出待识别图像中的文本区域和图像区域中的目标文本，有效提高了对待识别图像的识别精确度，成本较低，实施较方便。

【技术实现步骤摘要】
一种目标文本提取方法及系统
本专利技术涉及机器识别领域，尤其涉及一种目标文本提取方法及系统。
技术介绍
随着图像处理技术的发展，图像识别技术受到了越来越多的关注，图像识别的过程中，当待识别图像中既存在图像区域，又存在文本区域时，目前通常对其中一个区域进行识别，容易导致识别不充分，精确度较低，且不能较好地提取出文本区域和图像区域中的目标信息，存在较大不便。
技术实现思路
本专利技术提供一种目标文本提取方法及系统，以解决现有技术中当待识别图像中既存在图像区域又存在文本区域时，仅对其中一个区域进行识别，容易导致识别不充分，精确度较低，且不能较好地提取出文本区域和图像区域中的目标信息的问题。本专利技术提供的目标文本提取方法，包括：获取原始图像集；将所述原始图像集输入识别网络进行训练，获取识别模型，训练过程包括：区域划分、图像区域语义标签提取和文本区域语义标签提取；获取待识别图像；将所述待识别图像输入所述识别模型进行识别，获取图像区域语义标签和文本区域语义标签；根据所述图像区域语义标签和所述文本区域语义标签，进行目标文本提取。可选的，所述识别网络包括：卷积神经网络、图像语义识别网络和文本语义识别网络；将所述原始图像集中的原始图像输入所述卷积神经网络进行特征提取，获取一个或多个特征框；对所述特征框进行标注与分类，确定所述原始图像中的图像区域和文本区域，所述图像区域与所述文本区域相对应；将所述图像区域输入图像语义识别网络进行图像语义识别，获取图像区域语义标签；将所述文本区域输入文本语义识别网络进行文本语义识别，获取文本区域语义标签；根据所述图像区域语义标签和所述文本区域语义标签，对所述识别网络进行训练，获取所述识别模型。可选的，图像区域语义标签提取的步骤包括：对图像区域进行细化处理，获取细化图像；利用预先设置的图像增强模板，对细化图像进行图像增强，获取增强图像；对所述增强图像进行特征提取，获取图像区域特征，所述图像区域特征包括：颜色特征、形状特征和纹理特征；对所述图像区域特征进行二值化处理，获取二值化特征；根据所述二值化特征，对所述图像区域进行图像语义识别，获取图像区域语义标签。可选的，根据所述图像区域特征，对所述图像区域进行图像语义识别的步骤包括：将所述图像区域特征与图像样本库中的图像样本进行匹配，获取匹配结果；根据所述匹配结果，确定与所述图像区域特征相对应的图像样本，并获取对应图像样本的图像语义短语；将所述图像语义短语作为所述图像区域语义标签，完成所述图像区域语义标签的获取。可选的，所述形状特征的获取步骤包括：对所述增强图像进行灰度化处理，获取灰度图像和所述灰度图像中每个像素点的色度值；判断所述色度值是否超出预设的色度值阈值范围，获取判断结果；根据所述判断结果，确定所述图像区域中的目标区域；对所述目标区域进行降噪处理，获取降噪图像；将所述降噪图像输入图像语义识别网络的轮廓提取子网络进行轮廓提取，获取所述图像区域中的形状特征。可选的，文本区域语义标签提取的步骤包括：对所述文本区域进行预处理，获取预处理图像，进行预处理的步骤至少包括以下之一：灰度处理、降噪处理和归一化处理；将所述预处理图像输入文本语义识别网络进行文本检测，获取文本框；对所述文本框进行文字特征提取，获取所述文本区域的文字特征向量；将所述文字特征向量与预设的文字特征库中的特征进行对比，确定文本内容；将所述文本内容输入所述文本语义识别网络中的长短期记忆子网络进行文本区域语义标签提取，获取文本区域语义标签。可选的，根据所述图像区域语义标签和所述文本区域语义标签，进行目标文本提取的步骤包括：将所述图像区域语义标签和所述文本区域语义标签进行相似度匹配，获取所述图像区域语义标签和所述文本区域语义标签之间的匹配度；判断所述匹配度是否大于或等于预设的匹配阈值，若所述匹配度大于或等于所述匹配阈值，则确定对应所述图像区域语义标签或所述文本区域语义标签为目标文本；若所述匹配度小于所述匹配阈值范围，则根据预先设置的优先级规则，将所述图像区域语义标签或所述文本区域语义标签确定为目标文本，完成目标文本提取。可选的，根据所述图像区域语义标签和所述文本区域语义标签，利用预设的损失函数，对所述识别网络进行训练，所述损失函数的数学表达为：f（x）=α∑i[ut×log(up)+(1－ut)×log(1－up)]+β∑i|yt－yp|其中，f（x）为损失函数，α为预设的第一权值，ut为图像区域语义标签的真实值，up为图像区域语义标签的预测值，β为预设的第二权值，n为样本数量，yt为文本区域语义标签的真实值，yp为文本区域语义标签的预测值，1≤i≤n。可选的，完成目标文本提取的步骤之后包括：设置关联信息库，所述关联信息库包括：文本数据和推荐信息，所述文本数据与所述推荐信息相关联；将所述目标文本与所述文本数据进行匹配，确定对应的文本数据及对应的推荐信息；根据所述推荐信息，进行关联信息推荐。本专利技术还提供一种目标文本提取系统，包括：预处理模块，用于获取原始图像集；将所述原始图像集输入识别网络进行训练，获取识别模型，训练过程包括：区域划分、图像区域语义标签提取和文本区域语义标签提取；采集模块，用于获取待识别图像；处理模块，用于将所述待识别图像输入所述识别模型进行识别，获取图像区域语义标签和文本区域语义标签；目标文本提取模块，用于根据所述图像区域语义标签和所述文本区域语义标签，进行目标文本提取；所述预处理模块、采集模块、处理模块和目标文本提取模块连接。本专利技术的有益效果：本专利技术中的目标文本提取方法及系统，通过将原始图像集输入识别网络进行训练，获取识别模型，将待识别图像输入所述识别模型进行识别，获取图像区域语义标签和文本区域语义标签，并根据所述图像区域语义标签和文本区域语义标签，进行目标文本提取，能够较好地提取出待识别图像中的文本区域和图像区域中的目标文本，有效提高了对待识别图像的识别精确度，成本较低，实施较方便。附图说明图1是本专利技术实施例中目标文本提取方法的流程示意图。图2是本专利技术实施例中目标文本提取方法中的获取识别模型的流程示意图。图3是本专利技术实施例中目标文本提取方法中的提取图像区域语义标签的流程示意图。图4是本专利技术实施例中目标文本提取方法中的提取文本区域语义标签的流程示意图。图5是本专利技术实施例中目标文本提取方法中提取目标文本的流程示意图。图6是本专利技术实施例中目标文本提取系统的结构示意图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式本文档来自技高网...

【技术保护点】
1.一种目标文本提取方法，其特征在于，包括：/n获取原始图像集；/n将所述原始图像集输入识别网络进行训练，获取识别模型，训练过程包括：区域划分、图像区域语义标签提取和文本区域语义标签提取；/n获取待识别图像；/n将所述待识别图像输入所述识别模型进行识别，获取图像区域语义标签和文本区域语义标签；/n根据所述图像区域语义标签和所述文本区域语义标签，进行目标文本提取。/n

【技术特征摘要】
1.一种目标文本提取方法，其特征在于，包括：
获取原始图像集；
将所述原始图像集输入识别网络进行训练，获取识别模型，训练过程包括：区域划分、图像区域语义标签提取和文本区域语义标签提取；
获取待识别图像；
将所述待识别图像输入所述识别模型进行识别，获取图像区域语义标签和文本区域语义标签；
根据所述图像区域语义标签和所述文本区域语义标签，进行目标文本提取。


2.根据权利要求1所述的目标文本提取方法，其特征在于，所述识别网络包括：卷积神经网络、图像语义识别网络和文本语义识别网络；
将所述原始图像集中的原始图像输入所述卷积神经网络进行特征提取，获取一个或多个特征框；
对所述特征框进行标注与分类，确定所述原始图像中的图像区域和文本区域，所述图像区域与所述文本区域相对应；
将所述图像区域输入图像语义识别网络进行图像语义识别，获取图像区域语义标签；
将所述文本区域输入文本语义识别网络进行文本语义识别，获取文本区域语义标签；
根据所述图像区域语义标签和所述文本区域语义标签，对所述识别网络进行训练，获取所述识别模型。


3.根据权利要求1所述的目标文本提取方法，其特征在于，图像区域语义标签提取的步骤包括：
对图像区域进行细化处理，获取细化图像；
利用预先设置的图像增强模板，对细化图像进行图像增强，获取增强图像；
对所述增强图像进行特征提取，获取图像区域特征，所述图像区域特征包括：颜色特征、形状特征和纹理特征；
对所述图像区域特征进行二值化处理，获取二值化特征；
根据所述二值化特征，对所述图像区域进行图像语义识别，获取图像区域语义标签。


4.根据权利要求3所述的目标文本提取方法，其特征在于，根据所述图像区域特征，对所述图像区域进行图像语义识别的步骤包括：
将所述图像区域特征与图像样本库中的图像样本进行匹配，获取匹配结果；
根据所述匹配结果，确定与所述图像区域特征相对应的图像样本，并获取对应图像样本的图像语义短语；
将所述图像语义短语作为所述图像区域语义标签，完成所述图像区域语义标签的获取。


5.根据权利要求3所述的目标文本提取方法，其特征在于，所述形状特征的获取步骤包括：
对所述增强图像进行灰度化处理，获取灰度图像和所述灰度图像中每个像素点的色度值；
判断所述色度值是否超出预设的色度值阈值范围，获取判断结果；
根据所述判断结果，确定所述图像区域中的目标区域；
对所述目标区域进行降噪处理，获取降噪图像；
将所述降噪图像输入图像语义识别网络的轮廓提取子网络进行轮廓提取，获取所述图像区域中的形状特征。


6.根据权利要求1所述的目标文本提取方法，其特征在于，文本区域语义标签提取...

【专利技术属性】
技术研发人员：姚娟娟，樊代明，钟南山，
申请(专利权)人：明品云北京数据科技有限公司，
类型：发明
国别省市：北京;11