【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种图像中文本的处理方法及相关装置。
技术介绍
1、在一些场景中，需要对包含文本的图像中的部分或全部文本进行处理，使其满足用户的要求，比如，在某些场景中，用户希望将包含文本的图像中的部分或全部文本隐藏，在另一些场景中，用户希望将包含文本的图像中的部分或全部文本编辑为其他文本（比如，将图像中的英文文本编辑为对应的中文文本）。而如何将包含文本的图像处理成满足用户要求的图像是目前亟需解决的问题。
技术实现思路
1、有鉴于此，本申请提供了一种图像中文本的处理方法及相关装置，用以将包含文本的图像处理成满足用户要求的图像，其技术方案如下：
2、本申请第一方面提供一种图像中文本的处理方法，其包括：
3、获取目标图像，其中，所述目标图像中包含文本；
4、对所述目标图像进行文本行属性检测，得到所述目标图像中文本行的文本行属性；
5、对所述目标图像中的文本行进行文字属性识别，得到所述目标图像中文本行的文字属性；
6、获取用户从检测得到的文本行属性和识别得到的文字属性中选取的属性，作为目标文本属性；
7、对所述目标图像中所述目标文本属性的文本行进行擦除处理或编辑处理。
8、在一种可能的实现方式中，所述文本行属性包括如下属性中的部分或全部：文本行的位置、文本行的字体、文本行的旋转角度；
9、所述文字属性包括如下属性中的部分或全部：文字内容、文字位置、文字方向、文字语种。
11、利用预先训练得到的文本行属性检测模型，对所述目标图像进行文本行位置以及文本行字体属性检测，得到所述目标图像中文本行的位置和字体，其中，所述文本行属性检测模型采用标注出真实文本行位置和真实文本行字体的训练图像训练得到；
12、根据所述目标图像中文本行的位置，确定所述目标图像中文本行的旋转角度。
13、在一种可能的实现方式中，所述文本行属性检测模型的训练过程包括：
14、利用文本行属性检测模型，对所述训练图像提取多个尺度的视觉特征，并将对所述训练图像提取的多个尺度的视觉特征融合，得到所述训练图像的多尺度融合特征；
15、利用文本行属性检测模型，以所述训练图像的多尺度融合特征为依据，预测所述训练图像中文本行的位置和字体，得到第一预测结果；
16、根据对所述训练图像提取的每个尺度的视觉特征，预测所述训练图像中文本行的位置和字体，得到多个第二预测结果；
17、获取所述训练图像的文本语义特征，将所述训练图像的文本语义特征与所述训练图像的多尺度融合特征融合，根据融合后特征预测所述训练图像中文本行的位置和字体，得到第三预测结果；
18、以使获得的每个预测结果趋近于所述训练图像的标注信息为目标，对文本行属性检测模型进行参数更新。
19、在一种可能的实现方式中，所述对所述目标图像中的文本行进行文字属性识别，得到所述目标图像中文本行的文字属性，包括：
20、利用预先训练得到的文字属性识别模型，对所述目标图像中的文本行所在的区域提取视觉特征，并根据所述视觉特征获取文本时序特征；
21、利用所述文字属性识别模型，以所述视觉特征为依据，确定所述目标图像中文本行的文字方向；
22、利用所述文字属性识别模型，以所述文本时序特征为依据，获取所述目标图像中文本行的文字内容和文字位置；其中，所述文字属性识别模型采用标注出真实文字方向、真实文字内容以及真实文字位置的训练文本行图像训练得到；
23、对所述目标图像中文本行的文字内容进行语种识别，得到所述目标图像中文本行的文字语种。
24、在一种可能的实现方式中，所述对所述目标图像中所述目标文本属性的文本行进行擦除处理，包括：
25、根据所述目标文本属性的文本行的位置，生成擦除区域掩膜，其中，所述擦除区域掩膜与所述目标图像的尺寸相同，所述擦除区域掩膜能够指示所述目标图像中需要擦除的区域；
26、利用所述擦除区域掩膜，将所述目标图像中所述目标文本属性的文本行擦除。
27、在一种可能的实现方式中，对所述目标图像中所述目标文本属性的文本行进行编辑处理，包括：
28、对所述目标图像中所述目标文本属性的文本行进行擦除处理，得到擦除后图像；
29、获取所述目标文本属性的文本行对应的编辑后文本；
30、根据所述目标文本属性的文本行的位置，将所述目标文本属性的文本行对应的编辑后文本贴在所述擦除后图像中。
31、在一种可能的实现方式中，所述根据所述目标文本属性的文本行的位置，将所述目标文本属性的文本行对应的编辑后文本贴在所述擦除后图像中，包括：
32、根据所述目标文本属性的文本行的位置，同时结合所述目标文本属性的文本行的字体和/或文字方向，将所述目标文本属性的文本行对应的编辑后文本贴在所述擦除后图像中。
33、在一种可能的实现方式中，所述将所述目标文本属性的文本行对应的编辑后文本贴在所述擦除后图像中，包括：
34、确定所述目标文本属性的文本行的文字前景色；
35、按所述目标文本属性的文本行的文字前景色，将所述目标文本属性的文本行对应的编辑后文本贴在所述擦除后图像中。
36、在一种可能的实现方式中，所述确定所述目标文本属性的文本行的文字前景色，包括：
37、获取目标文本图像，其中，所述目标文本图像为尺寸与所述目标图像的尺寸相同，且只包括所述目标文本图像中所述目标文本属性的文本行的文字笔画的图像；
38、根据所述目标文本属性的文本行中每个文字的位置，确定所述目标文本图像中每个文字所在的区域；
39、通过对所述目标文本图像中每个文字所在的区域中的文字笔画进行前景色聚类，来确定所述目标文本属性的文本行的每个文字的前景色；
40、根据所述目标文本属性的文本行的每个文字的相邻字的前景色差异情况，确定所述目标文本属性的文本行的每个文字的最终前景色。
41、在一种可能的实现方式中，所述对所述目标图像中所述目标文本属性的文本行进行擦除处理，得到擦除后图像，以及，所述获取目标文本图像，包括：
42、根据所述目标文本属性的文本行的位置，生成擦除区域掩膜，其中，所述擦除区域掩膜与所述目标图像的尺寸相同，所述擦除区域掩膜能够指示所述目标图像中需要擦除的区域；
43、将所述目标图像以及所述擦除区域掩膜输入预先训练得到的文本擦除模型，得到所述文本擦除模型输出的擦除后图像以及目标文本图像；
44、其中，所述文本擦除模型以训练图像和训练图像对应的擦除区域掩膜为训练样本，以训练图像对应的真实擦除后图像和擦除文本图像为样本标签训练得到，所述擦除文本图像为与训练图像本文档来自技高网...
【技术保护点】
1.一种图像中文本的处理方法，其特征在于，包括：
2.根据权利要求1所述的图像中文本的处理方法，其特征在于，所述文本行属性包括如下属性中的部分或全部：文本行的位置、文本行的字体、文本行的旋转角度；
3.根据权利要求1所述的图像中文本的处理方法，其特征在于，所述对所述目标图像进行文本行属性检测，得到所述目标图像中文本行的文本行属性，包括：
4.根据权利要求3所述的图像中文本的处理方法，其特征在于，所述文本行属性检测模型的训练过程包括：
5.根据权利要求1所述的图像中文本的处理方法，其特征在于，所述对所述目标图像中的文本行进行文字属性识别，得到所述目标图像中文本行的文字属性，包括：
6.根据权利要求1所述的图像中文本的处理方法，其特征在于，所述对所述目标图像中所述目标文本属性的文本行进行擦除处理，包括：
7.根据权利要求1所述的图像中文本的处理方法，其特征在于，对所述目标图像中所述目标文本属性的文本行进行编辑处理，包括：
8.根据权利要求7所述的图像中文本的处理方法，其特征在于，所述根据所述目标文本属
9.根据权利要求7或8所述的图像中文本的处理方法，其特征在于，所述将所述目标文本属性的文本行对应的编辑后文本贴在所述擦除后图像中，包括：
10.根据权利要求9所述的图像中文本的处理方法，其特征在于，所述确定所述目标文本属性的文本行的文字前景色，包括：
11.根据权利要求10所述的图像中文本的处理方法，其特征在于，所述对所述目标图像中所述目标文本属性的文本行进行擦除处理，得到擦除后图像，以及，所述获取目标文本图像，包括：
12.一种图像中文本的处理装置，其特征在于，包括：图像获取模块、文本行属性检测模块、文字属性识别模块、目标文本属性获取模块和文本处理模块；
13.一种电子设备，其特征在于，包括至少一个处理器和与所述处理器连接的存储器，其中：
14.一种计算机存储介质，其特征在于，所述存储介质承载有一个或多个计算机程序，当所述一个或多个计算机程序被电子设备执行时，能够使所述电子设备实现如权利要求1~11中任意一项所述的图像中文本的处理方法的步骤。
15.一种计算机程序产品，其特征在于，包括计算机可读指令，当所述计算机可读指令在电子设备上运行时，使得所述电子设备实现如权利要求1~11中任意一项所述的图像中文本的处理方法的步骤。
...【技术特征摘要】
1.一种图像中文本的处理方法，其特征在于，包括：
2.根据权利要求1所述的图像中文本的处理方法，其特征在于，所述文本行属性包括如下属性中的部分或全部：文本行的位置、文本行的字体、文本行的旋转角度；
3.根据权利要求1所述的图像中文本的处理方法，其特征在于，所述对所述目标图像进行文本行属性检测，得到所述目标图像中文本行的文本行属性，包括：
4.根据权利要求3所述的图像中文本的处理方法，其特征在于，所述文本行属性检测模型的训练过程包括：
5.根据权利要求1所述的图像中文本的处理方法，其特征在于，所述对所述目标图像中的文本行进行文字属性识别，得到所述目标图像中文本行的文字属性，包括：
6.根据权利要求1所述的图像中文本的处理方法，其特征在于，所述对所述目标图像中所述目标文本属性的文本行进行擦除处理，包括：
7.根据权利要求1所述的图像中文本的处理方法，其特征在于，对所述目标图像中所述目标文本属性的文本行进行编辑处理，包括：
8.根据权利要求7所述的图像中文本的处理方法，其特征在于，所述根据所述目标文本属性的文本行的位置，将所述目标文本属性的文本行对应的编辑后文本贴在所述擦除后图像中，包括：
9.根据...
【专利技术属性】
技术研发人员：吴爱红，李天鹏，张银田，陈明军，殷保才，王士进，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。