文字检测方法、电子设备、存储介质及计算机程序产品技术

本申请实施例提供一种文字检测方法、电子设备、存储介质及计算机程序产品。方法包括：获取待处理图像；将待处理图像输入文字检测模型，获得待处理图像中的至少一个文字框和至少一个中心线，文字框是包围预测文字区域中的至少一部分区域的框，中心线是预测文字区域的中心线；对至少一个文字框和至少一个中心线进行聚类，获得至少一个框线组合，每个框线组合包括单个中心线以及一个或多个文字框；对于至少一个框线组合中的任一框线组合，基于该框线组合中的中心线和/或文字框确定该框线组合所对应的预测文字区域的位置信息。通过文字框和中心线的组合就可以有效检测弯曲文字以及拥有极大长宽比的文字。极大长宽比的文字。极大长宽比的文字。

【技术实现步骤摘要】
文字检测方法、电子设备、存储介质及计算机程序产品


[0001]本申请涉及图像处理
，更具体地涉及一种文字检测方法、电子设备、存储介质及计算机程序产品。

技术介绍

[0002]现有的文字检测技术方案根据模型预测方式可以划分为3类：基于回归的检测方案、基于分割的检测方案以及混合二者的检测方案，三者各有优缺点。基于回归的检测方案召回率更高，对于文字排列方向更敏感，但是对于弯曲文字及长宽比较大文字的检测效果不好。基于分割的检测方案能有效解决基于回归方案的缺点，但是对文字排列方向不敏感，因此对网格排版文字检测效果不好，同时也不能较好地检测存在重叠的文字。因此，混合上述二者产生的方案可以取长补短，取得更优结果，但是大部分混合方案的模型结构比较复杂，且若要适用于弯曲文字检测，多数方案是基于先回归后分割的串行结构(先通过回归检测矩形框，再通过分割完成弯曲文字区域检测)或者依赖更昂贵的单字符标注，因此在实用性上很受限制。

技术实现思路

[0003]考虑到上述问题而提出了本申请。本申请提供了一种文字检测方法、目标检测方法、电子设备、存储介质及计算机程序产品。
[0004]根据本申请一方面，提供了一种文字检测方法，包括：获取待处理图像；将待处理图像输入文字检测模型，获得待处理图像中的至少一个文字框和至少一个中心线，文字框是包围预测文字区域中的至少一部分区域的框，中心线是预测文字区域的中心线；对至少一个文字框和至少一个中心线进行聚类，获得至少一个框线组合，每个框线组合包括单个中心线以及一个或多个文字框；对于至少一个框线组合中的任一框线组合，基于该框线组合中的中心线和/或文字框确定该框线组合所对应的预测文字区域的位置信息。
[0005]示例性地，对至少一个文字框和至少一个中心线进行聚类，获得至少一个框线组合包括：计算至少一个文字框中的任一文字框与至少一个中心线中的任一中心线之间的关联度；对于任一文字框，将该文字框与相关中心线聚类到同一组合用于构成与相关中心线相对应的框线组合，其中，相关中心线是与该文字框之间的关联度最大且关联度超过第一关联度阈值的中心线。
[0006]示例性地，对至少一个文字框和至少一个中心线进行聚类，获得至少一个框线组合还包括：如果存在零散文字框，则计算零散文字框与任一特定框线组合中的每个文字框之间的关联度以及相对位置关系，零散文字框是不属于任何框线组合的文字框；如果零散文字框与特定框线组合中的任一特定文字框之间的关联度大于第二关联度阈值且零散文字框与特定文字框之间的相对位置关系满足目标要求，则将零散文字框分配给特定框线组合。
[0007]示例性地，位置信息包括区域轮廓，基于该框线组合中的文字框确定该框线组合
所对应的预测文字区域的位置信息包括：针对该框线组合中的第一部分文字框，将第一部分文字框按目标延伸方向排列，获得排列文字框集合，其中，目标延伸方向为第二部分文字框各自包含的特征点的连线的延伸方向，第一部分文字框是该框线组合中的至少部分文字框，第二部分文字框是第一部分文字框中的至少部分文字框；沿着顺时针或逆时针的方向，将排列文字框集合中的至少部分角点连接在一起，获得区域轮廓。
[0008]示例性地，沿着顺时针或逆时针的方向，将排列文字框集合中的至少部分角点连接在一起，获得区域轮廓包括：循环执行以下角点连接操作直至排列文字框集合中的至少部分角点全部连接完成：沿着顺时针或逆时针的方向，将当前文字框集合中的前两个文字框的至少部分角点连接在一起，获得新的文字框，并将新的文字框与当前文字框集合中的剩余文字框确定为新的文字框集合，其中，在执行第一次角点连接操作时当前文字框集合为排列文字框集合，任一次角点连接操作所确定的新的文字框集合为下一次角点连接操作所对应的当前文字框集合。
[0009]示例性地，沿着顺时针或逆时针的方向，将当前文字框集合中的前两个文字框的至少部分角点连接在一起，获得新的文字框包括：在当前文字框集合中的前两个文字框不存在交集的情况下，沿着顺时针或逆时针的方向将前两个文字框中的所有角点连接在一起，获得新的文字框；在当前文字框集合中的前两个文字框存在交集的情况下，舍弃前两个文字框中位于左侧的文字框的右上角点以及位于右侧的文字框的左下角点，并沿着顺时针或逆时针的方向将剩余的角点连接在一起，获得新的文字框。
[0010]示例性地，在针对该框线组合中的第一部分文字框，将第一部分文字框按目标延伸方向排列之前，基于该框线组合中的文字框确定该框线组合所对应的预测文字区域的位置信息还包括：将该框线组合中面积大于标准文字框的面积的第一目标倍数的文字框和/或面积小于标准文字框的第二目标倍数的文字框过滤掉，获得第一部分文字框，其中，标准文字框是该框线组合中面积处于中位数的文字框。
[0011]示例性地，位置信息包括区域轮廓，基于该框线组合中的中心线确定该框线组合所对应的预测文字区域的位置信息包括：将该框线组合中的中心线的高度膨胀为第一目标高度，其中，第一目标高度为固定值，或者第一目标高度为第一高度和第二高度的平均值，或者第一目标高度等于中心线在膨胀前的高度按目标膨胀系数膨胀后达到的高度，第一高度为该框线组合中的位于最左侧的文字框的左侧边的高度，第二高度为该框线组合中的位于最右侧的文字框的右侧边的高度；确定膨胀后的中心线的轮廓线为区域轮廓。
[0012]示例性地，基于该框线组合中的中心线确定该框线组合所对应的预测文字区域的位置信息的步骤在该框线组合中的中心线超出目标范围的情况下执行，目标范围是基于该框线组合中的文字框确定的区域轮廓的范围。
[0013]示例性地，文字检测模型通过以下方式训练获得：获取样本图像和文字框标注数据，文字框标注数据包括初始文字框的位置信息，初始文字框是包围样本图像中的真实文字区域的文字框；将初始文字框划分成目标数目的样本文字框；基于目标数目的样本文字框，确定样本中心线，样本中心线是真实文字区域的中心线；基于样本图像、目标数目的样本文字框以及样本中心线，对文字检测模型进行训练。
[0014]示例性地，基于目标数目的样本文字框，确定样本中心线包括：对于目标数目的样本文字框中的位于第一长边上的任一角点与目标数目的样本文字框中的位于相对的第二
长边上的对应角点，确定这两个角点的中心点；将所有中心点连接起来，获得初始中心线；确定初始中心线或新中心线为样本中心线；其中，新中心线通过以下方式获得：将初始中心线的两端按目标比例收缩；和/或，将初始中心线的高度膨胀为第二目标高度。
[0015]示例性地，将初始文字框划分成目标数目的样本文字框包括：将初始文字框的第一长边按照目标数目均分，获得第一组角点；将初始文字框的第二长边按照目标数目均分，获得第二组角点；将第一组角点中的每两个相邻的角点与第二组角点中的两个对应的相邻角点组合在一起，形成样本文字框。
[0016]根据本申请的另一方面，还提供了一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述的文字检测方法。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文字检测方法，包括：获取待处理图像；将所述待处理图像输入文字检测模型，获得所述待处理图像中的至少一个文字框和至少一个中心线，所述文字框是包围预测文字区域中的至少一部分区域的框，所述中心线是预测文字区域的中心线；对所述至少一个文字框和所述至少一个中心线进行聚类，获得至少一个框线组合，每个框线组合包括单个中心线以及一个或多个文字框；对于所述至少一个框线组合中的任一框线组合，基于该框线组合中的中心线和/或文字框确定该框线组合所对应的预测文字区域的位置信息。2.如权利要求1所述的方法，其中，所述对所述至少一个文字框和所述至少一个中心线进行聚类，获得至少一个框线组合包括：计算所述至少一个文字框中的任一文字框与所述至少一个中心线中的任一中心线之间的关联度；对于任一文字框，将该文字框与相关中心线聚类到同一组合用于构成与所述相关中心线相对应的框线组合，其中，所述相关中心线是与该文字框之间的关联度最大且关联度超过第一关联度阈值的中心线。3.如权利要求2所述的方法，其中，所述对所述至少一个文字框和所述至少一个中心线进行聚类，获得至少一个框线组合还包括：如果存在零散文字框，则计算所述零散文字框与任一特定框线组合中的每个文字框之间的关联度以及相对位置关系，所述零散文字框是不属于任何框线组合的文字框；如果所述零散文字框与所述特定框线组合中的任一特定文字框之间的关联度大于第二关联度阈值且所述零散文字框与所述特定文字框之间的相对位置关系满足目标要求，则将所述零散文字框分配给所述特定框线组合。4.如权利要求1
‑
3任一项所述的方法，其中，所述位置信息包括区域轮廓，基于该框线组合中的文字框确定该框线组合所对应的预测文字区域的位置信息包括：针对该框线组合中的第一部分文字框，将所述第一部分文字框按目标延伸方向排列，获得排列文字框集合，其中，所述目标延伸方向为第二部分文字框各自包含的特征点的连线的延伸方向，所述第一部分文字框是该框线组合中的至少部分文字框，所述第二部分文字框是所述第一部分文字框中的至少部分文字框；沿着顺时针或逆时针的方向，将所述排列文字框集合中的至少部分角点连接在一起，获得所述区域轮廓。5.如权利要求4所述的方法，其中，所述沿着顺时针或逆时针的方向，将所述排列文字框集合中的至少部分角点连接在一起，获得所述区域轮廓包括：循环执行以下角点连接操作直至所述排列文字框集合中的所述至少部分角点全部连接完成：沿着顺时针或逆时针的方向，将当前文字框集合中的前两个文字框的至少部分角点连接在一起，获得新的文字框，并将所述新的文字框与所述当前文字框集合中的剩余文字框确定为新的文字框集合，其中，在执行第一次角点连接操作时所述当前文字框集合为所述排列文字框集合，任一次角点连接操作所确定的新的文字框集合为下一次角点连接操作所
对应的当前文字框集合。6.如权利要求5所述的方法，其中，所述沿着顺时针或逆时针的方向，将当前文字框集合中的前两个文字框的至少部分角点连接在一起，获得新的文字框包括：在所述当前文字框集合中的前两个文字框不存在交集的情况下，沿着顺时针或逆时针的方向将所述前两个文字框中的所有角点连接在一起，获得所述新的文字框；在所述当前文字框集合中的前两个文字框存在交集的情况下，舍弃所述前两个文字框中位于左侧的文字框的右上角点以及位于右侧的文字框的左下角点，并沿着顺时针或逆时针的方向将剩余的角点连接在一起，获得所述新的文字框。7.如权利要求4所述...

【专利技术属性】
技术研发人员：邱阳，朱德畅，桂一鸣，沈晨飞，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：