一种场景文字检测的方法和装置制造方法及图纸

本发明专利技术公开了一种场景文字检测的方法和装置，涉及图像文字处理技术领域。该方法的一具体实施方式包括：获取待检测图像，待检测图像中包含文字区域，确定文字区域的文字中心线图和方向距离图，根据文字中心线图和方向距离图，确定文字区域的文字轮廓。本发明专利技术实施例的场景文字检测的方法通过文字中心线图能够有效将紧邻的文字分离开，方向距离图能够检测具有任意形状和方向的场景文字，解决了不规则场景文字的检测问题，进而能够有效提升检测性能。能。能。

【技术实现步骤摘要】
一种场景文字检测的方法和装置


[0001]本专利技术涉及图像文字处理领域，尤其涉及一种场景文字检测的方法和装置。

技术介绍

[0002]场景文字检测技术具有广泛的应用前景，例如可以用于辅助无人驾驶系统获得实时的路况和地理信息。
[0003]目前场景文字检测的方法主要包括以下两种：一种是基于回归的方式，通过预测候选文字框与实际文字框之间的偏移量，得到水平框、带方向的矩形框或四边形框，但该方式在不适用于检测不规则形状的文字；另一种是基于分割的方式，利用全卷积网络逐个判别图像中的像素点的属于文字区域还是非文字区域，但该种方式难以将紧邻的文字区域分开，降低检测的准确性。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种场景文字检测的方法和装置，能够有效分离文字区域中的紧邻的场景文字，且能够解决不规则形状和方向的场景文字的检测问题，提升检测的性能。
[0005]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种场景文字检测的方法，包括：
[0006]获取待检测图像，所述待检测图像中包含文字区域；
[0007]确定所述文字区域的文字中心线图和方向距离图；
[0008]根据所述文字中心线图和所述方向距离图，确定所述文字区域的文字轮廓；
[0009]其中，所述文字中心线图是根据所述文字区域的文字中心线构成的，所述方向距离图是采用极坐标的方式回归所述文字中心线上的点沿多个预设方向到达所述文字轮廓边缘的距离得到的。
[0010]可选地，确定所述文字区域的文字中心线图和方向距离图之前，包括：
[0011]获取图像数据训练集，其中，所述图像数据训练集中的图像数据训练样本中包含文字区域；
[0012]构建网络结构并为所述网络结构构建多任务损失函数；
[0013]利用所述图像数据训练集对所述网络结构进行训练，直至所述多任务损失函数的值达到预设条件，获得场景文字检测模型。
[0014]可选地，所述多任务损失函数包括分割损失函数和回归损失函数，所述分割损失函数为基于预测的和真实的文字中心线图构造的，所述回归损失函数为基于预测的和真实的方向距离图构造的；
[0015]所述确定所述文字区域的文字中心线图和方向距离图，包括：
[0016]将所述待检测图像输入到训练好的所述场景文字检测模型中，预测得到所述待检测图像对应的文字中心线图和方向距离图。
[0017]可选地，所述将所述待检测图像输入到训练好的所述场景文字检测模型中，预测得到所述待检测图像对应的文字中心线图和方向距离图，包括：
[0018]根据所述场景文字检测模型，提取所述待检测图像的特征并进行特征融合，获得融合特征图；
[0019]根据所述融合特征图和所述场景文字检测模型，预测得到所述待检测图像对应的文字中心线图和方向距离图。
[0020]可选地，根据所述文字中心线图和所述方向距离图，确定所述文字区域的文字轮廓，包括：
[0021]根据文字中心线图中所述文字中心线上相邻的点聚合形成连通区域；
[0022]确定所述连通区域上的各个采样点；
[0023]根据所述采样点和所述方向距离图，确定与每个所述采样点对应的方向点；
[0024]根据各个所述采样点的方向点，确定所述文字区域的文字轮廓。
[0025]可选地，确定所述连通区域上的各个采样点，包括：
[0026]确定所述连通区域的最小旋转外接矩形；
[0027]对所述矩形进行n等分，形成n
‑
1条垂线；其中，n为大于1的整数；
[0028]以每条垂线与所述连通区域的交线的中点作为所述采样点。
[0029]可选地，提取所述待检测图像的特征并进行特征融合，获得融合特征图，包括：
[0030]通过骨干网络对所述待检测图像进行特征提取，获得多个不同尺度的特征图；
[0031]将多个不同尺度的特征图融合，获得所述融合特征图。
[0032]可选地，通过骨干网络对所述待检测图像进行特征提取，获得多个不同尺度的特征图，包括：通过骨干网络的多个卷积模块提取待检测图像的特征，获得多个不同尺度的深层特征图和浅层特征图；
[0033]将多个不同尺度的特征图融合，获得所述融合特征图，包括：采用标准卷积和多个不同空洞率的空洞卷积网络对多个所述深层特征图进行上下文特征提取，将提取上下文特征后的多个深层特征图与所述浅层特征图通过级联的方式进行合并，获得所述融合特征图。
[0034]本专利技术实施例的另一方面提供一种场景文字检测的装置，包括：
[0035]获取模块，获取待检测图像，所述待检测图像中包含文字区域；
[0036]模型预测模块，确定所述文字区域的文字中心线图和方向距离图；
[0037]确定模块，根据所述文字中心线图和所述方向距离图，确定所述文字区域的文字轮廓，
[0038]其中，所述文字中心线图是根据所述文字区域的文字中心线构成的，所述方向距离图是采用极坐标的方式回归所述文字中心线上的点沿多个预设方向到达所述文字轮廓边缘的距离得到的。
[0039]根据本专利技术实施例的另一个方面，提供了一种电子设备，包括：
[0040]一个或多个处理器；
[0041]存储装置，用于存储一个或多个程序，
[0042]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术提供的场景文字检测的方法。
[0043]根据本专利技术实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术提供的场景文字检测的方法。
[0044]上述专利技术中的一个实施例具有如下优点或有益效果：通过获取待检测图像，待检测图像中包含文字区域，根据待检测图像确定文字区域的文字中心线图和方向距离图，根据文字中心线图和方向距离图，得到文字区域的文字轮廓。本专利技术实施例的场景文字检测的方法通过文字中心线图能够有效将紧邻的文字分离开，基于文字中心线图得到的方向距离图能够检测具有任意形状和方向的场景文字，解决了不规则场景文字的检测问题，进而能够有效提升场景文字检测器的检测性能。
[0045]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0046]附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：
[0047]图1是根据本专利技术实施例的一种场景文字检测的方法的主要流程的示意图；
[0048]图2是根据本专利技术实施例的不同文字的表达方式的示意图；
[0049]图3是根据本专利技术实施例的一种获得融合特征图的过程示意图；
[0050]图4是根据本专利技术实施例的一种确定文字区域的文字轮廓的过程示意图；
[0051]图5是根据本专利技术实施例的一种场景文字检测的方法的流程示意图；
[0052]图6是根据本专利技术实施例的一种场景文字检测的装置的主要模块的示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景文字检测的方法，其特征在于，包括：获取待检测图像，所述待检测图像中包含文字区域；确定所述文字区域的文字中心线图和方向距离图；根据所述文字中心线图和所述方向距离图，确定所述文字区域的文字轮廓；其中，所述文字中心线图是根据所述文字区域的文字中心线构成的，所述方向距离图是采用极坐标的方式回归所述文字中心线上的点沿多个预设方向到达所述文字轮廓边缘的距离得到的。2.根据权利要求1所述的方法，其特征在于，确定所述文字区域的文字中心线图和方向距离图之前，包括：获取图像数据训练集，其中，所述图像数据训练集中的图像数据训练样本中包含文字区域；构建网络结构并为所述网络结构构建多任务损失函数；利用所述图像数据训练集对所述网络结构进行训练，直至所述多任务损失函数的值达到预设条件，获得场景文字检测模型。3.根据权利要求2所述的方法，其特征在于，所述多任务损失函数包括分割损失函数和回归损失函数，所述分割损失函数是基于预测的和实际的文字中心线图构造的，所述回归损失函数是基于预测的和实际的方向距离图构造的；所述确定所述文字区域的文字中心线图和方向距离图，包括：将所述待检测图像输入到训练好的所述场景文字检测模型中，预测得到所述待检测图像对应的文字中心线图和方向距离图。4.根据权利要求3所述的方法，其特征在于，所述将所述待检测图像输入到训练好的所述场景文字检测模型中，预测得到所述待检测图像对应的文字中心线图和方向距离图，包括：根据所述场景文字检测模型，提取所述待检测图像的特征并进行特征融合，获得融合特征图；根据所述融合特征图和所述场景文字检测模型，预测得到所述待检测图像对应的文字中心线图和方向距离图。5.根据权利要求1所述的方法，其特征在于，所述根据所述文字中心线图和所述方向距离图，确定所述文字区域的文字轮廓，包括：根据文字中心线图中所述文字中心线上相邻的点聚合形成连通区域；确定所述连通区域上的各个采样点；根据所述采样点和所述方向距离图，确定与每个所述采样点对应的方向点；根据各个所述采样点的方向点，确定所述文字区域的文字轮廓。...

【专利技术属性】
技术研发人员：徐鑫，
申请(专利权)人：京东鲲鹏江苏科技有限公司，
类型：发明
国别省市：