场景文字的轮廓拟合和校正方法、电子设备及存储介质技术

本申请涉及一种场景文字的轮廓拟合和校正方法、电子设备及存储介质，所述的场景文字的轮廓拟合和校正方法，包括以下步骤：对场景文字的边界进行拟合，获得文字区域多边形；对文字区域多边形对应的图像进行校正，获得包含文字的矩形区域图像，用于场景文字识别。本申请通过对场景文字的边界进行拟合，获得文字区域多边形；然后对文字区域多边形对应的图像进行校正，获得包含文字的矩形区域图像，通过以上方法进行处理，从而获得了包含更少背景的文字矩形区域图像，用于场景文字识别时，可以有效提高任意形状场景文字的识别精度。效提高任意形状场景文字的识别精度。效提高任意形状场景文字的识别精度。

【技术实现步骤摘要】
场景文字的轮廓拟合和校正方法、电子设备及存储介质


[0001]本申请涉及场景文字识别领域，尤其是涉及一种场景文字的轮廓拟合和校正方法、电子设备及存储介质。

技术介绍

[0002]文字在人类生活中被广泛应用，它能准确传达丰富的信息，使得其在许多视觉应用领域发挥重要作用。自然场景文字的识别是地理定位、智能检测、工业自动化、机器人导航等应用的基础。其中，任意形状场景文字的检测和识别是一个富有挑战的问题，由于文字的大小，长宽比，形状等富于变化，要求场景文字检测、识别方法具有表达复杂形状的能力。
[0003]近年来基于分割的文字检测方法，因其能输出像素精度的轮廓来表示任意文本形状，而受到广泛研究。基于分割的文字检测方法输出的是由像素点组成的文字区域轮廓，为实现端到端文字识别，当前主流的方法是求取检测文字轮廓的最小旋转矩形，然后用仿射变换采样该矩形区域的图像进行后续的文字识别。
[0004]但是专利技术人认为上述相关技术存在不能实现任意形状文字的高精度识别的问题。

技术实现思路

[0005]为了提高基于分割的文字检测器在实现端到端任意形状文字识别的精度，本申请提供一种场景文字的轮廓拟合和校正方法、电子设备及存储介质。
[0006]第一方面，本申请提供的一种场景文字的轮廓拟合和校正方法采用如下的技术方案：
[0007]一种场景文字的轮廓拟合和校正方法，包括以下步骤：
[0008]对场景文字的边界进行拟合，获得文字区域多边形；
[0009]对文字区域多边形对应的图像进行校正，获得包含文字的矩形区域图像，用于场景文字识别。
[0010]本申请通过对场景文字的边界进行拟合，获得文字区域多边形；然后对文字区域多边形对应的图像进行校正，获得包含文字的矩形区域图像，通过以上方法进行处理，从而获得了包含更少背景的文字矩形区域图像，用于场景文字识别时，可以有效提高任意形状场景文字的识别精度。
[0011]优选的，所述的对场景文字的边界进行拟合，获得文字区域多边形，包括：
[0012]对场景文字的整体轮廓拟合一个最小旋转矩形作为初始矩形；
[0013]根据所述的最小旋转矩形，将文字轮廓分为左右两部分，然后通过递归调用分别求取两部分的拟合多边形；
[0014]将获得的两个拟合多边形合并为单个多边形，进而得到文字区域多边形。
[0015]本申请基于分治法进行文字轮廓拟合，即将轮廓分为左右两部分，递归求取两部分的拟合多边形，然后将递归调用获得的两个拟合多边形合并为单个多边形。这种方法不需要设计额外的结构获取其它信息，从而可直接从分割轮廓中对任意复杂形状的文字边界
进行拟合，而且计算量小，易于实现。
[0016]优选的，根据所述的最小旋转矩形，将文字轮廓分为左右两部分，然后通过递归调用分别求取两部分的拟合多边形，具体包括：
[0017](a)设初始递归深度T＝1，场景文字的整体轮廓点集C
T
＝C，当前轮廓在其父轮廓中的位置Pos∈{None，Left，Right}，初始Pos＝None，参考点数组为从父轮廓分割时得到的顶边和底边参考点，分别为初始均为空；
[0018](b)根据当前轮廓C
T
的最小旋转矩形rbox
T
，提取其四个边界顶点并使左上边界顶点为第一个点，得到其顶点集合若存在参考点数组则根据当前轮廓在父轮廓中的位置对边界顶点集合P
T
中的顶点进行重新排序：若Pos＝Left，则使矩形的右边到参考点数组中两点的距离和最小；若Pos＝Right，则使矩形的左边到参考点数组中两点的距离和最小；
[0019](c)取L为rbox
T
的上下边中点的连线，用中线L将C
T
一分为二得到左右两部分记L与C
T
的所有交点集合为R
T
(显然R
T
至少包含两个点)；将R
T
中距离rbox
T
的上边最近和最远的点作为新的参考点数组
[0020](d)对左边部分递归使用步骤(b)～(c)进行拟合，初始条件为：T＝T+1,轮廓点集为Pos＝Left，参考点数组为得到左边的拟合多边形顶点数目为2ml；
[0021](e)同理，对右边部分进行递归拟合得到右边的拟合多边形顶点数目为2mr。
[0022]通过采用以上方法从文字轮廓中拟合文字边界，该方法不需要训练模型，能够处理任何复杂的文字形状，拟合后对文字区域多边形对应的图像进行校正，然后输入文字识别器，可以有效提升端到端场景文字识别的精度。
[0023]优选的，以下任一条件满足则递归拟合过程终止：
[0024]当前轮廓的拟合精度超过预设的第一阈值w1；
[0025]当前轮廓的拟合精度超过预设的第二阈值w2(w2<w1)，且宽高比小于1；
[0026]当前递归的深度达到预设的最大递归深度T_max；
[0027]当前轮廓的面积小于预设的最小面积Area_min。
[0028]优选的，采用平均合并方法将获得的两个拟合多边形合并为单个多边形，进而得到文字区域多边形。方法实现最简单，从而可以提高任意形状文字轮廓拟合的效率。
[0029]优选的，所述的采用平均合并方法将获得的两个拟合多边形合并为单个多边形，包括：
[0030]将左边多边形上边最右顶点与右边多边形上边最左顶点合并为二者中点然后将左右多边形上边连接成合并多边形的上边；将左边多边形下边最右顶点与右边多边形下
边最左顶点合并得到中点然后将左右多边形下边连接成合并多边形的下边；将合并多边形的上边与合并多边形的下边连接，构成合并后的多边形，即得到文字区域多边形。
[0031]通过采用以上技术方案，从而可以准确、快速的将获得的两个拟合多边形合并为单个多边形。
[0032]优选的，所述的对文字区域多边形对应的图像进行校正，获得包含文字的矩形区域图像，包括：采用三角网划分文字区域多边形，并对每个三角形区域用仿射变换进行插值，得到校正后的包含文字的矩形区域图像。
[0033]通过采用上述方法，从而可以简单、快速的获得校正后的文字区域图像，而且可以适应各种密度的图像采样点，校正后的矩形区域图像用于文字识别，可以大大提高识别的精度。
[0034]优选的，所述的采用三角网划分文字区域多边形，并对每个三角形区域用仿射变换进行插值，得到校正后的包含文字的矩形区域图像，包括：
[0035]估计图像中文字行的文字高度和宽度；
[0036]将多边形上边线性映射到校正后矩形的上边，即多边形顶点p
i
对应的校正后坐标为：
[0037][0038]其中Length(：)为计算点序列形成路径长度的函数；S
top
为多边形上边长度，W
align
为校正后的文字宽度；
[0039]同样，将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景文字的轮廓拟合和校正方法，其特征在于，包括以下步骤：对场景文字的边界进行拟合，获得文字区域多边形；对文字区域多边形对应的图像进行校正，获得包含文字的矩形区域图像，用于场景文字识别。2.根据权利要求1所述的场景文字的轮廓拟合和校正方法，其特征在于：所述的对场景文字的边界进行拟合，获得文字区域多边形，包括：对场景文字的整体轮廓拟合一个最小旋转矩形作为初始矩形；根据所述的最小旋转矩形，将文字轮廓分为左右两部分，然后通过递归调用分别求取两部分的拟合多边形；将获得的两个拟合多边形合并为单个多边形，进而得到文字区域多边形。3.根据权利要求2所述的场景文字的轮廓拟合和校正方法，其特征在于：根据所述的最小旋转矩形，将文字轮廓分为左右两部分，然后通过递归调用分别求取两部分的拟合多边形，具体包括：(a)设初始递归深度T＝1，场景文字的整体轮廓点集C
T
＝C，当前轮廓在其父轮廓中的位置Pos∈{None，Left，Right}，初始Pos＝None，参考点数组为从父轮廓分割时得到的顶边和底边参考点，分别为初始均为空；(b)根据当前轮廓C
T
的最小旋转矩形rbox
T
，提取其四个边界顶点并使左上边界顶点为第一个点，得到其顶点集合若存在参考点数组则根据当前轮廓在父轮廓中的位置对边界顶点集合P
T
中的顶点进行重新排序：若Pos＝Left，则使矩形的右边到参考点数组中两点的距离和最小；若Pos＝Right，则使矩形的左边到参考点数组中两点的距离和最小；(c)取L为rbox
T
的上下边中点的连线，用中线L将C
T
一分为二得到左右两部分记L与C
T
的所有交点集合为R
T
；将R
T
中距离rbox
T
的上边最近和最远的点作为新的参考点数组(d)对左边部分递归使用步骤(b)～(c)进行拟合，初始条件为：T＝T+1,轮廓点集为Pos＝Left，参考点数组为得到左边的拟合多边形顶点数目为2ml；(e)同理，对右边部分进行递归拟合得到右边的拟合多边形顶点数目为2mr。4.根据权利要求3所述的场景文字的轮廓拟合和校正方法，其特征在于，以下任一条件满足则递归拟合过程终止：当前轮廓的拟合精度超过预设的第一阈值w1；当前轮廓的拟合精度超过预设的第二阈值w2，w2<w1，且宽高比小于1；当前递归的深度达到预设的最大递归深度T_max；当前轮廓的面积小于预设的最小面积Area_min。
5.根据权利要求2所述的场景文字的轮廓拟合和校正方法，其特征在于：...

【专利技术属性】
技术研发人员：田泽康，蒋文，邓卉，陈搏，
申请(专利权)人：易视腾科技股份有限公司，
类型：发明
国别省市：