骨架检测方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本发明专利技术实施例提出一种骨架检测方法、装置、电子设备和计算机可读存储介质，涉及计算机视觉技术领域。该方法通过将待检测图像输入训练好的骨架检测模型，依次经过特征提取网络、特征融合网络、矢量偏移网络和输出卷积层的处理，即可得到该待检测图像的骨架检测结果。由于训练骨架检测模型所需的骨架标签是通过对原始骨架标签进行膨胀来获得的，故有效改善了监督过程中的任务难度，提升了网络对骨架周围的检测能力；并且，在骨架检测模型的网络结构中引入矢量偏移网络，对检测的骨架信息进行偏移，实现输出的骨架信息的收缩。如此，通过骨架标签的膨胀和输出的骨架信息的收缩，极大提升了整个模型的骨架检测精度。提升了整个模型的骨架检测精度。提升了整个模型的骨架检测精度。

【技术实现步骤摘要】
骨架检测方法、装置、电子设备和计算机可读存储介质


[0001]本专利技术涉及计算机视觉
，具体而言，涉及一种骨架检测方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]骨架是Blum提出的一种图像特征，骨架是物体的一维简化表示方式，骨架同时包含物体的结构信息和物体部件之间的连接信息，可以准确表达物体的几何特征和拓扑特征。物体的骨架也称作中轴，是一种基于物体结构的描述符。因为骨架像素仅仅占据了图像中像素很少的比例，因此骨架具有相当大的抽象性。骨架通常是从对象中抽取出来的结构信息，它对非刚性形变具有不变性，对物体骨架建模在计算机视觉中具有广泛的应用。
[0003]从自然图像中直接检测物体骨架是一个热点问题，同时也面临很多挑战。自然图像中的物体往往呈现多种形态、颜色、纹理以及形状，另外，自然场景下获得的图像难免受到光照不均匀、对比度低、遮挡等问题的影响。因此，能否准确提取出骨架也将在一定程度上影响后续其他智能系统的处理性能。
[0004]已有的骨架检测技术，主要通过使用多个骨架滤波器，每个骨架滤波器均具有零和性结构及反射对称性结构，实现对不具有对称结构的噪声分布进行过滤，而有效的骨架被保留。这种通过使用多个骨架滤波器对高噪声图像进行无监督的骨架提取的方式，在面对复杂场景时，物体骨架检测精度会降低。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种骨架检测方法、装置、电子设备和计算机可读存储介质，以解决现有的骨架检测技术存在的物体骨架检测精度低的问题。/>[0006]为了实现上述目的，本专利技术实施例采用的技术方案如下：
[0007]第一方面，本专利技术提供一种骨架检测方法，所述方法包括：
[0008]将待检测图像输入训练好的骨架检测模型；其中，训练所述骨架检测模型所采用的骨架标签是对原始骨架标签进行膨胀后获得；
[0009]利用所述骨架检测模型的特征提取网络对所述待检测图像进行特征提取，得到多个目标特征图；
[0010]将所述多个目标特征图输入所述骨架检测模型的特征融合网络，利用所述特征融合网络对所述多个目标特征图进行特征融合，得到融合后的特征图；
[0011]将所述融合后的特征图输入所述骨架检测模型的矢量偏移网络，利用所述矢量偏移网络对所述融合后的特征图进行偏移处理，得到偏移后的特征图；
[0012]将所述偏移后的特征图输入所述骨架检测模型的输出卷积层，利用所述输出卷积层对所述偏移后的特征图进行卷积操作，得到所述待检测图像对应的骨架检测结果。
[0013]在可选的实施方式中，所述骨架标签通过以下方式生成：
[0014]依据预设的半径阈值对原始骨架标签进行膨胀操作，得到膨胀后的骨架标签；
[0015]计算所述膨胀后的骨架标签中每个非零像素点到最近零值点的距离信息；
[0016]根据所述距离信息和预设的高斯分布函数，得到高斯分布膨胀骨架；
[0017]根据所述高斯分布膨胀骨架中的最大值对所述高斯分布膨胀骨架进行归一化处理，得到所述骨架标签。
[0018]在可选的实施方式中，所述特征提取网络包括依次串联的多个特征提取层和空洞空间金字塔池化ASPP模块，所述利用所述骨架检测模型的特征提取网络对所述待检测图像进行特征提取，得到多个目标特征图，包括：
[0019]通过依次串联的所述多个特征提取层和所述ASPP模块对输入的所述待检测图像进行特征提取，根据所述多个特征提取层和所述ASPP模块的输出结果得到多个目标特征图。
[0020]在可选的实施方式中，所述特征融合网络包括多个第一卷积层、数据拼接层和第二卷积层，所述多个第一卷积层与所述多个目标特征图一一对应；所述将所述多个目标特征图输入所述骨架检测模型的特征融合网络，利用所述特征融合网络对所述多个目标特征图进行特征融合，得到融合后的特征图，包括：
[0021]将所述多个目标特征图分别输入对应的第一卷积层；
[0022]利用所述多个第一卷积层分别对输入的所述目标特征图进行卷积操作，得到多个待融合特征图；
[0023]将所述多个待融合特征图输入所述数据拼接层，利用所述数据拼接层将所述多个待融合特征图进行拼接，得到拼接后的特征图；
[0024]将所述拼接后的特征图输入所述第二卷积层，利用所述第二卷积层对拼接后的特征图进行卷积操作，得到融合后的特征图。
[0025]在可选的实施方式中，所述矢量偏移网络包括第三卷积层、多个第四卷积层、多个第五卷积层和特征融合层，所述多个第四卷积层和所述多个第五卷积层一一对应连接；所述第三卷积层、所述多个第五卷积层均与所述特征融合层相连；
[0026]所述将所述融合后的特征图输入所述骨架检测模型的矢量偏移网络，利用所述矢量偏移网络对所述融合后的特征图进行偏移处理，得到偏移后的特征图，包括：
[0027]将所述融合后的特征图输入所述第三卷积层以及每个所述第四卷积层，利用所述第三卷积层、依次串联的第四卷积层和第五卷积层分别对所述融合后的特征图进行卷积操作，并将所述第三卷积层的输出结果和每个所述第五卷积层的输出结果输入所述特征融合层进行特征融合，得到偏移后的特征图。
[0028]第二方面，本专利技术提供一种骨架检测装置，所述装置包括：
[0029]图像输入模块，用于将待检测图像输入训练好的骨架检测模型；其中，训练所述骨架检测模型所采用的骨架标签是对原始骨架标签进行膨胀后获得；
[0030]特征提取模块，用于利用所述骨架检测模型的特征提取网络对所述待检测图像进行特征提取，得到多个目标特征图；
[0031]特征融合模块，用于将所述多个目标特征图输入所述骨架检测模型的特征融合网络，利用所述特征融合网络对所述多个目标特征图进行特征融合，得到融合后的特征图；
[0032]偏移处理模块，用于将所述融合后的特征图输入所述骨架检测模型的矢量偏移网络，利用所述矢量偏移网络对所述融合后的特征图进行偏移处理，得到偏移后的特征图；
[0033]输出模块，用于将所述偏移后的特征图输入所述骨架检测模型的输出卷积层，利用所述输出卷积层对所述偏移后的特征图进行卷积操作，得到所述待检测图像对应的骨架检测结果。
[0034]在可选的实施方式中，所述矢量偏移网络包括第三卷积层、多个第四卷积层、多个第五卷积层和特征融合层，所述多个第四卷积层和所述多个第五卷积层一一对应连接；所述第三卷积层、所述多个第五卷积层均与所述特征融合层相连；
[0035]所述偏移处理模块，用于将所述融合后的特征图输入所述第三卷积层以及每个所述第四卷积层，利用所述第三卷积层、依次串联的第四卷积层和第五卷积层分别对所述融合后的特征图进行卷积操作，并将所述第三卷积层的输出结果和每个所述第五卷积层的输出结果输入所述特征融合层进行特征融合，得到偏移后的特征图。
[0036]在可选的实施方式中，所述骨架标签通过以下方式生成：依据预设的半径阈值对原始骨架标签进行膨胀操作，得到膨胀后的骨架标签；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种骨架检测方法，其特征在于，所述方法包括：将待检测图像输入训练好的骨架检测模型；其中，训练所述骨架检测模型所采用的骨架标签是对原始骨架标签进行膨胀后获得；利用所述骨架检测模型的特征提取网络对所述待检测图像进行特征提取，得到多个目标特征图；将所述多个目标特征图输入所述骨架检测模型的特征融合网络，利用所述特征融合网络对所述多个目标特征图进行特征融合，得到融合后的特征图；将所述融合后的特征图输入所述骨架检测模型的矢量偏移网络，利用所述矢量偏移网络对所述融合后的特征图进行偏移处理，得到偏移后的特征图；将所述偏移后的特征图输入所述骨架检测模型的输出卷积层，利用所述输出卷积层对所述偏移后的特征图进行卷积操作，得到所述待检测图像对应的骨架检测结果。2.根据权利要求1所述的方法，其特征在于，所述骨架标签通过以下方式生成：依据预设的半径阈值对原始骨架标签进行膨胀操作，得到膨胀后的骨架标签；计算所述膨胀后的骨架标签中每个非零像素点到最近零值点的距离信息；根据所述距离信息和预设的高斯分布函数，得到高斯分布膨胀骨架；根据所述高斯分布膨胀骨架中的最大值对所述高斯分布膨胀骨架进行归一化处理，得到所述骨架标签。3.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括依次串联的多个特征提取层和空洞空间金字塔池化ASPP模块，所述利用所述骨架检测模型的特征提取网络对所述待检测图像进行特征提取，得到多个目标特征图，包括：通过依次串联的所述多个特征提取层和所述ASPP模块对输入的所述待检测图像进行特征提取，根据所述多个特征提取层和所述ASPP模块的输出结果得到多个目标特征图。4.根据权利要求1所述的方法，其特征在于，所述特征融合网络包括多个第一卷积层、数据拼接层和第二卷积层，所述多个第一卷积层与所述多个目标特征图一一对应；所述将所述多个目标特征图输入所述骨架检测模型的特征融合网络，利用所述特征融合网络对所述多个目标特征图进行特征融合，得到融合后的特征图，包括：将所述多个目标特征图分别输入对应的第一卷积层；利用所述多个第一卷积层分别对输入的所述目标特征图进行卷积操作，得到多个待融合特征图；将所述多个待融合特征图输入所述数据拼接层，利用所述数据拼接层将所述多个待融合特征图进行拼接，得到拼接后的特征图；将所述拼接后的特征图输入所述第二卷积层，利用所述第二卷积层对拼接后的特征图进行卷积操作，得到融合后的特征图。5.根据权利要求1所述的方法，其特征在于，所述矢量偏移网络包括第三卷积层、多个第四卷积层、多个第五卷积层和特征融合层，所述多个第四卷积层和所述多个第五卷积层一一对应连接；所述第三卷积层、所述多个第五卷积层均与所述特征融合层相连；所述将所述融合后的特征图输入所述骨架检测模型的矢量偏移网络，利用所述矢量偏移网络对所述融合后的特征...

【专利技术属性】
技术研发人员：项蕾，陈华华，林金曙，张芸菲，陈丽娟，刘亚洲，张奇明，童鲁虹，
申请(专利权)人：恒生电子股份有限公司，
类型：发明
国别省市：