一种实时的高精度全景分割方法技术

本发明专利技术实施例涉及一种实时的高精度全景分割方法，所述方法包括：创建并训练像素级实例语义分割模型；像素级实例语义分割模型包括第一列ResNet网络、第二列ResNet网络、第一聚合网络、第一数据融合模块、实例分割网络和语义分割网络；获取第一高精度图像数据；将第一高精度图像数据，输入训练成熟的像素级实例语义分割模型进行运算，得到像素级的实例分割图像数据和语义分割图像数据；使用第二数据融合模块，对实例分割图像数据和语义分割图像数据进行融合处理，得到像素级实例语义分割图像。通过本发明专利技术方法，可以极大地缩短整体任务的处理时间，为车辆在行驶过程中对实时高清图像的解析效率提供有效保障。解析效率提供有效保障。解析效率提供有效保障。

【技术实现步骤摘要】
一种实时的高精度全景分割方法


[0001]本专利技术涉及数据处理
，特别涉及一种实时的高精度全景分割方法。

技术介绍

[0002]自动驾驶
中，如要对高清图像进行像素级的实例语义分割，就需先使用一个像素级的语义识别模型对图像进行像素级的语义标注从而得到一个带有语义标签的二维图像，再使用一个实例分割模型对带有语义标签的二维图像进一步进行实例分割得到一个带有实例标注框(中心点和角点偏移位置)信息的二维图像，再使用带有语义标签的二维图像与带有实例标注框信息的二维图像进行融合才能得到最终的带有实例特征的像素级语义标注图像。这种处理方法整个计算过程都是串行的，所以计算时间较长，若在车辆行驶过程中使用上述方法对实时高清图像进行解析，常常会出现计算超时的问题。

技术实现思路

[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种实时的高精度全景分割方法、电子设备及计算机可读存储介质，创建并使用一种基于并行计算逻辑的像素级实例语义分割模型对实时高精度全景图像进行实例语义分割处理；该模型不同于常规模型的编码器
‑
解码器串行计算方式而是采用两路分支并行计算的方式，从而有效缩短了计算时间；该模型一路分支使用低降采样率的残差网络(Residual Network,ResNet)对原图做连续卷积，从而在降低高清图数据量的同时确保原图特征不丢失，以便用于后续的实例分割；另一路分支使用高降采样率的ResNet对原图做连续卷积，并使用聚合网络对连续卷积结果进行感受野扩大处理，从而为后续的语义分割做好了数据准备；将两路分支计算输出的数据进行融合，并将融合数据分别输入两路并行的实例分割网络和语义分割网络进行并行运算，从而得到两张不同分割目的输出图像也就是实例分割图像和语义分割图像，再将二者进行融合即可得到像素级实例语义分割图像。本专利技术方法，将两种串行模型的数据准备+运算处理时间，转换为单个模型的两路并行数据+运算处理时间，可以极大地缩短整体任务的处理时间，为车辆在行驶过程中对实时高清图像的解析效率提供有效保障。
[0004]为实现上述目的，本专利技术实施例第一方面提供了一种实时的高精度全景分割方法，所述方法包括：
[0005]创建并训练像素级实例语义分割模型；所述像素级实例语义分割模型包括第一列ResNet网络、第二列ResNet网络、第一聚合网络、第一数据融合模块、实例分割网络和语义分割网络；
[0006]获取第一高精度图像数据；
[0007]将所述第一高精度图像数据，输入训练成熟的所述像素级实例语义分割模型进行运算，得到像素级的实例分割图像数据和语义分割图像数据；
[0008]使用第二数据融合模块，对所述实例分割图像数据和所述语义分割图像数据进行融合处理，得到像素级实例语义分割图像。
[0009]优选的，所述第一列ResNet网络包括第一一ResNet网络、第一二ResNet网络、第一三ResNet网络、第一四ResNet网络和第一五ResNet网络；所述第二列ResNet网络包括第二一ResNet网络、第二二ResNet网络和第二三ResNet网络；
[0010]所述第一一ResNet网络与模型数据输入通道和所述第一二ResNet网络连接；
[0011]所述第一二ResNet网络与所述第一三ResNet网络和所述第二一ResNet网络连接；
[0012]所述第一三ResNet网络与所述第一四ResNet网络和所述第二二ResNet网络连接；
[0013]所述第一四ResNet网络与所述第一五ResNet网络和所述第二三ResNet网络连接；
[0014]所述第一五ResNet网络与所述第一数据融合模块连接；
[0015]所述第二一ResNet网络与所述第二二ResNet网络和所述第一四ResNet网络连接；
[0016]所述第二二ResNet网络与所述第二三ResNet网络和所述第一五ResNet网络连接；
[0017]所述第二三ResNet网络与所述第一聚合网络连接；
[0018]所述第一聚合网络与所述第一数据融合模块连接；
[0019]所述第一数据融合模块与所述实例分割网络和所述语义分割网络连接。
[0020]优选的，所述第一聚合网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层；还包括第一上采样反卷积层、第二上采样反卷积层、第三上采样反卷积层和第四上采样反卷积层；还包括第一数据级联单元、第二数据级联单元、第三数据级联单元、第四数据级联单元、第五数据级联单元和第六数据级联单元；
[0021]所述第一卷积层与网络数据输入通道、所述第一数据级联单元、所述第五数据级联单元和所述第六数据级联单元连接；
[0022]所述第二卷积层与所述网络数据输入通道和所述第一上采样反卷积层连接；
[0023]所述第三卷积层与所述网络数据输入通道和所述第二上采样反卷积层连接；
[0024]所述第四卷积层与所述网络数据输入通道和所述第三上采样反卷积层连接；
[0025]所述第五卷积层与所述网络数据输入通道和所述第四上采样反卷积层连接；
[0026]所述第一上采样反卷积层与所述第一数据级联单元连接；
[0027]所述第二上采样反卷积层与所述第二数据级联单元连接；
[0028]所述第三上采样反卷积层与所述第三数据级联单元连接；
[0029]所述第四上采样反卷积层与所述第四数据级联单元连接；
[0030]所述第一数据级联单元与所述第六卷积层连接；
[0031]所述第六卷积层与所述第二数据级联单元和所述第五数据级联单元连接；
[0032]所述第二数据级联单元与所述第七卷积层连接；
[0033]所述第七卷积层与所述第三数据级联单元和所述第五数据级联单元连接；
[0034]所述第三数据级联单元与所述第八卷积层连接；
[0035]所述第八卷积层与所述第四数据级联单元和所述第五数据级联单元连接；
[0036]所述第四数据级联单元与所述第九卷积层连接；
[0037]所述第九卷积层与所述第五数据级联单元连接；
[0038]所述第五数据级联单元与所述第十卷积层连接；
[0039]所述第十卷积层与所述第六数据级联单元连接。
[0040]进一步的，所述第一卷积层的卷积核小于所述第二卷积层的卷积核，所述第一卷
积层的步长小于所述第二卷积层的步长；所述第二卷积层的卷积核小于所述第三卷积层的卷积核，所述第二卷积层的步长小于所述第三卷积层的步长；所述第三卷积层的卷积核小于所述第四卷积层的卷积核，所述第三卷积层的步长小于所述第四卷积层的步长；所述第四卷积层的卷积核小于所述第五卷积层的卷积核，所述第四卷积层的步长小于所述第五卷积层的步长；
[0041]所述第一上采样反卷积层、所述第二上采样反卷积层、所述第三上采样反卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时的高精度全景分割方法，其特征在于，所述方法包括：创建并训练像素级实例语义分割模型；所述像素级实例语义分割模型包括第一列ResNet网络、第二列ResNet网络、第一聚合网络、第一数据融合模块、实例分割网络和语义分割网络；获取第一高精度图像数据；将所述第一高精度图像数据，输入训练成熟的所述像素级实例语义分割模型进行运算，得到像素级的实例分割图像数据和语义分割图像数据；使用第二数据融合模块，对所述实例分割图像数据和所述语义分割图像数据进行融合处理，得到像素级实例语义分割图像。2.根据权利要求1所述的实时的高精度全景分割方法，其特征在于，所述第一列ResNet网络包括第一一ResNet网络、第一二ResNet网络、第一三ResNet网络、第一四ResNet网络和第一五ResNet网络；所述第二列ResNet网络包括第二一ResNet网络、第二二ResNet网络和第二三ResNet网络；所述第一一ResNet网络与模型数据输入通道和所述第一二ResNet网络连接；所述第一二ResNet网络与所述第一三ResNet网络和所述第二一ResNet网络连接；所述第一三ResNet网络与所述第一四ResNet网络和所述第二二ResNet网络连接；所述第一四ResNet网络与所述第一五ResNet网络和所述第二三ResNet网络连接；所述第一五ResNet网络与所述第一数据融合模块连接；所述第二一ResNet网络与所述第二二ResNet网络和所述第一四ResNet网络连接；所述第二二ResNet网络与所述第二三ResNet网络和所述第一五ResNet网络连接；所述第二三ResNet网络与所述第一聚合网络连接；所述第一聚合网络与所述第一数据融合模块连接；所述第一数据融合模块与所述实例分割网络和所述语义分割网络连接。3.根据权利要求1所述的实时的高精度全景分割方法，其特征在于，所述第一聚合网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层；还包括第一上采样反卷积层、第二上采样反卷积层、第三上采样反卷积层和第四上采样反卷积层；还包括第一数据级联单元、第二数据级联单元、第三数据级联单元、第四数据级联单元、第五数据级联单元和第六数据级联单元；所述第一卷积层与网络数据输入通道、所述第一数据级联单元、所述第五数据级联单元和所述第六数据级联单元连接；所述第二卷积层与所述网络数据输入通道和所述第一上采样反卷积层连接；所述第三卷积层与所述网络数据输入通道和所述第二上采样反卷积层连接；所述第四卷积层与所述网络数据输入通道和所述第三上采样反卷积层连接；所述第五卷积层与所述网络数据输入通道和所述第四上采样反卷积层连接；所述第一上采样反卷积层与所述第一数据级联单元连接；所述第二上采样反卷积层与所述第二数据级联单元连接；所述第三上采样反卷积层与所述第三数据级联单元连接；所述第四上采样反卷积层与所述第四数据级联单元连接；
所述第一数据级联单元与所述第六卷积层连接；所述第六卷积层与所述第二数据级联单元和所述第五数据级联单元连接；所述第二数据级联单元与所述第七卷积层连接；所述第七卷积层与所述第三数据级联单元和所述第五数据级联单元连接；所述第三数据级联单元与所述第八卷积层连接；所述第八卷积层与所述第四数据级联单元和所述第五数据级联单元连接；所述第四数据级联单元与所述第九卷积层连接；所述第九卷积层与所述第五数据级联单元连接；所述第五数据级联单元与所述第十卷积层连接；所述第十卷积层与所述第六数据级联单元连接。4.根据权利要求3所述的实时的高精度全景分割方法，其特征在于，所述第一卷积层的卷积核小于所述第二卷积层的卷积核，所述第一卷积层的步长小于所述第二卷积层的步长；所述第二卷积层的卷积核小于所述第三卷积层的卷积核，所述第二卷积层的步长小于所述第三卷积层的步长；所述第三卷积层的卷积核小于所述第四卷积层的卷积核，所述第三卷积层的步长小于所述第四卷积层的步长；所述第四卷积层的卷积核小于所述第五卷积层的卷积核，所述第四卷积层的步长小于所述第五卷积层的步长；所述第一上采样反卷积层...

【专利技术属性】
技术研发人员：吉治宇，杨晓东，
申请(专利权)人：北京轻舟智航科技有限公司，
类型：发明
国别省市：