基于实时语义分割网络的自动驾驶方法技术

本发明专利技术公开了一种基于实时语义分割网络的自动驾驶方法，包括获取训练数据集；构建实时语义分割初始模型并训练得到实时语义分割模型；实时获取目标车辆周围的图像数据信息并使用实时语义分割模型进行语义分割，并实时实现目标车辆的自动驾驶。本发明专利技术提供的这种基于实时语义分割网络的自动驾驶方法，通过创新的实时语义分割模型的设计，不仅实现了基于实时语义分割网络的自动驾驶，而且计算量小、运算速度快，分割过程流畅、模型表达能力强，可靠性高、精确度好且实时性好。精确度好且实时性好。精确度好且实时性好。

【技术实现步骤摘要】
基于实时语义分割网络的自动驾驶方法


[0001]本专利技术属于数字图像处理领域，具体涉及一种基于实时语义分割网络的自动驾驶方法。

技术介绍

[0002]随着经济技术的发展和人们生活水平的提高，自动驾驶辅助技术已经开始逐步应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。因此，保障自动驾驶过程的安全性和可靠性，就成为了研究人员的研究重点。
[0003]语义分割是对特定场景下产生的图片进行分割，即根据预先定义好的语义类别为图像中的每个像素进行分类，从而达到分割图像的目的。实时语义分割是自动驾驶过程的核心部分；因此，实时语义分割在自动驾驶过程中就显得尤为重要。
[0004]目前，传统的语义分割模型在精确度上的表现越来越好。但是，该类方法往往需要借助复杂的网络结构、庞大的计算量才能达到较好的分割效果，这对GPU资源是一种极大的消耗，也不利于移动设备实现模型分割效果；其次，该类方法的复杂计算会导致缓慢的推理速度，明显不适用于对精度与速度都有极高要求的自动驾驶应用。
[0005]因此，针对传统语义分割模型在自动驾驶领域的应用问题，研究人员提出了如下适用于自动驾驶的语义分割方案：第一种是设计轻量化模块结构：这类方案降低了模型的计算复杂性，提升了网络效率，但该轻量化卷积的计算效果却不如原卷积，尤其是对于小模型，由于参数量的大幅度下降，会严重损失模型的性能；应用到实时自动驾驶中，会产生精度和可靠性的双重问题；第二种是设计新型网络范式：除经典的编解码结构外，语义分割模型可分为双分支结构和多分支结构；但是这类方案一旦设计不当，会丢失前期提取到的各层信息，导致分割效果不理想；又或者，这类方案可能丢失许多细节信息，不利于边界信息的提取；在实际的自动驾驶过程中，可能出现语义分割不明确的问题，从而影响自动驾驶的安全性；第三种是采用轻量级基础网络提取特征信息：这类方法虽然有了较多的应用，但是这类方案的过大的感受野却不利于其他小尺度目标的特征提取，也不利于目标边界的细化；在实际的自动驾驶应用中，可能出现对于小尺度目标的识别问题，进而引发驾驶安全问题。

技术实现思路

[0006]本专利技术的目的在于提供一种可靠性高、精确度好且实时性好的基于实时语义分割网络的自动驾驶方法。
[0007]本专利技术提供的这种基于实时语义分割网络的自动驾驶方法，包括如下步骤：S1. 获取训练数据集；S2. 基于resnet18网络、金字塔池化模块、特征融合模块和边界强化模块，构建实时语义分割初始模型；
S3. 采用步骤S1获取的训练数据集，对步骤S2构建的实时语义分割初始模型进行训练，得到实时语义分割模型；S4. 实时获取目标车辆周围的图像数据信息，并采用步骤S3得到的实时语义分割模型进行语义分割；S5. 根据步骤S4得到的语义分割结果，实时实现目标车辆的自动驾驶。
[0008]所述的步骤S2，具体包括如下步骤：所述的实时语义分割初始模型包括编码器、金字塔池化模块、第一特征融合模块、第二特征融合模块、第一边界强化模块和第二边界强化模块；采用训练后的骨干网络resnet18作为编码器；将骨干网络resnet18的layer4的输出特征通过金字塔池化模块处理；将骨干网络resnet18的layer3的输出特征通过第一特征融合模块处理；将金字塔池化模块的输出特征与第一特征融合模块的输出特征进行特征融合后，输入到第二特征融合模块；将骨干网络resnet18的layer2的输出特征与第一特征融合模块的输出特征进行特征融合后，得到融合高级特征；将骨干网络resnet18的layer1的输出特征与融合高级特征作为第一边界强化模块的输入，第一边界强化模块的输出为第一强化初级特征图；将骨干网络resnet18的最大池化层的输出特征与融合高级特征作为第二边界强化模块的输入，第二边界强化模块的输出为第二强化初级特征图；将融合高级特征进行上采样和卷积操作后，再与第一强化初级特征图和第二强化初级特征图进行元素级相加，并将相加结果再次进行上采样和卷积处理，得到最终的实时语义分割初始模型输出。
[0009]所述的骨干网络resnet18包括输入卷积层、最大池化层、layer1层、layer2层、layer3层和layer4层；输入卷积层、最大池化层、layer1层、layer2层、layer3层和layer4层依次串接。
[0010]所述的金字塔池化模块，具体包括如下内容：将金字塔池化模块的输入特征同时输入到五路卷积子模块：第一路卷积子模块采用的卷积进行尺度为1的卷积膨胀，第二路卷积子模块采用的卷积进行尺度为3的卷积膨胀，第三路卷积子模块采用的卷积进行尺度为5的卷积膨胀，第四路卷积子模块采用的卷积进行尺度为7的卷积膨胀，第五路卷积子模块采用的卷积进行全局平均池化；对五路卷积子模块的输出特征，各自采用一路注意力强化子模块进行处理，并将处理后的五路输出特征以级联方式进行融合；将融合后的特征再采用的卷积进行处理，并将处理后的特征与模块的输入特征采用元素级加法进行融合，从而得到金字塔池化模块的输出特征。
[0011]所述的注意力强化子模块，具体为将注意力强化子模块的输入特征通过全局平均池化处理后，再通过的卷积进行处理，并将处理后的特征与输入特征采用元素级乘法进行融合，从而得到注意力强化子模块的输出特征。
[0012]所述的特征融合模块，具体包括如下内容：
对输入特征融合模块的高层特征进行上采样进行特征图恢复，然后对恢复后的特征图采用的卷积进行处理，得到高层处理特征图；对输入特征融合模块的低层特征，采用的卷积进行处理，得到低层处理特征图；对得到的高层处理特征图和低层处理特征图采用元素级加法进行特征融合，然后将融合后的特征输入到通道混洗模块进行处理，得到混洗特征图；将得到的混洗特征图分别通过内容子模块和细节子模块进行处理；最后，将内容子模块的输出特征和细节子模块的输出特征采用元素级加法进行特征融合，从而得到特征融合模块的输出特征。
[0013]所述的内容子模块，具体包括如下内容：对内容子模块的输入特征，采用的卷积进行膨胀系数为5的处理，得到内容处理子特征；将内容处理子特征采用平均池化处理后并采用sigmoid函数进行线性激活，将处理后的特征与内容处理子特征采用元素级乘法进行融合，得到内容融合特征；再将内容融合特征与内容处理子特征再次采用元素级乘法进行融合，从而得到内容子模块的输出特征。
[0014]所述的细节子模块，具体包括如下内容：对细节子模块的输入特征，采用的卷积进行膨胀系数为3的处理，得到细节处理子特征；将细节处理子特征进行最大池化处理后并采用sigmoid函数进行线性激活，将处理后的特征与细节处理子特征采用元素级乘法进行融合，得到细节融合特征；再将细节融合特征与细节处理子特征再次采用元素级乘法进行融合，从而得到细节子模块的输出特征。
[0015]所述的第一边界强化模块和第二边界强化模块，均具体包括如下内容：边界强化模块的输入特征包括高层特征和低层特征；将高层特征通过上采样后，将上采样后的特征与低层特征采用级联方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实时语义分割网络的自动驾驶方法，包括如下步骤：S1. 获取训练数据集；S2. 基于resnet18网络、金字塔池化模块、特征融合模块和边界强化模块，构建实时语义分割初始模型；S3. 采用步骤S1获取的训练数据集，对步骤S2构建的实时语义分割初始模型进行训练，得到实时语义分割模型；S4. 实时获取目标车辆周围的图像数据信息，并采用步骤S3得到的实时语义分割模型进行语义分割；S5. 根据步骤S4得到的语义分割结果，实时实现目标车辆的自动驾驶。2.根据权利要求1所述的基于实时语义分割网络的自动驾驶方法，其特征在于所述的步骤S2，具体包括如下步骤：所述的实时语义分割初始模型包括编码器、金字塔池化模块、第一特征融合模块、第二特征融合模块、第一边界强化模块和第二边界强化模块；采用训练后的骨干网络resnet18作为编码器；将骨干网络resnet18的layer4的输出特征通过金字塔池化模块处理；将骨干网络resnet18的layer3的输出特征通过第一特征融合模块处理；将金字塔池化模块的输出特征与第一特征融合模块的输出特征进行特征融合后，输入到第二特征融合模块；将骨干网络resnet18的layer2的输出特征与第一特征融合模块的输出特征进行特征融合后，得到融合高级特征；将骨干网络resnet18的layer1的输出特征与融合高级特征作为第一边界强化模块的输入，第一边界强化模块的输出为第一强化初级特征图；将骨干网络resnet18的最大池化层的输出特征与融合高级特征作为第二边界强化模块的输入，第二边界强化模块的为第二强化初级特征图；将融合高级特征进行上采样和卷积操作后，再与第一强化初级特征图和第二强化初级特征图进行元素级相加，并将相加结果再次进行上采样和卷积处理，得到最终的实时语义分割初始模型的输出。3.根据权利要求2所述的基于实时语义分割网络的自动驾驶方法，其特征在于所述的骨干网络resnet18包括输入卷积层、最大池化层、layer1层、layer2层、layer3层和layer4层；输入卷积层、最大池化层、layer1层、layer2层、layer3层和layer4层依次串接。4.根据权利要求3所述的基于实时语义分割网络的自动驾驶方法，其特征在于所述的金字塔池化模块，具体包括如下内容：将金字塔池化模块的输入特征同时输入到五路卷积子模块：第一路卷积子模块采用的卷积进行尺度为1的卷积膨胀，第二路卷积子模块采用的卷积进行尺度为3的卷积膨胀，第三路卷积子模块采用的卷积进行尺度为5的卷积膨胀，第四路卷积子模块采用的卷积进行尺度为7的卷积膨胀，第五路卷积子模块采用的卷积进行全局平均池化；对五路卷积子模块的输出特征，各自采用一路注意力强化子模块进行处理，并将处理后的五路输出特征以级联方式进行融合；
将融合后的特征再采用的卷积进行处理，并将处理后的特征与模块的输入特征采用元素级加法进行融合，从而得到金字塔池化模块的输出特征。5.根据权利要求4所述的基于实时语义分割网络的自动驾驶方法，其特征在于所述的注意力强化子模块，具体为将注意力强化子模块的输入特征通过全局平均池化处理后，再通过的卷积进行处理，并将处理后的特征与输入特征采用元素级乘法进行融合，从而得到注意力强化子模块的输出特征。6.根据权利要求4所述的基于实时语义分割网络的自动驾驶方法，其特...

【专利技术属性】
技术研发人员：瞿绍军，王卓，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：