一种改进的卷积神经网络的弱监督语义分割方法技术

本发明专利技术涉及一种改进的卷积神经网络的弱监督语义分割方法，将输入图像输入预先构建并训练好的语义分割网络中，生成语义分割结果；语义分割网络包括：特征提取模块：将输入图像处理为具有空间权重参数的特征图，包括以ResNet50为主干网络的卷积网络，卷积网络中的卷积核为条形卷积核，卷积网络中的每个block之间设有通道注意力模块；对抗擦除模块：将特征图以对抗擦除的方式输入两个通道，进行目标定位，生成最终特征图；分割输出模块：对最终特征图进行上采样，生成大小与输入图像大小相等的分割图，将分割图作为伪掩膜以全监督形式对输入图像进行最终分割，得到语义分割结果。与现有技术相比，本发明专利技术能够提高条形全局特征的提取能力，增加语义分割精度。增加语义分割精度。增加语义分割精度。

【技术实现步骤摘要】
Pooling通道，两个通道的输出分别连接有共享全连接层，第一特征图分别输入两个通道，并经过共享全连接层处理后，得到两个权重特征，将两个权重特征与第一特征图相乘，得到具有权重参数的特征图，具有权重参数的特征图在空间方向对通道分别进行Max Pooling和Average Pooling处理得到两个通道的特征层，再通过卷积层经sigmoid函数归一化后输出，得到具有空间权重参数的特征图。
[0014]优选地，所述对抗擦除模块包括：
[0015]第一卷积网络分支：用以对所述特征提取模块输出的特征图进行卷积处理，得到第二特征图；
[0016]对抗擦除单元：用以对所述第二特征图进行对抗擦除，得到第三特征图；
[0017]第二卷积网络分支：用以对所述第三特征图进行卷积处理，得到第四特征图；
[0018]融合单元：用以将第二特征图和第四特征图进行融合，得到最终特征图。
[0019]优选地，对抗擦除单元根据特征图目标与背景像素值的不同划分阈值区间，对所述第二特征图进行对抗擦除，得到第三特征图。
[0020]优选地，所述融合单元将第二特征图和第四特征图进行融合的方式为，比较两个特征图相同的像素点的像素值大小，确定像素值大者作为最终特征图该像素点的像素值。
[0021]优选地，所述分割输出模块通过最近邻插值的方式将最终特征图进行上采样至原图大小与输入图像大小相等的分割图。
[0022]优选地，所述分割输出模块包括以FCN为主干网络的全监督分割网络，所述分割图作为伪掩膜标签，与输入图像一一对应，输入全监督分割网络，得到语义分割结果。
[0023]优选地，在输入图像输入预先构建并训练好的语义分割网络之前，对输入图像进行图像预处理，包括裁剪、卷积和平均池化。
[0024]与现有技术相比，本专利技术具有以如下有益效果：
[0025](1)本专利技术通过将ResNet50中的卷积层改进为矩形卷积，有利于提升在水上特定环境下对船体等条状物的分割效果，同时能够降低传统卷积带来的计算成本；
[0026](2)本专利技术通过在通过相邻块间添加注意力机制使得模型更好的对物体进行定位，生成更精确的伪掩膜标签。
附图说明
[0027]图1为本实施例提供一种改进的卷积神经网络的弱监督语义分割方法的结构示意图。
[0028]图2为图1所示实施例的特征提取模块的结构示意图。
[0029]图3为图1所示实施例CBMA注意力模块的结构示意图。
具体实施方式
[0030]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0031]参考图1～图3所示，本实施例提供一种改进的卷积神经网络的弱监督语义分割方法，包括如下步骤：
bottleneck，第二block的conv bottleneck包括三个卷积层，分别为1*1卷积(k
n
＝128)、k
x
＝1*3，k
y
＝3*1卷积(128*90*90)、1*1卷积(kn＝512)，得到F(x2)，具有空间权重参数的X1经过1*1卷积(k
n
＝512)后，残差连接至F(x2)，identity bottleneck包括三个卷积层，分别为1*1卷积(kn＝128)、k
x
＝1*3，k
y
＝3*1卷积(128*90*90)、1*1卷积(k
n
＝512)，再将F(x2)+X1残差连接到下一个identity bottleneck。最终得到第二block的输出特征图X2(512*90*90)。
[0045]特征图X2输入设于第二block和第三block之间的CBMA注意力模块，处理生成具有空间权重参数的特征图X2。
[0046]第三block包括6个残差块，分别为1个conv bottleneck，4个identity bottleneck，第三block的conv bottleneck包括三个卷积层，分别为1*1卷积(kn＝256)、k
x
＝1*3，k
y
＝3*1卷积(256*45*45)、1*1卷积(k
n
＝1024)，得到F(x3)，具有空间权重参数的特征图X2经过1*1卷积(kn＝1024)后，残差连接至F(x3)，identity bottleneck包括三个卷积层，分别为1*1卷积(kn＝256)、kx＝1*3，ky＝3*1卷积(256*45*45)、1*1卷积(kn＝1024)，再将F(x3)+X2残差连接到下一个bottleneck。最终得到第三block输出特征图X3(1024*45*45)。
[0047]特征图X3输入设于第三block和第四block之间的CBMA注意力模块，处理生成具有空间权重参数的特征图X3。
[0048]第四block包括3个残差块，分别为1个conv bottleneck，2个identity bottleneck，第四block的conv bottleneck包括三个卷积层，分别为1*1卷积(kn＝512)、kx＝1*3，ky＝3*1卷积(512*22*22)1*1卷积(kn＝2048)得到F(x4)，具有空间权重参数的特征图X3经过1*1卷积(kn＝1024)后，残差连接至F(x4)，identity bottleneck包括三个卷积层，分别为1*1卷积(kn＝512)、kx＝1*3，ky＝3*1卷积(512*22*22)、1*1卷积(kn＝2048)，再将F(x4)+X3残差连接到下一个bottleneck，最终得到第四block输出特征图X4(2048*22*22)，该特征图X4作为特征提取模块的输出结果，输入对抗擦除模块。
[0049]对抗擦除模块包括第一卷积网络分支、对抗擦除单元、第二卷积网络分支和融合单元，特征提取模块输出的特征图输入第一卷积网络分支得到第二特征图X
a
(256*22*22)，第二特征图X
a
通过对抗擦除单元进行对抗擦除得到第三特征图X
b
(256*22*22)，第三特征图X
b
通过第二卷积网络分支得到第四特征图X
b
'，通过融合单元将X
a
与X
b
'进行融合(在每个位置(i,j)取较大者为该点像素值)得到最终特征图X
f
。
[0050]作为一种可选的实施方式，第一卷积网络分支包括三个卷积网络，第二卷积网络分支包括三个卷积网络。
[0051]过设置阈值的方式(根据特征图目标与背景像素值的不同划分阈值区间)将输出特征图X
a
进行对擦除得到。
[0052]分割输出模块将最终特征图X
f
通过最近邻插值的方式进行上采样至原图大小与输入图像大小相等的分割图，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种改进的卷积神经网络的弱监督语义分割方法，其特征在于，将输入图像输入预先构建并训练好的语义分割网络中，生成语义分割结果；所述语义分割网络包括：特征提取模块：用以将输入图像处理为具有空间权重参数的特征图，包括以ResNet50为主干网络的卷积网络，卷积网络中的卷积核为条形卷积核，卷积网络中的每个block之间设有通道注意力模块；对抗擦除模块：用以将特征图以对抗擦除的方式输入两个通道，进行目标定位，生成最终特征图；分割输出模块：用以对最终特征图进行上采样，生成大小与输入图像大小相等的分割图，将分割图作为伪掩膜以全监督形式对输入图像进行最终分割，得到语义分割结果。2.根据权利要求1所述的一种改进的卷积神经网络的弱监督语义分割方法，其特征在于，所述以ResNet50为主干网络的卷积网络，包括多个block，每个block均包括conv bottleneck和identity bottleneck，相邻block之间设有用以加强网络提取特征的CBAM注意力模块。3.根据权利要求2所述的一种改进的卷积神经网络的弱监督语义分割方法，其特征在于，所述conv bottleneck和所述identity bottleneck均包括残差连接层和多个卷积层，对于每个bottleneck，输入图像经由多个卷积层处理生成的结果与输入图像通过残差连接层残差连接后输出，作为下一个bottleneck的输入，直到当前block的最后一个bottleneck输出第一特征图，完成一个block的特征提取。4.根据权利要求2所述的一种改进的卷积神经网络的弱监督语义分割方法，其特征在于，CBAM注意力模块包括并行的Global Max Pooling通道和Global Average Pooling通道，两个通道的输出分别连接有共享全连接层，第一特征图分别输入两个通道，并经过共享全连接层处理后，得到两个权重特征，将两个权重特征与第一特...

【专利技术属性】
技术研发人员：张卫东，王霜，杨云祥，陈卫星，陆锦辉，陈宏，巩伟杰，裴海龙，耿雄飞，
申请(专利权)人：海南大学，
类型：发明
国别省市：