【技术实现步骤摘要】
一种复杂环境下的显著性物体检测方法
[0001]本专利技术涉及一种深度学习的视觉图像显著性检测方法，尤其是涉及一种复杂环境下的显著性物体检测方法。
技术介绍
[0002]随着深度学习在计算机领域的快速发展，图像的显著性检测已成为越来越受关注的研究领域。显著性物体检测(Salient Object Detection，SOD)旨在将视觉上最独特的对象与输入图像区分开来，它是许多图像处理和计算机视觉任务(例如人脸识别、视频压缩、图像编辑、语义分割等)中的一个有效的预处理步骤。传统的显著性物体检测方法的效果差，并且受到手工制作的相关特征的限制，随着卷积神经网络的兴起，显著性物体检测得到了极大的发展。前几年的显著性物体检测方法都是利用彩色图像进行显著性检测，随着深度传感器的发展，获取深度信息变得越来越方便，进而利用彩色信息与深度信息来对显著性进行检测，有效地提高了图像像素级检测任务的精度。
[0003]现有的基于卷积神经网络的显著性物体检测方法一般都是编码
‑
解码架构，编码过程通过多层卷积和池化逐渐减少分辨率、增加感受野、获得更多的语义信息；解码过程逐渐恢复分辨率，获得最终预测图。关于编码
‑
解码架构，主要分为三种：第一种为前期融合，采用的方法是先将彩色信息和深度信息相加或者相叠加，再一起输入到编码
‑
解码中；第二种为中期融合，在编码和解码之间加入相加和叠加操作；第三种为晚期融合，采用的方法是分别将彩色信息和深度信息输入到编码
‑
解码中，在最终输...
【技术保护点】
【技术特征摘要】
1.一种复杂环境下的显著性物体检测方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1：选取N对原始3D图像及每对原始3D图像对应的真实显著检测图像，并获取每对原始3D图像对应的热力图像，将第k对原始3D图像的RGB图像记为将第k对原始3D图像对应的热力图像记为将第k对原始3D图像对应的真实显著检测图像作为标签图像，并记为然后将所有原始3D图像的RGB图像及对应的热力图像和对应的标签图像构成训练集；其中，N为正整数，N≥200，k为正整数，1≤k≤N，1≤x≤W，1≤y≤H，W表示原始3D图像及其RGB图像、对应的热力图像、对应的标签图像的宽度，H表示原始3D图像及其RGB图像、对应的热力图像、对应的标签图像的高度，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤1_2：构建端到端的卷积神经网络：该卷积神经网络包括输入层、编码部分、解码部分和输出层，输入层包括RGB图输入层和热力图输入层，编码部分包括10个神经网络块，解码部分包括5个交叉模态融合块、5个双边反转融合块、1个多尺度一致性融合块；对于RGB图输入层，其输入端接收一幅原始RGB图像的R通道分量、G通道分量和B通道分量，其输出端输出原始RGB图像的R通道分量、G通道分量和B通道分量给编码部分；其中，原始RGB图像的宽度为W且高度为H；对于热力图输入层，其输入端接收一幅原始热力图像的R通道分量、G通道分量和B通道分量，其输出端输出原始热力图像的R通道分量、G通道分量和B通道分量给编码部分；其中，原始热力图像的宽度为W且高度为H；对于编码部分，第1个神经网络块、第2个神经网络块、第3个神经网络块、第4个神经网络块、第5个神经网络块依次连接构成RGB信息编码流，第6个神经网络块、第7个神经网络块、第8个神经网络块、第9个神经网络块、第10个神经网络块依次连接构成热力信息编码流；第1个神经网络块的输入端接收RGB图输入层的输出端输出的原始RGB图像的R通道分量、G通道分量和B通道分量，第1个神经网络块的输出端输出64幅特征图，将这64幅特征图构成的集合记为S1，S1中的每幅特征图的宽度为且高度为第2个神经网络块的输入端接收S1中的所有特征图，第2个神经网络块的输出端输出64幅特征图，将这64幅特征图构成的集合记为S2，S2中的每幅特征图的宽度为且高度为第3个神经网络块的输入端接收S2中的所有特征图，第3个神经网络块的输出端输出128幅特征图，将这128幅特征图构成的集合记为S3，S3中的每幅特征图的宽度为且高度为第4个神经网络块的输入端接收S3中的所有特征图，第4个神经网络块的输出端输出256幅特征图，将这256幅特征图构
成的集合记为S4，S4中的每幅特征图的宽度为且高度为第5个神经网络块的输入端接收S4中的所有特征图，第5个神经网络块的输出端输出512幅特征图，将这512幅特征图构成的集合记为S5，S5中的每幅特征图的宽度为且高度为第6个神经网络块的输入端接收热力图输入层的输出端输出的原始热力图像的R通道分量、G通道分量和B通道分量，第6个神经网络块的输出端输出64幅特征图，将这64幅特征图构成的集合记为S6，S6中的每幅特征图的宽度为且高度为第7个神经网络块的输入端接收S6中的所有特征图，第7个神经网络块的输出端输出64幅特征图，将这64幅特征图构成的集合记为S7，S7中的每幅特征图的宽度为且高度为第8个神经网络块的输入端接收S7中的所有特征图，第8个神经网络块的输出端输出128幅特征图，将这128幅特征图构成的集合记为S8，S8中的每幅特征图的宽度为且高度为第9个神经网络块的输入端接收S8中的所有特征图，第9个神经网络块的输出端输出256幅特征图，将这256幅特征图构成的集合记为S9，S9中的每幅特征图的宽度为且高度为第10个神经网络块的输入端接收S9中的所有特征图，第10个神经网络块的输出端输出512幅特征图，将这512幅特征图构成的集合记为S10，S10中的每幅特征图的宽度为且高度为编码部分提供S1、S2、S3、S4、S5、S6、S7、S8、S9、S10中的所有特征图给解码部分；对于解码部分，第1个交叉模态融合块的第一输入端接收S1中的所有特征图，第1个交叉模态融合块的第二输入端接收S6中的所有特征图，第1个交叉模态融合块的输出端输出64幅特征图，将这64幅特征图构成的集合记为F1，F1中的每幅特征图的宽度为且高度为第2个交叉模态融合块的第一输入端接收S2中的所有特征图，第2个交叉模态融合块的第二输入端接收S7中的所有特征图，第2个交叉模态融合块的输出端输出64幅特征图，将这64幅特征图构成的集合记为F2，F2中的每幅特征图的宽度为且高度为第3个交叉模态融合块的第一输入端接收S3中的所有特征图，第3个交叉模态融合块的第二输入端接收S8中的所有特征图，第3个交叉模态融合块的输出端输出128幅特征图，将这128幅特征图构成的集合记为F3，F3中的每幅特征图的宽度为且高度为第4个交叉模态融合块的第一输入端接收S4中的所有特征图，第4个交叉模态融合块的第二输入端接收S9中的所有特征图，第4个交叉模态融合块的输出端输出256幅特征图，将这256幅特征图构成的集合记为F4，F4中的每幅特征图的宽度为且高度为第5个交叉模态融合块的第一输入端接收
S5中的所有特征图，第5个交叉模态融合块的第二输入端接收S10中的所有特征图，第5个交叉模态融合块的输出端输出512幅特征图，将这512幅特征图构成的集合记为F5，F5中的每幅特征图的宽度为且高度为第1个双边反转融合块的输入端接收F5中的所有特征图，第1个双边反转融合块的输出端输出512幅特征图，将这512幅特征图构成的集合记为A1，A1中的每幅特征图的宽度为且高度为第2个双边反转融合块的第一输入端接收F4中的所有特征图，第2个双边反转融合块的第二输入端接收A1中的所有特征图，第2个双边反转融合块的输出端输出256幅特征图，将这256幅特征图构成的集合记为A2，A2中的每幅特征图的宽度为且高度为第3个双边反转融合块的第一输入端接收F3中的所有特征图，第3个双边反转融合块的第二输入端接收A2中的所有特征图，第3个双边反转融合块的输出端输出128幅特征图，将这128幅特征图构成的集合记为A3，A3中的每幅特征图的宽度为且高度为第4个双边反转融合块的第一输入端接收F2中的所有特征图，第4个双边反转融合块的第二输入端接收A3中的所有特征图，第4个双边反转融合块的输出端输出64幅特征图，将这64幅特征图构成的集合记为A4，A4中的每幅特征图的宽度为且高度为第5个双边反转融合块的第一输入端接收F1中的所有特征图，第5个双边反转融合块的第二输入端接收A4中的所有特征图，第5个双边反转融合块的输出端输出64幅特征图，将这64幅特征图构成的集合记为A5，A5中的每幅特征图的宽度为且高度为多尺度一致性融合块的第一输入端接收A1中的所有特征图，多尺度一致性融合块的第二输入端接收A2中的所有特征图，多尺度一致性融合块的第三输入端接收A3中的所有特征图，多尺度一致性融合块的第四输入端接收A4中的所有特征图，多尺度一致性融合块的第五输入端接收A5中的所有特征图，多尺度一致性融合块的输出端输出160幅特征图，将这160幅特征图构成的集合记为Y，Y中的每幅特征图的宽度为W且高度为H；解码部分提供Y中的所有特征图给输出层；对于输出层，其输入端接收Y中的所有特征图，其输出端输出1幅宽度为W且高度为H的特征图，作为显著性检测图；步骤1_3：将训练集中的每对原始3D图像的RGB图像作为原始RGB图像，并将训练集中的每对原始3D图像对应的热力图像作为原始热力图像，输入到卷积神经网络中进行训练，输出训练集中的每对原始3D图像对应的显著性预测图像，将第k对原始3D图像对应的显著性预测图像记为其中，表示中坐标位置为(x,y)的像素点的像素值；步骤1_4：计算训练集中的每对原始3D图像对应的显著性预测图像与对应的标签图像之间的损失函数值，将与之间的损失函数值记为
通过交叉熵损失计算得到；步骤1_5：重复执行步骤1_3和步骤1_4共Num次，训练得到卷积神经网络训练模型，并共得到N
×
Num个损失函数值；然后从N
×
Num个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值相应的权值矢量和偏置项对应作为卷积神经网络训练模型的最优权值矢量和最优偏置项；其中，Num≥50；所述的测试阶段过程的具体步骤为：步骤2_1：对于任意一对待显著性物体检测的3D图像，获取该3D图像对应的热力图像；然后将该3D图像的RGB图像作为原始RGB图像，并将该3D图像对应的热力图像作为原始热力图像，输入到卷积神经网络训练模型中，并利用最优权值矢量和最优偏置项进行预测，预测得到该3D图像对应的显著性预测图像。2.根据权利要求1所述的一种复杂环境下的显著性物体检测方法，其特征在于所述的步骤1_2中，5个交叉模态融合块的结构相同，其由第1个卷积块至第16个卷积块、1个自适应最大池化层、1个自适应平均池化层组成，第1个卷积块的输入端为其所在的交叉模态融合块的第一输入端，第2个卷积块的输入端为其所在的交叉模态融合块的第二输入端，第3个卷积块的输入端接收第1个卷积块的输出端输出的所有特征图，对第1个卷积块的输出端输出的所有特征图和第3个卷积块的输出端输出的所有特征图进行第1次对应元素相加操作，并将第1次对应元素相加操作后得到的所有特征图构成的集合记为Add1，第4个卷积块的输入端接收Add1中的所有特征图，对第1个卷积块的输出端输出的所有特征图、第3个卷积块的输出端输出的所有特征图、第4个卷积块的输出端输出的所有特征图进行第2次对应元素相加操作，并将第2次对应元素相加操作后得到的所有特征图构成的集合记为Add2，第5个卷积块的输入端接收Add2中的所有特征图，对第1个卷积块的输出端输出的所有特征图、第3个卷积块的输出端输出的所有特征图、第4个卷积块的输出端输出的所有特征图、第5个卷积块的输出端输出的所有特征图进行第3次对应元素相加操作，并将第3次对应元素相加操作后得到的所有特征图构成的集合记为Add3，第6个卷积块的输入端接收Add3中的所有特征图，对第3个卷积块的输出端输出的所有特征图、第4个卷积块的输出端输出的所有特征图、第5个卷积块的输出端输出的所有特征图、第6个卷积块的输出端输出的所有特征图进行第1次通道数叠加操作，并将第1次通道数叠加操作后得到的所有特征图构成的集合记为CS1，第7个卷积块的输入端接收第2个卷积块的输出端输出的所有特征图，对第2个卷积块的输出端输出的所有特征图和第7个卷积块的输出端输出的所有特征图进行第4次对应元素相加操作，并将第4次对应元素相加操作后得到的所有特征图构成的集合记为Add4，第8个卷积块的输入端接收Add4中的所有特征图，对第2个卷积块的输出端输出的所有特征图、第7个卷积块的输出端输出的所有特征图、第8个卷积块的输出端输出的所有特征图进行第5次对应元素相加操作，并将第5次对应元素相加操作后得到的所有特征图构成的集合记为Add5，第9个卷积块的输入端接收Add5中的所有特征图，对第2个卷积块的输出端输出的所有特征图、第7个卷积块的输出端输出的所有特征图、第8个卷积块的输出端输出的所有特征图、第9个卷积块的输出端输出的所有特征图进行第6次对应元素相加操作，并将第6次对应元素相加操作后得到的所有特征图构成的集合记为Add6，第10个卷积块的输入端接收Add6中的所有特征图，对第7个卷积块的输出端输出的所有特征图、第8个卷积块的输出端
输出的所有特征图、第9个卷积块的输出端输出的所有特征图、第10个卷积块的输出端输出的所有特征图进行第2次通道数叠加操作，并将第2次通道数叠加操作后得到的所有特征图构成的集合记为CS2，对CS1中的所有特征图和CS2中的所有特征图进行第1次对应元素相乘操作，并将第1次对应元素相乘操作后得到的所有特征图构成的集合记为Ride1，第14个卷积块的输入端接收Ride1中的所有特征图，对CS1中的所有特征图和第14个卷积块的输出端输出的所有特征图进行第7次对应元素相加操作，并将第7次对应元素相加操作后得到的所有特征图构成的集合记为Add7，对CS2中的所有特征图和第14个卷积块的输出端输出的所有特征图进行第8次对应元素相加操作，并将第8次对应元素相加操作后得到的所有特征图构成的集合记为Add8，对第1个卷积块的输出端输出的所有特征图和第2个卷积块的输出端输出的所有特征图进行第3次通道数叠加操作，并将第3次通道数叠加操作后得到的所有特征图构成的集合记为CS3，第11个卷积块的输入端接收CS3中的所有特征图，自适应最大池化层的输入端接收第11个卷积块的输出端输出的所有特征图，自适应平均池化层的输入端接收第11个卷积块的输出端输出的所有特征图，第12个卷积块的输入端接收自适应最大池化层的输出端输出的所有特征图，第13个卷积块的输入端接收自适应平均池化层的输出端输出的所有特征图，对第12个卷积块的输出端输出的所有特征图和第13个卷积块的输出端输出的所有特征图进行第9次对应元素相加操作，并将第9次对应元素相加操作后得到的所有特征图构成的集合记为Add9，对Add9中的所有特征图经过一个“Sigmoid”激活函数后得到的所有特征图和第11个卷积块的输出端输出的所有特征图进行第2次对应元素相乘操作，并将第2次对应元素相乘操作后得到的所有特征图构成的集合记为Ride2，对Add7中的所有特征图、Add8中的所有特征图、Ride2中的所有特征图进行第4次通道数叠加操作，并将第4次通道数叠加操作后得到的所有特征图构成的集合记为CS4，第15个卷积块的输入端接收CS4中的所有特征图，对第15个卷积块的输出端输出的所有特征图经过一个“torch.mean”函数后得到的所有特征图和第15个卷积块的输出端输出的所有特征图经过一个“torch.max”函数后得到的所有特征图进行第5次通道数叠加操作，并将第5次通道数叠加操作后得到的所有特征图构成的集合记为CS5，第16个卷积块的输入端接收CS5中的所有特征图，对第16个卷积块的输出端输出的所有特征图经过一个“Sigmoid”激活函数后得到的所有特征图和第15个卷积块的输出端输出的所有特征图进行第3次对应元素相乘操作，并将第3次对应元素相乘操作后得到的所有特征图构成的集合记为Ride3，将Ride3中的所有特征图作为所在的交叉模态融合块的输出端输出的所有特征图。3.根据权利要求2所述的一种复杂环境下的显著性物体检测方法，其特征在于第1个卷积块包括依次连接的第一卷积层和第一激活层，第一卷积层的输入端作为第1个卷积块的输入端，第一激活层的输出端作为第1个卷积块的输出端，第2个卷积块包括依次连接的第二卷积层和第二激活层，第二卷积层的输入端作为第2个卷积块的输入端，第二激活层的输出端作为第2个卷积块的输出端，第3个卷积块包括依次连接的第三卷积层、第三激活层、第四卷积层、第四激活层，第三卷积层的输入端作为第3个卷积块的输入端，第四激活层的输出端作为第3个卷积块的输出端，第4个卷积块包括依次连接的第五卷积层、第五激活层、第六卷积层、第六激活层，第五卷积层的输入端作为第4个卷积块的输入端，第六激活层的输出端作为第4个卷积块的输出端，第5个卷积块包括依次连接的第七卷积层、第七激活层、第八卷积层、第八激活层，第七卷积层的输入端作为第5个卷积块的输入端，第八激活层的输
出端作为第5个卷积块的输出端，第6个卷积块包括依次连接的第九卷积层、第九激活层、第十卷积层、第十激活层，第九卷积层的输入端作为第6个卷积块的输入端，第十激活层的输出端作为第6个卷积块的输出端，第7个卷积块包括依次连接的第十一卷积层、第十一激活层、第十二卷积层、第十二激活层，第十一卷积层的输入端作为第7个卷积块的输入端，第十二激活层的输出端作为第7个卷积块的输出端，第8个卷积块包括依次连接的第十三卷积层、第十三激活层、第十四卷积层、第十四激活层，第十三卷积层的输入端作为第8个卷积块的输入端，第十四激活层的输出端作为第8个卷积块的输出端，第9个卷积块包括依次连接的第十五卷积层、第十五激活层、第十六卷积层、第十六激活层，第十五卷积层的输入端作为第9个卷积块的输入端，第十六激活层的输出端作为第9个卷积块的输出端，第10个卷积块包括依次连接的第十七卷积层、第十七激活层、第十八卷积层、第十八激活层，第十七卷积层的输入端作为第10个卷积块的输入端，第十八激活层的输出端作为第10个卷积块的输出端，第11个卷积块包括依次连接的第十九卷积层、第十九激活层，第十九卷积层的输入端作为第11个卷积块的输入端，第十九激活层的输出端作为第11个卷积块的输出端，第12个卷积块包括依次连接的第二十卷积层、第二十激活层、第二十一卷积层、第二十一激活层，第二十卷积层的输入端作为第12个卷积块的输入端，第二十一激活层的输出端作为第12个卷积块的输出端，第13个卷积块包括依次连接的第二十二卷积层、第二十二激活层、第二十三卷积层、第二十三激活层，第二十二卷积层的输入端作为第13个卷积块的输入端，第二十三激活层的输出端作为第13个卷积块的输出端，第14个卷积块包括依次连接的第二十四卷积层、第二十四激活层，第二十四卷积层的输入端作为第14个卷积块的输入端，第二十四激活层的输出端作为第14个卷积块的输出端，第15个卷积块包括依次连接的第二十五卷积层、第二十五激活层，第二十五卷积层的输入端作为第15个卷积块的输入端，第二十五激活层的输出端作为第15个卷积块的输出端，第16个卷积块包括依次连接的第二十六卷积层、第二十六激活层，第...
【专利技术属性】
技术研发人员：周武杰，郭沁玲，雷景生，万健，甘兴利，钱小鸿，叶宁，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。