【技术实现步骤摘要】
一种基于多尺度卷积特征提取和融合的显著物体检测方法
本专利技术涉及图像处理以及计算机视觉领域,特别是一种基于多尺度卷积特征提取和融合的显著物体检测方法。
技术介绍
如何在全卷积网络中融合多种尺度卷积特征是显著物体检测领域的一个开放性问题。从这个问题出发,大多数已有的基于全卷积神经网络的显著物体检测方法一般通过添加网络分支使不同尺度的卷积特征能够经由分支进行融合,从而产生对于显著物体检测任务更有益的特征。2015年之后提出的显著物体检测算法,大多数都致力于应用全卷积神经网络(FCNN)来提升网络的计算效率以及显著物体检测的精度。这些工作可以分为两类,首先是全卷积网络结构的创新,Li等人在预先训练的VGG-16网络上得到不同尺度的特征后,每个尺度的特征经过卷积计算得到新的特征结果,再通过上采样操作将这些特征恢复到统一大小,最后经过卷积操作得到显著检测结果,并且融合了一个超像素尺度的分支从空间尺度上优化了最后的显著物体检测的结果。Wang等人提出的显著物体网络是编码器-解码器形式的全卷积神经网络,同时还加入循环神经网络结构来不断迭代优化显著物体检测结果。Cheng等人在全卷积网络中加入了短连接结构(shortconnectionstructure),由于短连接结构中每一个输出分支都融合了高级语义信息以及低级的纹理、形状等特征,算法的性能得到显著提高同时还保持模型简洁且高效。然而,大多数方法是利用分类任务上预先训练好的特征网络来融合网络中相应不同尺度的卷积特征,而这些特征的尺度一般都是有限且固定的。
技术实现思路
有鉴于此,本专利技术的目的是提出一种基于多尺度卷积特征 ...
【技术保护点】
1.一种基于多尺度卷积特征提取和融合的显著物体检测方法,其特征在于:包括以下步骤:步骤S1:进行数据增强,同时对彩色图像以及对应的人工标注图进行处理,增加训练数据集的数据量;步骤S2:提取多尺度特征,并进行通道压缩来优化网络的计算效率;步骤S3:融合多尺度的特征,得到预测的显著图Pred
【技术特征摘要】
1.一种基于多尺度卷积特征提取和融合的显著物体检测方法,其特征在于:包括以下步骤:步骤S1:进行数据增强,同时对彩色图像以及对应的人工标注图进行处理,增加训练数据集的数据量;步骤S2:提取多尺度特征,并进行通道压缩来优化网络的计算效率;步骤S3:融合多尺度的特征,得到预测的显著图Predi;步骤S4:通过求解最小化交叉熵损失,学习到模型的最优参数;最终利用训练好的模型网络来预测图像中的显著物体。2.根据权利要求1所述的一种基于多尺度卷积特征提取和融合的显著物体检测方法,其特征在于:步骤S1具体包括以下步骤:步骤S11:对数据集中的每一张彩色图像和其对应的人工标注图一同进行缩放,使计算设备能够承担神经网络的计算量;步骤S12:对数据集中的每一张彩色图像和其对应的人工标注图一同进行随机裁剪操作,用以增加数据的多样性;步骤S13:通过图像水平翻转生成镜像图,来扩大原有数据集的数据量。3.根据权利要求1所述的一种基于多尺度卷积特征提取和融合的显著物体检测方法,其特征在于:步骤S2具体包括以下步骤:步骤S21:对U-Net固有的网络结构进行改进,其中U-Net网络的编码器结构是以图像分类卷积网络作为特征网络,通过不断堆叠组合卷积层以及池化层来产生5种不同尺度的卷积特征,在卷积特征Eni和卷积特征Eni+1之间存在一个池化层来逐步地减小特征图的大小,设置该池化层的步长为2,使得Eni+1相比Eni特征结果在宽和高两个空间维度上减少了一半;为了保持卷积特征和在空间维度上具备足够的信息,使最后两个卷积特征之间的池化层的步长为1,使得最后两个卷积特征在宽和高两个空间维度上保持一致的大小;步骤S22:设计一个多尺度特征提取模块作用于步骤S21改进的U-Net网络产生的每一个尺度的卷积特征,得到多尺度内容特征;步骤S23:加入一个通道压缩模块作用于多尺度内容特征来优化网络的计算效率。4.根据权利要求3所述的一种基于多尺度卷积特征提取和融合的显著物体检测方法,其特征在于:步骤S22具体包括以下步骤:步骤S221:设计三个卷积层,以卷积特征Eni作为输入,这三个卷积都是执行深度可分离的空洞卷积操作,其中空洞卷积的膨胀系数分别是3,6,9;这三个操作得到的特征结果与卷积特征Eni的特征大小保持一致,特征大小都为(c,h,w);步骤S222:应用连接操作将三个特征结果在通道维度上拼接在一起并得到特征大小为(3c,h,w)的特征结果;步骤S223:应用一个卷积核大小为(1,1)的卷积操作将步骤S222得到的特征结果的通道压缩到与卷积特征Eni一致并得到特征大小为(c,h,w)的多尺度内容特征。5.根据权利要求1所述的一种基于多尺度卷积特征提取和...
【专利技术属性】
技术研发人员:牛玉贞,龙观潮,郭文忠,苏超然,
申请(专利权)人:福州大学,
类型:发明
国别省市:福建,35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。