一种基于熵一致性的弱监督目标定位方法技术

本发明专利技术公开了一种基于熵一致性的弱监督目标定位方法，包括：训练阶段：步骤1，将含类别标注的训练集图片输入神经网络，生成四层特征图，分别计算分类损失；步骤2，由四层特征图得到融合特征图，计算分类损失；步骤3，将四层特征图和融合特征图分别生成熵特征图以及融合熵特征图；步骤4，融合熵特征图分别与四层熵特征图计算前景背景分离损失；步骤5，将四层熵特征图分别和融合熵特征图计算熵一致性损失；步骤6，使用分类损失、分离损失、熵一致性损失更新神经网络；测试阶段：步骤7，将无标注图片输入到经过训练的网络，获得融合熵特征图以及融合特征图；步骤8，通过融合特征图获得图片类别；步骤9，通过融合熵特征图获得目标的位置。通过融合熵特征图获得目标的位置。通过融合熵特征图获得目标的位置。

【技术实现步骤摘要】
一种基于熵一致性的弱监督目标定位方法


[0001]本专利技术涉及一种弱监督定位方法，特别是一种基于熵一致性的弱监督目标定位方法。

技术介绍

[0002]弱监督目标定位旨在仅使用图像级标签来对场景中对象进行定位。因其在工业场景中的广泛的应用而在研究界越来越受到关注。目前主流的关于弱监督对象定位的方法主要包含以下两类：
[0003]1、基于类激活映射的方法：该方法利用网络生成的类激活映射作为基础，通过特征增强方法提取目标坐标。基于特征擦除的方法(Has)、基于特征相似度的方法(SPA)都属于该方法的范畴。
[0004]2、基于前景学习的方法：该方法将定位问题与分类问题分开，直接得到图片的前景区域提取坐标。常见的方法有基于伪监督的方法(PSOL)、基于几何约束的方法(GC
‑
Net)。
[0005]其中，基于类激活映射的方法较为简单，但是由于这种基于类别信息，更倾向于获得物体上最具区分性的局部特征，然而目标定位需要更加全局的特征；
[0006]基于前景学习的方法解耦了目标定位和分类，但是需要多个阶段的学习，不能一次性端到端训练整个模型。

技术实现思路

[0007]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于熵一致性的弱监督目标定位方法。
[0008]为了解决上述技术问题，本专利技术公开了一种基于熵一致性的弱监督目标定位方法，包括以下步骤：
[0009]训练阶段：
[0010]步骤1，将包括图片和类别标注的训练集图片输入卷积神经网络，生成四层特征图，分别计算分类损失；
[0011]步骤2，将步骤1中得到的四层特征图进行特征融合得到融合特征图，计算分类损失；
[0012]步骤3，将步骤1中得到的四层特征图和步骤2中得到的融合特征图分别生成四层熵特征图以及一层融合熵特征图；
[0013]步骤4，一层融合熵特征图分别和四层熵特征图计算前景背景分离损失；
[0014]步骤5，将步骤3中得到的四层熵特征图分别和一层融合熵特征图计算熵一致性损失；
[0015]步骤6，使用步骤1和步骤2中得到的分类损失以及步骤4和步骤5中得到的前景背景分离损失和熵一致性损失，更新卷积神经网络；
[0016]测试阶段：
[0017]步骤7，将无标注图片输入到经过训练阶段训练的卷积神经网络，获得融合熵特征图以及融合特征图；
[0018]步骤8，通过步骤7中得到的融合特征图获得图片类别；
[0019]步骤9，通过步骤7中得到的融合熵特征图获得图片中目标的位置。
[0020]本专利技术步骤1中所述生成四层特征图的方法包括：
[0021]采用卷积神经网络VGG16，将图片输入该卷积神经网络，依次得到下采样比例为4,8,16,16的特征图作为四层特征图，通过卷积层将四层特征图通道数变为为C0，其中C0为类别数目。
[0022]本专利技术步骤2中所述的融合特征图获得方法包括：
[0023]设特征图X
m
，其中1≤m≤4，代表4个特征图中的第m个，其大小为H
m
×
W
m
×
C0，其中，H
m
为第m个特征图的高，W
m
为第m个特征图的宽；
[0024]进行双线性插值将4个特征图大小统一变为H
f
×
W
f
×
C0，其中，H
f
为四个特征图中最大的高，W
f
为四个特征图中最大的宽；
[0025]四个统一大小之后的特征图相加得到融合特征图X
f
，大小为H
f
×
W
f
×
C0。
[0026]本专利技术步骤3中生成熵特征图方法包括：
[0027]对于大小为H
×
W
×
C0的特征图X，其中H是特征图的高，W是特征图的宽，生成大小为H
×
W
×
1的熵特征图Y，过程包括：
[0028]设特征图X上的每个元素为x
i,j,k
，其中1≤i≤H,1≤j≤W,1≤k≤C0；
[0029]设：
[0030][0031]其中，S
i,j,k
是计算Y
i,j
的中间变量，得到：
[0032][0033]其中，Y
i,j
是熵特征图Y中位置(i,j)处的值；最终得到熵特征图Y。
[0034]本专利技术步骤3中所述生成一层融合熵特征图方法包括：对步骤3中获得的四层熵特征图，采用步骤2中所述的融合特征图获得方法，得到一层融合熵特征图。
[0035]本专利技术步骤4中所述计算前景背景分离损失的方法包括：
[0036]设大小为H
×
W
×
1的熵特征图Y上每个元素为y
i,j
，其中1≤i≤H,1≤j≤W；
[0037]得到前景背景损失L
fb
为：
[0038][0039]根据得到的前景背景分离损失L
fb
，通过反向传播方法(参考Werbos P J.Backpropagation through time:what it does and how to do it[J].Proceedings of the IEEE,1990,78(10):1550
‑
1560.)更新卷积神经网络中的参数。
[0040]本专利技术步骤5中所述计算熵一致性损失方法包括：
[0041]设熵特征图Y
m
，其中1≤m≤4，代表4个熵特征图中的第m个，其大小为H
m
×
W
m
×
1,每个元素为y
i,j,m
；
[0042]设融合熵特征图Y
f
大小为H
f
×
W
f
×
1,每个元素为y
i,j
；分别将熵特征图Y
m
上采样到和融合熵特征图Y
f
大小一致；
[0043]得到熵一致性损失L
c
为：
[0044][0045]根据得到的熵一致性损失L
c
，通过反向传播方法更新卷积神经网络中的参数。
[0046]本专利技术步骤1和步骤2中所述的计算分类损失方法包括：
[0047]对于大小为H
×
W
×
C0的特征图X经过卷积层经过全局平均池化操作后得到的特征图Z上的每个元素为z
k
，其中1≤k≤C0；
[0048]设大小为C0的向量G，G中每个元素为g
k
，其真实类别对应元素为1，其余位置为零，计算置信度q
k<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于熵一致性的弱监督目标定位方法，其特征在于，包括以下步骤：训练阶段：步骤1，将包括图片和类别标注的训练集图片输入卷积神经网络，生成四层特征图，分别计算分类损失；步骤2，将步骤1中得到的四层特征图进行特征融合得到融合特征图，计算分类损失；步骤3，将步骤1中得到的四层特征图和步骤2中得到的融合特征图分别生成四层熵特征图以及一层融合熵特征图；步骤4，一层融合熵特征图分别和四层熵特征图计算前景背景分离损失；步骤5，将步骤3中得到的四层熵特征图分别和一层融合熵特征图计算熵一致性损失；步骤6，使用步骤1和步骤2中得到的分类损失以及步骤4和步骤5中得到的前景背景分离损失和熵一致性损失，更新卷积神经网络；测试阶段：步骤7，将无标注图片输入到经过训练阶段训练的卷积神经网络，获得融合熵特征图以及融合特征图；步骤8，通过步骤7中得到的融合特征图获得图片类别；步骤9，通过步骤7中得到的融合熵特征图获得图片中目标的位置。2.根据权利要求1所述的一种基于熵一致性的弱监督目标定位方法，其特征在于，步骤1中所述生成四层特征图的方法包括：采用卷积神经网络VGG16，将图片输入该卷积神经网络，依次得到下采样比例为4，8，16，16的特征图作为四层特征图，通过卷积层将四层特征图通道数变为为C0，其中C0为类别数目。3.根据权利要求2所述的一种基于熵一致性的弱监督目标定位方法，其特征在于，步骤2中所述的融合特征图获得方法包括：设特征图X
m
，其中1≤m≤4，代表4个特征图中的第m个，其大小为H
m
×
W
m
×
C0，其中，H
m
为第m个特征图的高，W
m
为第m个特征图的宽；进行双线性插值将4个特征图大小统一变为H
f
×
W
f
×
C0，其中，H
f
为四个特征图中最大的高，W
f
为四个特征图中最大的宽；四个统一大小之后的特征图相加得到融合特征图X
f
，大小为H
f
×
W
f
×
C0。4.根据权利要求3所述的一种基于熵一致性的弱监督目标定位方法，其特征在于，步骤3中生成熵特征图方法包括：对于大小为H
×
W
×
C0的特征图X，其中H是特征图的高，W是特征图的宽，生成大小为H
×
W
×
1的熵特征图Y，过程包括：设特征图X上的每个元素为x
i，j，k
，其中1≤i≤H，1≤j≤W，1≤k≤C0；设：其中，S
i，j，k
是计算Y
i，j
的中间变量，得到：
其中，Y
i，j
是熵特征图Y中位置(i，j)处的值；最终得到熵特征图Y。5.根据权利要求4所述的一种基于熵一致性的弱监督目标定位方法，其特征在于，步骤3中所述生成一层融合熵特征图方法包括：对步骤3中获得的四层熵特征图，采用步骤2中所述的融合特征图获得方法，得到一层融合熵特征图。6.根据权利要求5所述的一种基于熵一致性的弱监督目标定位方法，其特征在于，步骤4中所述计算前景背景分离损失的方法包括：设大小为H
×
...

【专利技术属性】
技术研发人员：杨若瑜，李一凡，
申请(专利权)人：南京大学，
类型：发明
国别省市：