图像自动标注方法、装置、设备及介质制造方法及图纸

本发明专利技术图像自动标注方法、装置、设备及介质，包括，获取多个待标注样本图像，并基于CNN卷积神经网络特征提取模型提取网络表征层的图像特征，构建第一KNN关系图；将密度节点低于经验值的所述待标注样本图像的第一KNN关系图输入预先训练的GCN

【技术实现步骤摘要】
图像自动标注方法、装置、设备及介质


[0001]本专利技术属于图像数据处理
，特别涉及一种图像自动标注方法、装置、设备及介质。

技术介绍

[0002]一个干净的大规模图像库是获得高精确模型至关重要的步骤。然而图像库的标注和清洗难度极大，人工标注成本极高。特别是难分样本，比如同类的行人样本被分到不同类时，人工很难发现。
[0003]因此图像聚类自动标注，降低人工标注成本的图像自动标注方法、装置、设备及介质便显得尤为重要。

技术实现思路

[0004]本专利技术的目的在于提供一种图像自动标注方法、装置、设备及介质，通过关系图的结构和多个节点特征相似度定义节点间的亲和度，同一类样本(簇)的特征信息及其与其他类样本的关系预测两个簇的关联强度，达到图像自己标注聚类的目的。
[0005]本申请实施例的第一方面提供了一种图像自动标注方法，包括：获取多个待标注样本图像，并基于CNN卷积神经网络特征提取模型提取每一所述待标注样本图像网络表征层的图像特征，并根据图像特征基于K近邻算法构建每一所述待标注样本图像的第一KNN关系图；将密度节点低于经验值的所述待标注样本图像的第一KNN关系图输入预先训练的GCN
‑
V节点亲和度预测模型，预测所述所述KNN关系图节点间的亲和度；根据亲和度裁剪节点间的边，使同一簇的节点属于同一类样本，剪枝获得所述待标注样本图像的第二KNN关系图；将所述待标注样本图像的第二KNN关系图输入预先训练的GCN
‑
C边连接强度预测模型，预测簇与簇之间的边连接强度；提取边连接强度大于阀值的簇聚类形成所述待标注样本图像的聚类。
[0006]进一步地，所述GCN
‑
V节点亲和度预测模型利用CNN模型计算已标注图像的节点亲和度对图卷积神经网络进行训练而得到的。
[0007]进一步地，所述GCN
‑
C边连接强度预测模型利用CNN模型计算已标注图像的簇关系图的特征矩阵对图卷积神经网络进行训练而得到的
[0008]进一步地，所述CNN卷积神经网络特征提取模型提取每一所述待标注样本图像网络表征层的图像特征包括所述待标注样本图像网络表征层的特征向量F，F∈R
(N
×
D)
，其中N表示未标注图像数量，D表示特征向量的维度，所述第一KNN关系图为使用K近邻算法(KNN),根据特征向量和向量内积度量，获得的每一所述待标注样本图像的K值数据。
[0009]进一步地，所述第一KNN关系图G(V,E)是无向图，节点Vi(i∈[0,N))表示图像数据，由特征向量Fi表征；边Ej(i∈[0,K))表示两个连接节点间的关系，由邻接矩阵表征。
[0010]进一步地，预先训练的GCN
‑
V节点亲和度预测模型的方法具体为：将已标注图形输入CNN卷积神经网络特征提取模型提取识别特征；根据识别特征基于K近邻算法构建标注图
像的KNN亲和关系图；选择低于经验值密度节点的KNN亲和关系图训练获得所述GCN
‑
V节点亲和度预测模型。
[0011]进一步地，预先训练的GCN
‑
C边连接强度预测模型的方法具体为：基于所述KNN亲和关系图设置第一阀值形成节点簇；设置第二阀值构建新的簇关系图；计算所述簇关系图的特征矩阵，训练获得GCN
‑
C边连接强度预测模型。
[0012]进一步地，将密度节点低于经验值的所述第一KNN关系图输入预先训练的GCN
‑
V节点亲和度预测模型，预测所述所述KNN关系图节点间的亲和度：两个节点Vm、Vn的亲和度Aff(m,n)表示两个节点属于同类的概率，亲和度越高，两个节点属于同一类的概率越大，节点Vm、Vn的亲和度计算方法为：
[0013][0014]节点相似度a
i,j
＝<F
i
,F
j
>是节点特征向量的内积，节点一致性系数e
i,j
＝P
(yi＝yj)
‑
P
(yi≠yj)
，使用标注数据时，当节点属于同类时e
i,j
＝1，当节点不属于同类时e
i,j
＝
‑
1，节点的密度定义为节点密度高于经验值的节点与相邻的节点具有高概率属于同一类，反之，该节点与相邻节点同一类的概率较低。
[0015]进一步地，根据亲和度裁剪节点间的边，使同一簇的节点属于同一类样本，剪枝获得所述待标注样本图像的第二KNN关系图具体为：计算节点间的亲和度模型的损失L，具体为，
[0016][0017]Aff
i
是通过已标注图形计算得到的节点亲和度，Aff'
i
是通过GCN
‑
V节点亲和度预测模型计算出的的节点亲和度；在所述待标注样本图像的第一KNN关系图中设置第一阀值T1，将亲和度Aff
i
<T1的边进行剪枝，并将所有同一类的节点在所述第一KNN关系图连接成簇；在所述第一KNN关系图中设置第二阀值T2进行剪枝，其中所述第二阀值T2小于第一阀值T1；将簇间的一个或多个连接边合并成一个，通过剪枝形成所述待标注样本图像的第二KNN关系图。
[0018]进一步地，将所述待标注样本图像的第二KNN关系图输入预先训练的GCN
‑
C边连接强度预测模型，预测簇与簇之间的边连接强度具体为：计算GCN
‑
C边连接强度预测模型的损失Lc：
[0019][0020]其中rc是通过已标注图形计算得到的节点间的连接强度，r'
c
是通过GCN
‑
C边连接强度预测模型输出的连接强度。
[0021]本申请实施例的第二方面提供了一种装置，包括：图像采集模块，获取多个待标注样本图像，并基于CNN卷积神经网络特征提取模型提取每一所述待标注样本图像网络表征层的图像特征，并根据图像特征基于K近邻算法构建每一所述待标注样本图像的第一KNN关系图；亲和度计算模块，将密度节点低于经验值的所述待标注样本图像的第一KNN关系图输
入预先训练的GCN
‑
V节点亲和度预测模型，预测所述所述KNN关系图节点间的亲和度；亲和度裁剪模块，根据亲和度裁剪节点间的边，使同一簇的节点属于同一类样本，剪枝获得所述待标注样本图像的第二KNN关系图；边连接强度计算模块，将所述待标注样本图像的第二KNN关系图输入预先训练的GCN
‑
C边连接强度预测模型，预测簇与簇之间的边连接强度；图像聚类模块，提取边连接强度大于阀值的簇聚类形成所述待标注样本图像的聚类。
[0022]本申请实施例的第三方面提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在计算机设备上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方案提供的图像自动标注方法的各步骤。...

【技术保护点】

【技术特征摘要】
1.一种图像自动标注方法，其特征在于，包括：获取多个待标注样本图像，并基于CNN卷积神经网络特征提取模型提取每一所述待标注样本图像网络表征层的图像特征，并根据图像特征基于聚类算法构建每一所述待标注样本图像的第一KNN关系图；将密度节点低于经验值的所述待标注样本图像的第一KNN关系图输入预先训练的GCN
‑
V节点亲和度预测模型，预测所述所述KNN关系图节点间的亲和度；根据亲和度裁剪节点间的边，使同一簇的节点属于同一类样本，剪枝获得所述待标注样本图像的第二KNN关系图；将所述待标注样本图像的第二KNN关系图输入预先训练的GCN
‑
C边连接强度预测模型，预测簇与簇之间的边连接强度；提取边连接强度大于阀值的簇聚类形成所述待标注样本图像的聚类。2.跟据权利要求1所述的图像自动标注方法，其特征在于，所述GCN
‑
V节点亲和度预测模型利用CNN模型计算已标注图像的节点亲和度对图卷积神经网络进行训练得到。3.跟据权利要求1所述的图像自动标注方法，其特征在于，所述GCN
‑
C边连接强度预测模型利用CNN模型计算已标注图像的簇关系图的特征矩阵对图卷积神经网络进行训练得到。4.跟据权利要求1所述的图像自动标注方法，其特征在于，所述CNN卷积神经网络特征提取模型提取每一所述待标注样本图像网络表征层的图像特征包括所述待标注样本图像网络表征层的特征向量F，F∈R
(N
×
D)
，其中N表示未标注图像数量，D表示特征向量的维度，所述第一KNN关系图为使用K近邻算法(KNN),根据特征向量和向量内积度量，获得的每一所述待标注样本图像的K值数据。5.根据权利要求1所述的图像自动标注方法，其特征在于，所述第一KNN关系图G(V,E)是无向图，节点Vi(i∈[0,N))表示图像数据，由特征向量Fi表征；边Ej(i∈[0,K))表示两个连接节点间的关系，由邻接矩阵表征。6.根据权利要求1所述的图像自动标注方法，其特...

【专利技术属性】
技术研发人员：王丹丹，黄宇恒，金晓峰，徐天适，戴巾帼，
申请(专利权)人：广州广电运通金融电子股份有限公司，
类型：发明
国别省市：