应用于图像版权保护的快速定位侵权图像的方法及装置制造方法及图纸

本发明专利技术涉及图像版权保护领域，公开了应用于图像版权保护的快速定位侵权图像的方法及装置，包括分别获取版权图像数据及待检索图像，利用图片侵权检测深度学习模型提取特征向量；计算每张图像的感知哈希值；利用特征向量和感知哈希值建立大规模数据检索方法，通过大规模数据检索方法对待检索图像数据进行定位侵权检索，获得侵权检索结果。本发明专利技术通过CNN网络与R

【技术实现步骤摘要】
应用于图像版权保护的快速定位侵权图像的方法及装置


[0001]本专利技术涉及图像版权保护领域，具体地涉及应用于图像版权保护的快速定位侵权图像的方法及装置。

技术介绍

[0002]随着多媒体和互联网技术的快速发展，海量的图像数据已经广泛应用于社会的各个领域中，图像版权保护的问题日益严峻。通常利用图像检索技术实现查找比对侵权图像和原始图像，其主要分为两个步骤：如何表达图像的特征信息以及高效的检索方法。按描述图像内容方式的不同可以分为两类：基于文本的图像检索和基于内容的图像检索。基于文本的图像检索方法主要利用文本标注对图像中的内容进行描述，但随着数据量级的快速增长，人工标注文本消耗的人力与财力已经不足以支撑现实中庞大的数据量。近几十年来基于内容的图像检索技术迅速发展，在本世纪初由于SIFT特征在图像尺度变化问题中的优异表现，基于局部描述算子的图像检索方法一直被广泛研究，大多数局部特征描述方法对基于梯度的特征进行编码以克服语义上的差距，如词袋模型、Fisher矢量或向量局部聚合描述符等，但这些编码方式不能捕捉到图像的高级语义信息。近些年基于深度学习卷积神经网络的图像表示方法提取出的高维图像特征展现出了极高的表现，图像检索提取特征的方法逐渐从SIFT特征向CNN特征转变。随着数据规模的不断增大，训练深度学习模型的计算代价也在不断变大，因此需要更合理的利用高维图像特征以及更高效的检索方法满足大规模数据下图像的比对识别，侵权结果的快速查找排序。

技术实现思路

[0003]本专利技术提供应用于图像版权保护的快速定位侵权图像的方法及装置，从而解决现有技术的上述问题。
[0004]第一方面，本专利技术提供了应用于图像版权保护的快速定位侵权图像的方法，包括以下步骤：
[0005]S1)分别获取版权图像数据以及待检索图像，建立图片侵权检测深度学习模型，利用图片侵权检测深度学习模型提取所述版权图像数据以及待检索图像中每张图像的特征向量；
[0006]S2)计算版权图像数据以及待检索图像中每张图像的感知哈希值；
[0007]S3)利用特征向量和感知哈希值建立大规模数据检索方法，通过大规模数据检索方法对待检索图像数据进行快速定位侵权检索，获得侵权检索结果。
[0008]进一步的，步骤S1)中，分别获取版权图像数据以及待检索图像，建立图片侵权检测深度学习模型，利用图片侵权检测深度学习模型提取所述版权图像数据以及待检索图像中每张图像的特征向量，包括以下步骤：
[0009]S11)对版权图像数据以及待检索图像中的每张图像进行第一图像预处理，第一图像预处理包括将所述版权图像数据以及待检索图像中的每张图像缩放到第一预设尺寸大
小；
[0010]S12)建立基于CNN的深度学习模型，将第一图像预处理后的每张图像分别输入所述基于CNN的深度学习模型，将所述基于CNN的深度学习模型的最后一个卷积层的特征图作为输出；
[0011]S13)采用R-MAC方法对每个特征图提取若干不同尺度的区域，获得若干个区域R-MAC特征，对若干个区域R-MAC特征进行求和池化、并进行拼接，获得与每张图像对应的n维特征向量；与每张图像对应的n维特征向量包括版权图像数据中每张图像的n维特征向量以及待检索图像的n维特征向量。
[0012]进一步的，步骤S2)中，计算版权图像数据以及待检索图像中每张图像的感知哈希值，包括以下步骤：
[0013]S21)对版权图像数据以及待检索图像中的每张图像进行第二图像预处理，第二图像预处理包括将版权图像数据以及待检索图像中的每张图像缩放到第二预设尺寸大小；
[0014]S22)将缩放到第二预设尺寸大小的每张图像分别转化为灰度图像；
[0015]S23)计算转化为灰度图像后每张图像的离散余弦变换，获得离散余弦变换系数矩阵；
[0016]S24)提取离散余弦变换系数矩阵的左上角预设大小的低频矩阵，计算低频矩阵的元素平均值，将低频矩阵中大于等于元素平均值的元素置1，将低频矩阵中小于元素平均值的元素置0，获得元素置1或置0的低频矩阵；
[0017]S25)将元素置1或置0的低频矩阵压平为一维向量，获得版权图像数据以及待检索图像中每张图像的感知哈希值。
[0018]进一步的，步骤S3)中，利用特征向量和感知哈希值建立大规模数据检索方法，包括构造检索索引文件和利用所述检索索引文件进行检索，构造检索索引文件包括以下步骤：
[0019]S31)初始化检索索引文件数据结构，检索索引文件数据结构包括倒排列表、码表、倒排向量ID表和/或倒排向量编码表；
[0020]S32)获取训练数据，利用训练数据训练聚类算法；训练数据包括若干个数据点，若干个数据点分别为版权图像数据中每张图像的n维特征向量；建立倒排向量ID表，倒排向量ID表用于存储若干个数据点以及若干个数据点的ID；
[0021]S33)根据训练数据的数据量确定聚类的中心数以及每个聚类中心所在簇中的元素数量范围；
[0022]S34)随机初始化所有聚类中心，对所有聚类中心及码表进行更新，包括以下步骤：
[0023]S3031)初始化所有聚类中心；
[0024]S3032)计算任意一个聚类中心C
q
到其他聚类中心的最短距离d(C
q
，C
w
)；d(C
q
，C
w
)表示聚类中心C
q
与距离聚类中心C
q
最近的聚类中心C
w
的距离；
[0025]S3033)获取聚类中心C
q
所在簇中的数据点x到所述聚类中心C
q
的距离d(C
q
，x)，判断2d(C
q
，x)≤d(C
q
，C
w
)是否成立，若否，则所述数据点x的归类位置不变；若否，则进入步骤S3034)；
[0026]S3034)计算数据点x到其他聚类中心的距离，将数据点x归类到与其他聚类中心的距离最近的聚类中心的所在簇中；
[0027]S3035)重复步骤S3032)至步骤S3034)，依次获得聚类中心C
q
所在簇中的每个数据点的归类位置；
[0028]S3036)重复步骤S3032)至步骤S3035)，依次获得每个聚类中心所在簇中的每个数据点的归类位置；
[0029]S3037)更新所有聚类中心，判断所有聚类中心是否发生变动，若是，则返回步骤S3032)；若否，则结束聚类更新，获得更新完成后的所有聚类中心以及每个聚类中心所在簇中的所有数据点，每一个数据点对应有一个ID，将更新完成后的所有聚类中心加入码表，将每个聚类中心所在簇中的所有数据点以及数据点的ID存储进对应的倒排列表中，每个聚类中心对应有一个倒排列表，倒排列表中储存着倒排ID和倒排编码表，倒排ID用于存储数据点的ID，倒排编码表用于存储聚类中心所在簇中的所有数据点。...

【技术保护点】

【技术特征摘要】
1.应用于图像版权保护的快速定位侵权图像的方法，其特征在于，包括以下步骤：S1)分别获取版权图像数据以及待检索图像，建立图片侵权检测深度学习模型，利用所述图片侵权检测深度学习模型提取所述版权图像数据以及待检索图像中每张图像的特征向量；S2)计算所述版权图像数据以及待检索图像中每张图像的感知哈希值；S3)利用所述特征向量和所述感知哈希值建立大规模数据检索方法，通过所述大规模数据检索方法对所述待检索图像数据进行快速定位侵权检索，获得侵权检索结果。2.根据权利要求1所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，步骤S1)中，分别获取版权图像数据以及待检索图像，建立图片侵权检测深度学习模型，利用所述图片侵权检测深度学习模型提取所述版权图像数据以及待检索图像中每张图像的特征向量，包括以下步骤：S11)对所述版权图像数据以及待检索图像中的每张图像进行第一图像预处理，所述第一图像预处理包括将所述版权图像数据以及待检索图像中的每张图像缩放到第一预设尺寸大小；S12)建立基于CNN的深度学习模型，将第一图像预处理后的每张图像分别输入所述基于CNN的深度学习模型，将所述基于CNN的深度学习模型的最后一个卷积层的特征图作为输出；S13)采用R-MAC方法对每个特征图提取若干不同尺度的区域，获得若干个区域R-MAC特征，对所述若干个区域R-MAC特征进行求和池化、并进行拼接，获得与每张图像对应的n维特征向量；所述与每张图像对应的n维特征向量包括所述版权图像数据中每张图像的n维特征向量以及所述待检索图像的n维特征向量。3.根据权利要求1或2所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，步骤S2)中，计算所述版权图像数据以及待检索图像中每张图像的感知哈希值，包括以下步骤：S21)对所述版权图像数据以及待检索图像中的每张图像进行第二图像预处理，所述第二图像预处理包括将所述版权图像数据以及待检索图像中的每张图像缩放到第二预设尺寸大小；S22)将缩放到第二预设尺寸大小的每张图像分别转化为灰度图像；S23)计算转化为灰度图像后每张图像的离散余弦变换，获得离散余弦变换系数矩阵；S24)提取所述离散余弦变换系数矩阵的左上角预设大小的低频矩阵，计算所述低频矩阵的元素平均值，将所述低频矩阵中大于等于元素平均值的元素置1，将所述低频矩阵中小于元素平均值的元素置0，获得元素置1或置0的低频矩阵；S25)将所述元素置1或置0的低频矩阵压平为一维向量，获得所述版权图像数据以及待检索图像中每张图像的感知哈希值。4.根据权利要求3所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，步骤S3)中，利用所述特征向量和所述感知哈希值建立大规模数据检索方法，包括构造检索索引文件和利用所述检索索引文件进行检索，所述构造检索索引文件包括以下步骤：S31)初始化检索索引文件数据结构，所述检索索引文件数据结构包括倒排列表、码表、倒排向量ID表和/或倒排向量编码表；
S32)获取训练数据，利用所述训练数据训练聚类算法；所述训练数据包括若干个数据点，所述若干个数据点分别为所述版权图像数据中每张图像的n维特征向量；建立倒排向量ID表，所述倒排向量ID表用于存储若干个数据点以及若干个数据点的ID；S33)根据训练数据的数据量确定聚类的中心数以及每个聚类中心所在簇中的元素数量范围；S34)随机初始化所有聚类中心，对所有聚类中心及码表进行更新，包括以下步骤：S3031)初始化所有聚类中心；S3032)计算任意一个聚类中心C
q
到其他聚类中心的最短距离d(C
q
，C
w
)，d(C
q
，C
w
)表示聚类中心C
q
与距离所述聚类中心C
q
最近的聚类中心C
w
的距离；S3033)获取聚类中心C
q
所在簇中的数据点x到所述聚类中心C
q
的距离d(C
q
，x)，判断2d(C
q
，x)≤d(C
q
，C
w
)是否成立，若否，则所述数据点x的归类位置不变；若否，则进入步骤S3034)；S3034)计算数据点x到其他聚类中心的距离，将数据点x归类到与其他聚类中心的距离最近的聚类中心的所在簇中；S3035)重复步骤S3032)至步骤S3034)，依次获得聚类中心C
q
所在簇中的每个数据点的归类位置；S3036)重复步骤S3032)至步骤S3035)，依次获得每个聚类中心所在簇中的每个数据点的归类位置；S3037)更新所有聚类中心，判断所有聚类中心是否发生变动，若是，则返回步骤S3032)；若否，则结束聚类更新，获得更新完成后的所有聚类中心以及每个聚类中心所在簇中的所有数据点，每一个数据点对应有一个ID，将更新完成后的所有聚类中心加入码表，将每个聚类中心所在簇中的所有数据点以及数据点的ID存储进对应的倒排列表中，每个聚类中心对应有一个倒排列表，倒排列表中储存着倒排ID和倒排编码表，所述倒排ID用于存储数据点的ID，所述倒排编码表用于存储聚类中心所在簇中的所有数据点。5.根据权利要求4所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，利...

【专利技术属性】
技术研发人员：张季玮，王泽辉，
申请(专利权)人：中国搜索信息科技股份有限公司，
类型：发明
国别省市：