【技术实现步骤摘要】
本申请涉及版权保护，特别是涉及一种基于图像语义对比预训练模型的图像侵权检索方法和装置。
技术介绍
1、现有的图像侵权检索方法主要分为两种，一种为基于水印的增加和读取，主要目的为提升水印的鲁棒性；第二种方法图像特征提取和相似度比对的方法。基础的方法类似提取图像的特征；也有一些方法结合了区块链技术和侵权检测技术。
2、图像的侵权检测有两个核心挑战，一个是图像库海量，如何快速提取图像特征并计算；一个是如何更精准的匹配图像侵权检测的需求，而非图像相似的检测需求。面对第一个挑战，公开号为cn116415210a、cn114495139a的两个专利中采用了分段式的方法，先提取图像特征，然后将其进行分类，随后在同类别中进行检索(cn116415210a偏向于方法，cn114495139a偏向于系统构建)。公开号为cn112579986a的专利图像侵权检测方法、设备和系统则是没有采用分类的方法，只是进行了两阶段的检索，粗筛和细筛。上述专利都没有匹配第二个挑战，即，没有区分图像检索和图像侵权检索的区别。
3、面对第二个挑战，公开号为cn115017350a的专利基于深度学习的海报图像查重检索方法、装置和电子设备解决了这个问题。该专利提出两阶段检索方法，先对图像进行分类，在同分类中进行相似检索。特点在于，并非检索图像整体特征而是检索其局部特征。但是该方法没有面对第一个挑战，即在海量数据集中如何进行检索，因为该方案使用了目标识别技术，所以本质上可识别的类别是限定了，这导致了没办法进行海量检索。
4、传统的以图搜图方
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于图像语义对比预训练模型的图像侵权检索方法和装置。
2、一种基于图像语义对比预训练模型的图像侵权检索方法，该方法包括：
3、获取图像数据库，采用预训练的clip模型对图像数据库张每张图像进行特征提取，得到每张图像的粗筛特征。
4、获取待检测图像，采用clip模型对待检测图像进行特征提取，得到待检测图像的粗筛特征。
5、计算待检测图像的粗筛特征和图像数据库中每张图像的粗筛特征的余弦相似度，并选择图像数据库中余弦相似度大于预设值的图像构成粗筛图像集合。
6、采用特征提取网络提取待检测图像的局部高价值元素。
7、对局部高价值元素和粗筛图像集合中每张图像进行特征匹配，得到局部高价值元素与粗筛图像集合中每张图像之间的特征匹配分数。
8、对特征匹配分数根据面积比例进行加权求和，得到待检测图像和粗筛图像集合中每张图像的综合侵权相似度得分。
9、根据综合侵权相似度得分和预设阈值，判断待检测图像是否构成侵权。
10、在其中一个实施例中，特征提取网络为resnet-101骨干网与特征金字塔网络相结合的r101-fpn模型。
11、在其中一个实施例中，采用特征提取网络提取待检测图像的局部高价值元素，包括：
12、将待检测图像输入到r101-fpn模型中，得到多个边界框，构成边界框集合。
13、将每个边界框作为一个检测到的元素。
14、根据边界框集合，删除低价值元素，保留局部高价值元素。
15、在其中一个实施例中，根据边界框集合，删除低价值元素，保留局部高价值元素，包括：
16、计算边界框集合中每个边界框的面积与待检测图像的面积的比值，得到每个边界框面积所占比例。
17、从边界框集合中删除边界框面积所占比例不在预设范围内的边界框，得到第一边界框集合，定义面积比例集合p，面积比例集合p用于记录第一边界框集合中每个边界框面积所占比例。
18、计算第一边界框集合中每个边界框的宽高比，从第一边界框聚合中删除宽高比为0的边界框，得到第二边界框集合。
19、采用clip模型提取第二边界框集合中每个边界框对应的图像特征，计算第二边界框集合任意两个边界框对应的图像特征的余弦相似度，当得到的余弦相似度高于第一预设阈值是，删除边界框面积较小的边界框，并更新面积比例集合p。
20、对面积比例集合p中每个边界框的面积进行比例规范化，定义规范化后的面积比例集合p'，得到筛选后的边界框集合；筛选后的边界框集合包括高价值元素集合及其对应的规范化后的面积比例集合p'；规范化后的面积比例集合p'用于记录每个局部高价值元素的归一化权重。
21、在其中一个实施例中，对局部高价值元素和粗筛图像集合中每张图像进行特征匹配，得到局部高价值元素与粗筛图像集合中每张图像之间的特征匹配分数，包括：
22、采用superglue对待检测图像的局部高价值元素和粗筛图像集合中每张图像的进行特征提取、特征匹配，得到局部高价值元素与粗筛图像集合中每张图像之间的特征匹配分数。
23、在其中一个实施例中，对特征匹配分数根据面积比例进行加权求和，得到待检测图像和粗筛图像集合中每张图像的综合侵权相似度得分，包括：
24、根据每个局部高价值元素基于面积比例对每个高价值元素赋予权重，对所有权重进行归一化处理，得到每个局部高价值元素的归一化权重。
25、根据局部高价值元素的归一化权重和特征匹配分数，得到待检测图像和粗筛图像集合中每张图像的综合侵权相似度得分为：
26、
27、其中,s(q,ii)是待检测图像q与粗筛图像集合中第i个图像ii之间的综合侵权相似度得分，pb'是局部高价值元素b的归一化权重，score(b,ii)是局部高价值元素b与图像ii之间的特征匹配分数。
28、在其中一个实施例中，所有局部高价值元素的归一化权重组成经过规范化后的面积比例集合为：
29、
30、其中，p′是经过规范化后的面积比例集合；p′k是第k个局部高价值元素的归一化权重；pk是面积比例集合p中第k个分割对象的原始面积比例，j是所有边界框的索引集合，是面积比例集合p中所有边界框的面积比例之和。
31、一种基于图像语义对比预训练模型的图像侵权检索装置，该装置包括：
32、第一次粗筛模块，用于获取图像数据库，采用预训练的clip模型对图像数据库张每张图像进行特征提取，得到每张图像的粗筛特征；获取待检测图像，采用clip模型对待检测图像进行特征提取，得到待检测图像的粗筛特征；计算待检测图像的粗筛特征和图像数据库中每张图像的粗筛特征的余弦相似度，并选择图像数据库中余弦相似度大于预设值的图像构成粗筛图像集合。
33、局部高价值元素本文档来自技高网...
【技术保护点】
1.一种基于图像语义对比预训练模型的图像侵权检索方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述特征提取网络为ResNet-101骨干网与特征金字塔网络相结合的R101-FPN模型。
3.根据权利要求2所述的方法，其特征在于，采用特征提取网络提取所述待检测图像的局部高价值元素，包括：
4.根据权利要求3所述的方法，其特征在于，根据所述边界框集合，删除低价值元素，保留局部高价值元素，包括：
5.根据权利要求3所述的方法，其特征在于，对局部高价值元素和所述粗筛图像集合中每张图像进行特征匹配，得到局部高价值元素与所述粗筛图像集合中每张图像之间的特征匹配分数，包括：
6.根据权利要求1所述的方法，其特征在于，对所述特征匹配分数根据面积比例进行加权求和，得到所述待检测图像和所述粗筛图像集合中每张图像的综合侵权相似度得分，包括：
7.根据权利要求6所述的方法，其特征在于，所有局部高价值元素的归一化权重组成经过规范化后的面积比例集合为：
8.一种基于图像语义对比预训练模型的图像侵
...【技术特征摘要】
1.一种基于图像语义对比预训练模型的图像侵权检索方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述特征提取网络为resnet-101骨干网与特征金字塔网络相结合的r101-fpn模型。
3.根据权利要求2所述的方法，其特征在于，采用特征提取网络提取所述待检测图像的局部高价值元素，包括：
4.根据权利要求3所述的方法，其特征在于，根据所述边界框集合，删除低价值元素，保留局部高价值元素，包括：
5.根据权利要求3所述的方法，其特征在于，对...
【专利技术属性】
技术研发人员：刘芳，崔盛兰，刘志雄，叶云帆，张默涵，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。