【技术实现步骤摘要】
本专利技术属于图像检索，具体涉及一种基于度量学习的大规模家纺图像检索方法、装置、设备及介质。
技术介绍
1、随着电子商务的蓬勃发展，在线购物已经成为现代人日常活动的一个重要部分。面对互联网中海量的商品信息，商品检索是帮助客户从大量商品中浏览和搜索的有效方法。目前，商品检索主要使用的是基于内容的检索方法，用户通过上传商品图像进行查询，系统对检索图像进行特征提取并得到该图像的特征向量表示，然后与图像库中图像的特征向量进行距离度量，返回距离最近的图像所对应的商品列表，图像检索处理过程如图1所示。
2、随着多媒体技术的发展，行业内的图像资源的价值越来越重要，针对特定领域的商品图像检索算法的研究也越来越有意义。家纺品类交易在线上购物平台中具有很大的占比，家纺图像检索不同于传统的图像检索，家纺图像检索同时存在粗粒度和细粒度的图像识别问题。粗粒度指的是家纺包含的品类众多，例如床品、抱枕、地毯、蚊帐等；细粒度的问题，指的是图像类间差异小而类内差异又较大，不同的类别只能通过细小的差距来进行区分，相同类别个体可能因为遮挡、形变、拍摄角度等原因表现出较大的视觉差异。家纺中重点区域的图案、花纹等细粒度信息复杂，相似款变得更加难以区分，如图2所示。这种复杂的数据分布下，想要达到很好的检索效果就需要获得表征能力强的图像特征描述子和设计粗粒度与细粒度兼顾的识别模型。
3、为了解决上述问题，在图像识别网络模型的设计中，我们采用注意力机制来抑制图像中的背景噪声，使网络聚焦在主体区域。然而，原始空间注意力模块中的全局最大池化会导致信息丢失。
4、针对家纺图像检索存在的细粒度问题，度量学习是一种常用且有效的方法，但现有研究中基于度量的损失函数例如三元组损失(triplet loss)、n对损失(n-pair loss)等，难以满足细粒度图像类内紧凑、类间分离的要求，难以获得符合细粒度图像数据集分布的特征向量空间。arcface loss损失函数在其它类型的图像识别中有较好的效果，但在家纺图像检索中具有局限性。家纺图像检索结果需要根据图像相似程度进行排序，arcfaceloss中设置了固定的类间距，这导致所有类边缘的图像之间距离相等，但事实上这些图像相似程度并不完全相同，arcface loss不能很好地描述这种实际情况；同时，在类间中心距离远的情况下，固定的类间距无法实现较强的类内约束。
技术实现思路
1、本专利技术提供一种基于度量学习的大规模家纺图像检索方法、装置、设备及介质，一方面通过混合最大池化空间注意力模块，以融合不同尺度的局部空间注意力信息，聚焦主体信息，抑制无关信息；另一方面采用动态的类间距，可以使得类内更紧凑，同时获得更优的类间分离效果。
2、为实现上述技术目的，本专利技术采用如下技术方案：
3、一种基于度量学习的大规模家纺图像检索方法，首先针对家纺查询图像，使用特征提取器提取查询图像特征，再根据查询图像特征并使用检索模块在图像特征库中进行相似性检索，输出得到近似家纺图像；其中：
4、所述特征提取器，通过采用改进的arcface损失作为损失函数训练其模型参数得到；所述改进的arcface损失，将现有arcface损失中的固定加性角裕量改进为动态角裕量，使得类间距随着类别中心距离不同而动态变化。
5、进一步的，所述改进的arcface损失，表示为：
6、
7、其中，lpd-arcface表示改进的arcface损失，i为特征提取器的训练样本索引，n为批大小，s为特征分布超球面的半径，yi为样本i的实际类别，为类别yi的权重，wn为与类别yi最近邻类别n的权重，为样本xi的特征与权重的夹角，θj为样本xi的特征与权重wj的夹角，m为类别的数量，为类别yi与其最近似类别n之间的动态角裕量，即动态类间距，定义为：
8、
9、其中，表示权重wn与权重的夹角，k是一个经验超参数，m为均分的固定类间距，初始化为arcface最优值。
10、进一步的，所述特征提取器选择resnet50网络模型作为主干网络进行特征提取。
11、进一步的，所述resnet50网络模型包括5个阶段，并在resnet50网络模型第4、5个阶段之间添加混合最大池化空间注意力模块mmpsa，通过采用多个不同窗口大小的最大池化以同时提取多种距离尺度的空间注意力信息，来提取查询图像特征。
12、进一步的，所述混合最大池化空间注意力模块描述为：
13、
14、μmpsa(f)＝fcbs1*1([maxpoolk＝5(fc)；maxpoolk＝9(fc)；maxpoolk＝13(fc)]) (2)
15、fc＝fcbs1*1(f) (3)
16、其中，ms表示混合最大池化空间注意力模块的输出值，f为混合最大池化空间注意力模块的输入特征图，σ是sigmoid激活函数，mmpsa(f)表示对输入特征图f进行mmpsa运算；avgpool代表全局平均池化；fcbs是一个卷积模块，包括卷积操作conv2d、批归一化batchnorm2d和激活函数silu；fh*h代表卷积核大小为h的卷积操作，fc为卷积输出；maxpoolk代表窗口大小为k的最大池化。
17、一种基于度量学习的大规模家纺图像检索装置，包括：特征提取器和检索模块；
18、所述特征提取器用于：提取家纺查询图像的特征，得到查询图像特征；具体的，所述特征提取器通过采用改进的arcface损失作为损失函数训练其模型参数得到；所述改进的arcface损失，将现有arcface损失中的固定加性角裕量改进为动态角裕量，使得类间距随着类别中心距离不同而动态变化；
19、所述检索模块用于：根据查询图像特征在图像特征库中进行相似性检索，输出得到近似家纺图像。
20、进一步的，所述改进的arcface损失，表示为：
21、
22、其中，lpd-arcface表示改进的arcface损失，i为特征提取器的训练样本索引，n为批大小，s为特征分布超球面的半径，yi为样本i的实际类别，为类别yi的权重，wn为与类别yi最近邻类别n的权重，为样本xi的特征与权重的夹角，θj为样本xi的特征与权重wj的夹角，m为类别的数量，为类别yi与其最近似类别n之间的动态角裕量，即动态类间距，定义为：
23、
24、其中，表示权重wn与权重的夹角，k是一个经验超参数，m为均分的固定类间距，初始化为arcface最优值。
25、进一步的，所述特征提取器选择resnet50网络模型作为主干网络进行特征提取；
26、所述resnet50网络模型包括5个阶段，并在resnet50网络模型第4、5个阶段之间添加混合最大池化空间注意力模块mmpsa，通过采用多个不同窗口大小的最大池化以同时提取多种距离尺度的空间注意力信息，来提取查询图像特征；
27、本文档来自技高网...
【技术保护点】
1.一种基于度量学习的大规模家纺图像检索方法，其特征在于，首先针对家纺查询图像，使用特征提取器提取查询图像特征，再根据查询图像特征并使用检索模块在图像特征库中进行相似性检索，输出得到近似家纺图像；其中：
2.根据权利要求1所述的基于度量学习的大规模家纺图像检索方法，其特征在于，所述改进的arcface损失，表示为：
3.根据权利要求1或2所述的基于度量学习的大规模家纺图像检索方法，其特征在于，所述特征提取器选择ResNet50网络模型作为主干网络进行特征提取。
4.根据权利要求3所述的基于度量学习的大规模家纺图像检索方法，其特征在于，所述ResNet50网络模型包括5个阶段，并在ResNet50网络模型第4、5个阶段之间添加混合最大池化空间注意力模块MMPSA，通过采用多个不同窗口大小的最大池化以同时提取多种距离尺度的空间注意力信息，来提取查询图像特征。
5.根据权利要求4所述的基于度量学习的大规模家纺图像检索方法，其特征在于，所述混合最大池化空间注意力模块描述为：
6.一种基于度量学习的大规模家纺图像检索装置，其特征在
7.根据权利要求6所述的基于度量学习的大规模家纺图像检索装置，其特征在于，所述改进的arcface损失，表示为：
8.根据权利要求6或7所述的基于度量学习的大规模家纺图像检索装置，其特征在于，所述特征提取器选择ResNet50网络模型作为主干网络进行特征提取；
9.一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1～5中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～5中任一项所述的方法。
...【技术特征摘要】
1.一种基于度量学习的大规模家纺图像检索方法，其特征在于，首先针对家纺查询图像，使用特征提取器提取查询图像特征，再根据查询图像特征并使用检索模块在图像特征库中进行相似性检索，输出得到近似家纺图像；其中：
2.根据权利要求1所述的基于度量学习的大规模家纺图像检索方法，其特征在于，所述改进的arcface损失，表示为：
3.根据权利要求1或2所述的基于度量学习的大规模家纺图像检索方法，其特征在于，所述特征提取器选择resnet50网络模型作为主干网络进行特征提取。
4.根据权利要求3所述的基于度量学习的大规模家纺图像检索方法，其特征在于，所述resnet50网络模型包括5个阶段，并在resnet50网络模型第4、5个阶段之间添加混合最大池化空间注意力模块mmpsa，通过采用多个不同窗口大小的最大池化以同时提取多种距离尺度的空间注意力信息，来提取查询图像特征。
5.根...
【专利技术属性】
技术研发人员：曾锋，苗子依，王祎，洪治国，
申请(专利权)人：杭州光云科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。