【技术实现步骤摘要】
本申请实施例涉及哈希检索，尤其涉及一种面向流数据的持续哈希学习检索方法和装置。
技术介绍
1、哈希检索在数据存储和检索领域应用广泛，其核心是通过特定哈希函数将数据映射为固定长度哈希码。在数据检索时，对于给定查询数据，先计算其哈希码，再依据此码查询可能包含目标数据的区域实现快速检索。
2、现存大多数哈希检索方法基于批处理训练模式，处理固定数据集时性能优良。因为此时数据分布和特征相对稳定，可对整个数据集学习并优化哈希函数达到良好检索效果。然而，现实世界中数据多以流数据形式存在，具有顺序、大量、快速、连续到达且随时间无限增长的特点。基于批处理训练模式的哈希检索方法难以适应流数据场景，无法实时对新到达数据学习和更新哈希函数。
3、为了解决流数据处理的问题，一些在线哈希检索方法应运而生。这些方法试图在处理流数据时能够实时更新哈希函数。然而，尽管这些方法在一定程度上能够处理流数据，但它们仍然存在一些局限性。其中一个关键问题是无法有效处理随着流数据块不断出现的未知新类。当新的数据类别出现时，这些在线哈希检索方法难以准确地对新类数据进行表征和学习，从而影响检索性能。
技术实现思路
1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
2、本专利技术实施例的主要目的在于提出一种面向流数据的持续哈希学习检索方法，能够提高生成的哈希码质量。
3、为实现上述目的，本专利技术实施例的第一方面提供面向流数据的持续哈希学习检索方法，所述方
4、获取目标流数据；
5、将所述目标流数据输入训练完成的哈希检索模型中，得到所述哈希检索模型输出的目标哈希码；其中所述哈希检索模型包括残差网络、卷积神经网络和哈希函数，所述哈希检索模型的训练过程包括：
6、对所述哈希检索模型进行多轮训练，直至所述哈希检索模型收敛；其中的第t轮训练的过程包括：
7、将训练流数据输入至所述残差网络中，以使所述残差网络基于自监督学习从所述训练流数据中提取出第一特征，并根据预设的第一损失函数和所述第一特征计算第一损失；所述训练流数据包括实时采集的第一实时流数据和数据库中的预存流数据，所述数据库中的预存流数据是前t-1轮训练时，采集的实时流数据；
8、将携带有标签的所述训练流数据输入至所述卷积神经网络中，以使所述卷积神经网络基于有监督学习和所述第一特征从所述携带有标签的所述训练流数据中提取出第二特征，并根据预设的第二损失函数和所述第二特征计算第二损失；所述携带有标签的所述训练流数据包括携带有标签的所述第一实时流数据和所述数据库中的所述预存流数据；
9、基于所述第一损失和所述第二损失对所述残差网络进行梯度更新，基于所述第二损失对所述卷积神经网络进行梯度更新；
10、将所述第一特征和所述第二特征融合得到最终特征；
11、将所述最终特征输入至所述哈希函数中，得到所述哈希函数输出的哈希码，基于所述哈希码计算第三损失，并依据所述第三损失对所述哈希函数进行梯度更新。
12、本申请提供的一种面向流数据的持续哈希学习检索方法，至少具有如下有益效果：
13、（1）为克服现有哈希检索方法在处理流数据时的局限性，引入持续学习框架，通过引入此框架，哈希检索方法能处理实时流数据，适应时间变化的数据特性，在不断学习新的实时流数据同时避免对旧的预存流数据知识的遗忘，维持对新旧数据的检索性能；而且，持续学习框架还与哈希函数有效连接，利用残差网络和卷积神经网络持续学习进而提取的特征指导哈希函数的学习，不断提高生成的哈希码质量，进一步提升检索性能。
14、（2）残差网络能够根据优化自监督学习损失来学习第一特征，卷积神经网络能够利用残差网络的第一特征快速学习有标签样本数据，并能够将学习到的第二特征反馈给残差网络，以巩固残差网络提取的第一特征。
15、在一些实施例中，所述残差网络和所述卷积神经网络的层数相同；
16、所述从所述携带有标签的所述训练流数据中提取出第二特征，包括：
17、将所述残差网络第j层输出的第j个第一特征与所述卷积神经网络第j层输出的第j个第二特征融合，得到融合特征；j是小于l的正整数，l为所述残差网络的总层数，且l为大于1的正整数；
18、将所述融合特征输入至所述卷积神经网络的第j+1层中，得到卷积神经网络的第j+1层输出的第j+1个第二特征，并依次类推，直至得到所述卷积神经网络的第l层输出的第l个所述第二特征。
19、所述将所述第一特征和所述第二特征融合得到最终特征，包括：
20、将所述残差网络输出的第l个第一特征和所述卷积神经网络输出的第l个第二特征融合，得到最终特征。
21、在一些实施例中，所述第一损失函数包括：
22、；
23、；
24、其中，表示第一损失函数，表示恒等式，表示中的第m维的值，表示残差网络针对经过a方式数据变换后的b个训练流数据输出的特征矩阵，表示中的第n维的值，表示残差网络针对经过b方式数据变换后的b个训练流数据输出的特征矩阵，表示权衡因子，表示互相关矩阵，表示互相关矩阵的对角线元素。
25、在一些实施例中，所述第二损失函数包括：
26、；
27、其中，表示第二损失函数，表示交叉熵损失函数的映射函数，表示卷积神经网络针对携带有标签的第一实时流数据输出的第二特征，表示softmax函数的映射函数，softmax函数对应的温度系数为，表示对应的标签，表示预存流数据的数量，表示卷积神经网络针对预存流数据输出的第二特征，表示对应的标签，表示卷积神经网络学习第个任务后针对预存流数据输出的第二特征，表示权衡因子，表示kl散度损失的映射函数。
28、在一些实施例中，所述基于所述哈希码计算第三损失，包括：
29、基于预设的损失函数和所述哈希码计算第三损失；其中损失函数包括：
30、；
31、其中，表示具有参数的哈希函数，表示正则化参数，表示所述训练流数据的样本类别数量。
32、在一些实施例中，所述哈希函数包括：
33、；
34、其中，表示具有参数的哈希函数，表示哈希函数在第t轮针对提取出的哈希码，表示在第t轮训练时，预存流数据的特征矩阵，表示哈希函数在第t轮训练时，针对提取出的哈希码，表示在第t轮训练时，第一实时流数据的特征矩阵，表示在第t轮训练时的参数，表示平衡正则化项的超参数。
35、在一些实施例中，所述基于所述哈希码计算第三损失，包括：
36、基于预设的损失函数、损失函数和所述哈希码计算第三损失；其中所述损失函数包括：
37、；
38、其中，表示具有参数的哈希函数，表示正则化参数，表示所述训练流数据的样本类别数量；
39、所述损失函数包括：
40、；
41、；...
【技术保护点】
1.一种面向流数据的持续哈希学习检索方法，其特征在于，所述方法包括：
2.根据权利要求1所述的面向流数据的持续哈希学习检索方法，其特征在于，所述残差网络和所述卷积神经网络的层数相同；
3.根据权利要求1所述的面向流数据的持续哈希学习检索方法，其特征在于，所述第一损失函数包括：
4.根据权利要求1所述的面向流数据的持续哈希学习检索方法，其特征在于，所述第二损失函数包括：
5.根据权利要求4所述的面向流数据的持续哈希学习检索方法，其特征在于，所述基于所述哈希码计算第三损失，包括：
6.根据权利要求1所述的面向流数据的持续哈希学习检索方法，其特征在于，所述哈希函数包括：
7.根据权利要求4所述的面向流数据的持续哈希学习检索方法，其特征在于，所述基于所述哈希码计算第三损失，包括：
8.一种面向流数据的持续哈希学习检索装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至7任一项所述的面向流数据的持续哈希学习检索方法。
...【技术特征摘要】
1.一种面向流数据的持续哈希学习检索方法，其特征在于，所述方法包括：
2.根据权利要求1所述的面向流数据的持续哈希学习检索方法，其特征在于，所述残差网络和所述卷积神经网络的层数相同；
3.根据权利要求1所述的面向流数据的持续哈希学习检索方法，其特征在于，所述第一损失函数包括：
4.根据权利要求1所述的面向流数据的持续哈希学习检索方法，其特征在于，所述第二损失函数包括：
5.根据权利要求4所述的面向流数据的持续哈希学习检索方法，其特征在于，所述基于所述哈希码计算第三损失，包括：
6.根据权利要求1所述的面向流数据的持续哈希学习检索方法，其特征在于，所述哈希函数包括：
7.根据权利要求4所述的...
【专利技术属性】
技术研发人员：杨展，龙伟露，龙军，李逸楠，陈云飞，
申请(专利权)人：中南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。