图像特征获取方法、装置、计算机设备、存储介质制造方法及图纸

本申请涉及一种图像特征获取方法、装置、计算机设备、存储介质和计算机程序产品。该方法涉及人工智能的计算机视觉技术，该方法包括：在接收到业务方发送的携带目标图像标识的特征查询请求时，返回调用通用图像特征提取模型对目标图像标识对应的目标图像进行特征提取所得到的目标图像的通用图像特征。将目标图像标识与目标图像的通用图像特征对应存储至通用图像特征库中，以在再次接收到任意业务方发送的携带目标图像标识的特征查询请求时，直接返回与目标图像标识对应的通用图像特征，从而，降低了计算消耗。降低了计算消耗。降低了计算消耗。

【技术实现步骤摘要】
图像特征获取方法、装置、计算机设备、存储介质


[0001]本申请涉及计算机
，特别是涉及一种图像特征获取方法、装置、计算机设备、存储介质和计算机程序产品，还涉及一种通用图像特征提取模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术与人工智能的迅速发展，计算机视觉的应用十分广泛，计算机视觉任务通过让计算机理解图片或者视频中的内容，从而实现一系列的业务场景，如图像分类、图像检索等等。图像特征在计算机视觉任务中发挥了至关重要的作用，它是图像的特点或内容的表征，是一幅图像区别于另一幅图像的基本信息，用来识别和标记图像内容。
[0003]传统技术中，对于同一个图像或视频，在不同的业务场景中，均通过适于相应业务场景的图像特征提取模型来对同一个图像或视频进行处理，得到适于相应业务场景的图像特征，再将提取的图像特征应用至相应的业务(如图像分类、图像检索)中，也就是说，同一个图像或视频会被适于不同业务的图像特征提取模型分别处理，这些适于不同业务的图像特征提取模型往往参数多，计算量大，在训练、预测阶段都会有较大的计算资源消耗。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够降低计算消耗的图像特征获取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]本申请提供了一种图像特征获取方法。所述方法包括：
[0006]在接收到业务方发送的携带目标图像标识的特征查询请求时，返回调用通用图像特征提取模型对所述目标图像标识对应的目标图像进行特征提取所得到的所述目标图像的通用图像特征；其中，所述通用图像特征提取模型是通过对图像特征提取模型与文本特征提取模型进行模联合训练得到的，每个训练样本包括样本图像与所述样本图像的文本信息，所述图像特征提取模型根据基于多个所述训练样本所确定的匹配损失函数更新，所述匹配损失函数，根据通过所述图像特征提取模型对所述样本图像进行特征提取所得到的图像特征与通过所述文本特征提取模型对所述文本信息进行特征提取所得到的文本特征之间的匹配度确定；
[0007]将所述目标图像标识与所述目标图像的通用图像特征对应存储至通用图像特征库中，以在再次接收到任意业务方发送的携带所述目标图像标识的特征查询请求时，直接返回与所述目标图像标识对应的通用图像特征。
[0008]本申请还提供了一种图像特征获取装置。所述装置包括：
[0009]接收模块，用于在接收到业务方发送的携带目标图像标识的特征查询请求时，返回调用通用图像特征提取模型对所述目标图像标识对应的目标图像进行特征提取所得到的所述目标图像的通用图像特征；其中，所述通用图像特征提取模型是通过对图像特征提取模型与文本特征提取模型进行模联合训练得到的，每个训练样本包括样本图像与所述样
本图像的文本信息，所述图像特征提取模型根据基于多个所述训练样本所确定的匹配损失函数更新，所述匹配损失函数，根据通过所述图像特征提取模型对所述样本图像进行特征提取所得到的图像特征与通过所述文本特征提取模型对所述文本信息进行特征提取所得到的文本特征之间的匹配度确定；
[0010]存储模块，用于将所述目标图像标识与所述目标图像的通用图像特征对应存储至通用图像特征库中，以在再次接收到任意业务方发送的携带所述目标图像标识的特征查询请求时，直接返回与所述目标图像标识对应的通用图像特征。
[0011]在一个实施例中，所述接收模块，用于在接收到业务方发送的携带目标图像标识的特征查询请求时，根据所述目标图像标识，获取与所述目标图像标识对应的目标图像，并调用通用图像特征提取模型对所述目标图像进行特征提取，得到与所述目标图像标识对应的通用图像特征，响应于所述特征查询请求，返回与所述目标图像标识对应的通用图像特征。
[0012]在一个实施例中，所述接收模块，用于在再次接收到任意业务方发送的携带所述目标图像标识的特征查询请求时，根据图像标识与通用图像特征之间的映射关系，查询所述通用图像特征库中是否存在与所述目标图像标识对应的通用图像特征；若查询到所述通用图像特征库中存在与所述目标图像标识对应的通用图像特征，则响应于所述特征查询请求，将从所述通用图像特征库中查询出的与所述目标图像标识对应的通用图像特征返回；若查询到所述通用图像特征库中不存在与所述目标图像标识对应的通用图像特征，则响应于所述特征查询请求，返回异常提示信息。
[0013]在一个实施例中，所述图像特征获取装置还包括清空模块，所述清空模块，用于当接收到更新的通用图像特征提取模型时，则清空所述通用图像特征库存储的通用图像特征。
[0014]在一个实施例中，所述接收模块，还用于若接收到业务方发送的携带目标图像标识的特征查询请求，返回调用更新的通用图像特征提取模型对所述目标图像标识对应的目标图像进行特征提取所得到的所述目标图像的更新的通用图像特征；所述存储模块，还用于将所述目标图像标识与所述目标图像的更新的通用图像特征对应存储至通用图像特征库中，以在再次接收到任意业务方发送的携带所述目标图像标识的特征查询请求时，直接返回与所述目标图像标识对应的更新的通用图像特征。
[0015]在一个实施例中，所述图像特征获取装置还包括训练模块，所述训练模块用于获取多个训练样本，每个所述训练样本包括样本图像以及与所述样本图像对应的文本信息；通过图像特征提取模型，对各所述训练样本的样本图像进行特征提取，得到各所述训练样本的图像特征；通过文本特征提取模型，对各所述训练样本的文本信息进行特征提取，得到各所述训练样本的文本特征；根据同一个训练样本的图像特征与文本特征构建正例匹配损失；根据两两训练样本的图像特征与文本特征构建负例匹配损失；根据所述正例匹配损失与所述负例匹配损失，确定匹配损失函数；根据所述匹配损失函数，对所述图像特征提取模型和所述文本特征提取模型进行联合训练，将训练好的图像特征提取模型，作为通用图像特征提取模型。
[0016]在一个实施例中，所述训练模块，用于对于每个训练样本，计算所述训练样本的图像特征与文本特征之间的相似度，得到各所述训练样本的样本内特征匹配度，根据各所述
训练样本的样本内特征匹配度，确定正例匹配损失；所述训练模块，用于对于每个训练样本，计算所述训练样本的图像特征与除所述训练样本以外的各个训练样本的文本特征之间的相似度，得到各所述训练样本的样本间特征匹配度，根据各所述训练样本的样本间特征匹配度，确定负例匹配损失；所述训练模块，用于根据各所述训练样本的样本内特征匹配度与各所述样本间特征匹配度，确定匹配损失函数，所述匹配损失函数与所述样本内特征匹配度成反相关，且与所述样本间特征匹配度成正相关。
[0017]在一个实施例中，所述训练模块，用于计算各所述样本内特征匹配度的交叉熵之和，计算各所述样本间特征匹配度的交叉熵之和；根据各所述样本内特征匹配度的交叉熵之和与各所述样本间特征匹配度的交叉熵之和，确定匹配损失函数。
[0018]在一个实施例中，所述训练模块，用于以最小化所述匹配损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征获取方法，其特征在于，所述方法包括：在接收到业务方发送的携带目标图像标识的特征查询请求时，返回调用通用图像特征提取模型对所述目标图像标识对应的目标图像进行特征提取所得到的所述目标图像的通用图像特征；其中，所述通用图像特征提取模型是通过对图像特征提取模型与文本特征提取模型进行联合训练得到的，每个训练样本包括样本图像与所述样本图像的文本信息，所述图像特征提取模型根据基于多个所述训练样本所确定的匹配损失函数更新，所述匹配损失函数，根据通过所述图像特征提取模型对所述样本图像进行特征提取所得到的图像特征与通过所述文本特征提取模型对所述文本信息进行特征提取所得到的文本特征之间的匹配度确定；将所述目标图像标识与所述目标图像的通用图像特征对应存储至通用图像特征库中，以在再次接收到任意业务方发送的携带所述目标图像标识的特征查询请求时，直接返回与所述目标图像标识对应的通用图像特征。2.根据权利要求1所述的方法，其特征在于，所述在接收到业务方发送的携带目标图像标识的特征查询请求时，返回调用通用图像特征提取模型对所述目标图像标识对应的目标图像进行特征提取所得到的所述目标图像的通用图像特征，包括：在接收到业务方发送的携带目标图像标识的特征查询请求时，根据所述目标图像标识，获取与所述目标图像标识对应的目标图像，并调用通用图像特征提取模型对所述目标图像进行特征提取，得到与所述目标图像标识对应的通用图像特征，响应于所述特征查询请求，返回与所述目标图像标识对应的通用图像特征。3.根据权利要求1所述的方法，其特征在于，所述在再次接收到任意业务方发送的携带所述目标图像标识的特征查询请求时，直接返回与所述目标图像标识对应的通用图像特征，包括：在再次接收到任意业务方发送的携带所述目标图像标识的特征查询请求时，根据图像标识与通用图像特征之间的映射关系，查询所述通用图像特征库中是否存在与所述目标图像标识对应的通用图像特征；若查询到所述通用图像特征库中存在与所述目标图像标识对应的通用图像特征，则响应于所述特征查询请求，将从所述通用图像特征库中查询出的与所述目标图像标识对应的通用图像特征返回；若查询到所述通用图像特征库中不存在与所述目标图像标识对应的通用图像特征，则响应于所述特征查询请求，返回异常提示信息。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：当接收到更新的通用图像特征提取模型时，则清空所述通用图像特征库存储的通用图像特征。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：若接收到业务方发送的携带目标图像标识的特征查询请求，返回调用更新的通用图像特征提取模型对所述目标图像标识对应的目标图像进行特征提取所得到的所述目标图像的更新的通用图像特征；将所述目标图像标识与所述目标图像的更新的通用图像特征对应存储至通用图像特
征库中，以在再次接收到任意业务方发送的携带所述目标图像标识的特征查询请求时，直接返回与所述目标图像标识对应的更新的通用图像特征。6.根据权利要求1至5任一项所述的方法，其特征在于，所述通用图像特征提取模型的训练步骤包括：获取多个训练样本，每个所述训练样本包括样本图像以及与所述样本图像对应的文本信息；通过图像特征提取模型，对各所述训练样本的样本图像进行特征提取，得到各所述训练样本的图像特征；通过文本特征提取模型，对各所述训练样本的文本信息进行特征提取，得到各所述训练样本的文本特征；根据同一个训练样本的图像特征与文本特征构建正例匹配损失；根据两两训练样本的图像特征与文本特征构建负例匹配损失；根据所述正例匹配损失与所述负例匹配损失，确定匹配损失函数；根据所述匹配损失函数，对所述图像特征提取模型和所述文本特征提取模型进行联合训练，将训练好的图像特征提取模型，作为所述通用图像特征提取模型。7.根据权利要求6所述的方法，其特征在于，所述根据同一个训练样本的图像特征与文本特征构建正例匹配损失，包括：对于每个训练样本，计算所述训练样本的图像特征与文本特征之间的相似度，得到各所述训练样本的样本内特征匹配度，根据各所述训练样本的样本内特征匹配度，确定正例匹配损失；所述根据两两训练样本的图像特征与文本特征构建负例匹配损失，包括：对于每个训练样本，计算所述训练样本的图像特征与除所述训练样本以外的各个训练样本的文本特征之间的相似度，得到各所述训练样本的样...

【专利技术属性】
技术研发人员：刘霄，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：