图像特征提取模型的训练方法、图像匹配方法及装置制造方法及图纸

本申请涉及图像处理技术领域，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，尤其涉及一种图像特征提取模型的训练方法、图像匹配方法及装置，训练方法包括：第一样本图像以及第二样本图像均通过对目标样本图像进行图像尺度变换得到；基于第一关键点热力图以及第二关键点热力图进行热力损失处理，得到图像热力损失信息；基于第一图像特征以及第二图像特征进行特征损失处理，得到图像特征损失信息；基于图像热力损失信息以及图像特征损失信息对待训练的学生模型进行模型训练，得到用于提取图像特征的已训练的学生模型。本申请兼顾了局部图像特征提取的计算时长以及提取准确性的问题。准确性的问题。准确性的问题。

【技术实现步骤摘要】
图像特征提取模型的训练方法、图像匹配方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种图像特征提取模型的训练方法、图像匹配方法及装置。

技术介绍

[0002]图像的局部检索算法凭借局部敏感与不变的特性，可以有力补充全局特征检索对于强攻击类型、裁剪类型检索召回低的问题。局部检索算法从传统数学算子升级到深度神经网络模型之后，面临的问题是输入图像尺寸比较大的情况下虽然局部特征提取会更加准确，但是会导致模型计算时间长，不利于模型实际部署应用；而输入图像尺寸较小虽然能够减少模型计算时长，但无法分辨细节的局部特征，从而使得图像局部特征提取耗时长或者图像局部特征提取不准确的问题。

技术实现思路

[0003]本申请所要解决的技术问题在于，提供一种图像特征提取模型的训练方法、图像匹配方法及装置，通过已训练的且针对大尺度图像的教师模型指导待训练的且针对小尺度图像的学生模型进行模型训练，使得学生模型能够学习到教师模型针对大尺度图像的处理性能，从而在对小尺度图像进行局部图像特征提取时，在保证计算速度的基础上，实现了通过大尺度图像的处理性能提高局部图像特征提取的准确性，兼顾了局部图像特征提取的计算时长以及提取准确性的问题。
[0004]为了解决上述技术问题，一方面，本申请提供了一种图像特征提取模型的训练方法，包括：
[0005]将第一样本图像输入已训练的教师模型进行图像特征提取，得到所述第一样本图像对应的第一关键点热力图，以及所述第一样本图像对应的第一图像特征；
[0006]将第二样本图像输入待训练的学生模型进行图像特征提取，得到所述第二样本图像对应的第二关键点热力图，以及所述第二样本图像对应的第二图像特征；所述第一样本图像以及所述第二样本图像均通过对目标样本图像进行图像尺度变换得到，且所述第一样本图像的第一尺度大于所述第二样本图像的第二尺度；
[0007]基于所述第一关键点热力图以及所述第二关键点热力图进行热力损失处理，得到图像热力损失信息；
[0008]基于所述第一图像特征以及所述第二图像特征进行特征损失处理，得到图像特征损失信息；
[0009]基于所述图像热力损失信息以及所述图像特征损失信息对所述待训练的学生模型进行模型训练，得到用于提取图像特征的已训练的学生模型。
[0010]另一方面，本申请提供了一种图像匹配方法，包括：
[0011]将待匹配图像输入图像特征提取模型，得到所述待匹配图像对应的待匹配关键点热力图以及所述待匹配图像对应的待匹配图像特征；所述图像特征提取模型基于上述的图
像特征提取模型的训练方法得到；
[0012]基于所述待匹配关键点热力图以及所述待匹配图像特征，得到所述待匹配图像的局部图像特征；
[0013]将所述待匹配图像的局部图像特征以及候选图像的局部图像特征进行特征匹配，得到图像匹配结果。
[0014]另一方面，本申请提供了一种图像特征提取模型的训练装置，包括：
[0015]第一提取模块，用于将第一样本图像输入已训练的教师模型进行图像特征提取，得到所述第一样本图像对应的第一关键点热力图，以及所述第一样本图像对应的第一图像特征；
[0016]第二提取模块，用于将第二样本图像输入待训练的学生模型进行图像特征提取，得到所述第二样本图像对应的第二关键点热力图，以及所述第二样本图像对应的第二图像特征；所述第一样本图像以及所述第二样本图像均通过对目标样本图像进行图像尺度变换得到，且所述第一样本图像的第一尺度大于所述第二样本图像的第二尺度；
[0017]热力损失确定模块，用于基于所述第一关键点热力图以及所述第二关键点热力图进行热力损失处理，得到图像热力损失信息；
[0018]特征损失确定模块，用于基于所述第一图像特征以及所述第二图像特征进行特征损失处理，得到图像特征损失信息；
[0019]模型训练模块，用于基于所述图像热力损失信息以及所述图像特征损失信息对所述待训练的学生模型进行模型训练，得到用于提取图像特征的已训练的学生模型。
[0020]另一方面，本申请提供了一种图像匹配装置，包括：
[0021]第三提取模块，用于将待匹配图像输入图像特征提取模型进行特征提取，得到所述待匹配图像对应的待匹配关键点热力图以及所述待匹配图像对应的待匹配图像特征；所述图像特征提取模型基于上述的图像特征提取模型的训练方法得到；
[0022]局部图像特征确定模块，用于基于所述待匹配关键点热力图以及所述待匹配图像特征，得到所述待匹配图像的局部图像特征；
[0023]特征匹配模块，用于将所述待匹配图像的局部图像特征以及候选图像的局部图像特征进行特征匹配，得到图像匹配结果。
[0024]另一方面，本申请提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的图像特征提取模型的训练方法，或图像匹配方法。
[0025]另一方面，本申请提供了一种计算机存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行如上述的图像特征提取模型的训练方法，或图像匹配方法。
[0026]另一方面，本申请提供了一种计算机程序产品，所述计算机程序被处理器执行时实现如上述的图像特征提取模型的训练方法，或图像匹配方法。
[0027]实施本申请实施例，具有如下有益效果：
[0028]本申请在训练得到针对第一尺度的图像的教师模型的基础上，通过知识蒸馏，指导针对第二尺度的图像的学生模型进行训练，第一尺度大于第二尺度，并且分别在图像关键点检测以及图像特征提取两个方面进行指导训练，基于图像热力损失信息以及图像特征
损失信息对学生模型进行训练，使得针对小尺度图像的学生模型能够学习到针对大尺度的教师模型的模型处理性能；从而在对小尺度图像进行局部图像特征提取时，在保证计算速度的基础上，实现了利用大尺度图像的处理性能提高局部图像特征提取的准确性，兼顾了局部图像特征提取的计算时长以及提取准确性的问题。
附图说明
[0029]为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0030]图1是本申请实施例提供的实施环境示意图；
[0031]图2是本申请实施例提供的一种图像特征提取模型的训练方法流程图；
[0032]图3是本申请实施例提供的一种图像热力损失信息确定方法流程图；
[0033]图4是本申请实施例提供的一种关键点热力图映射方法流程图；
[0034]图5是本申请实施例提供的一种图像特征损失信息确定方法流程图；
[0035]图6是本申请实施例提供的一种基于对比学习的训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征提取模型的训练方法，其特征在于，包括：将第一样本图像输入已训练的教师模型进行图像特征提取，得到所述第一样本图像对应的第一关键点热力图，以及所述第一样本图像对应的第一图像特征；将第二样本图像输入待训练的学生模型进行图像特征提取，得到所述第二样本图像对应的第二关键点热力图，以及所述第二样本图像对应的第二图像特征；所述第一样本图像以及所述第二样本图像均通过对目标样本图像进行图像尺度变换得到，且所述第一样本图像的第一尺度大于所述第二样本图像的第二尺度；基于所述第一关键点热力图以及所述第二关键点热力图进行热力损失处理，得到图像热力损失信息；基于所述第一图像特征以及所述第二图像特征进行特征损失处理，得到图像特征损失信息；基于所述图像热力损失信息以及所述图像特征损失信息对所述待训练的学生模型进行模型训练，得到用于提取图像特征的已训练的学生模型。2.根据权利要求1所述的方法，其特征在于，所述第一关键点热力图的尺度为所述第一尺度，所述第二关键点热力图的尺度为所述第二尺度；所述基于所述第一关键点热力图以及所述第二关键点热力图进行热力损失处理，得到图像热力损失信息，包括：对所述第一关键点热力图进行数据映射，得到所述第二尺度的映射关键点热力图；所述映射关键点热力图中的各关键点在所述第一关键点热力图中的相应区域中满足预设热力条件；确定至少一个关联关键点对；所述关联关键点对中包括所述映射关键点热力图中的第一关键点，以及所述第二关键点热力图中的第二关键点，所述第一关键点在所述映射关键点热力图中的位置与所述第二关键点在所述第二关键点热力图中的位置一致，且所述第一关键点对应的热力特征数据大于所述第二关键点对应的热力特征数据；基于所述至少一个关联关键点对中所述第一关键点的热力特征数据与所述第二关键点的热力特征数据的数据差异信息，确定所述图像热力损失信息。3.根据权利要求2所述的方法，其特征在于，所述第一尺度为所述第二尺度的预设整数倍；所述对所述第一关键点热力图进行数据映射，得到所述第二尺度的映射关键点热力图，包括：确定所述第一关键点热力图中的至少一个目标矩形区域；每个目标矩形区域中包括预设数量的关键点；所述预设数量为所述预设整数倍与所述预设整数倍的乘积；确定所述每个目标矩形区域中的目标关键点；所述目标关键点的热力特征数据大于等于所述每个目标矩形区域中其他关键点的热力特征数据；基于所述每个目标矩形区域的目标关键点，得到所述映射关键点热力图。4.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像特征以及所述第二图像特征进行特征损失处理，得到图像特征损失信息，包括：确定每个关联关键点对中的第一关键点在所述第一关键点热力图中的第一位置信息，以及确定所述每个关联关键点对中的第二关键点在所述第二关键点热力图中的第二位置
信息；基于所述第一图像特征以及所述第一位置信息，确定所述第一关键点对应的第一特征；基于所述第二图像特征以及所述第二位置信息，确定所述第二关键点确定的第二特征；基于所述第一特征以及所述第二特征的特征差异信息，确定所述图像特征损失信息。5.根据权利要求1所述的方法，其特征在于，所述第一关键点热力图包括多个层级对应的第一关键点热力图，所述第二关键点热力图包括多个层级对应的第二关键点热力图；不同层级对应的第一关键点热力图的尺度不同，不同层级对应的第二关键点热力图的尺度不同；所述基于所述第一关键点热力图以及所述第二关键点热力图进行热力损失处理，得到图像热力损失信息，包括：将每个层级对应的第一关键点热力图以及所述每个层级对应的第二关键点热力图进行热力损失计算，得到所述每个层级对应的热力损失信息；基于所述多个层级各自对应的热力损失信息，确定所述图像热力损失信息。6.根据权利要求1所述的方法，其特征在于，所述第一图像特征包括多个层级对应的第一图像特征，所述第二图像特征包括多个层级对应的第二图像特征；不同层级对应的第一图像特征的尺度不同，不同层级对应的第二图像特征的尺度不同；所述基于所述第一图像特征以及所述第二图像特征进行特征损失处理，得到图像特征损失信息，包括：将每个层级对应的第一图像特征以及所述每个层级对应的第二图像特征进行特征损失计算，得到所述每个层级对应的特征损失信息；基于所述多个层级各自对应的特征损失信息，确定所述图像特征损失信息。7.根据权利要求1所述的方法，其特征在于，所述第二样本图像包括多个图像训练对，每个图像训练对中包括基准样本图像以及关联样本图像，所述关联样本图像为所述基准样本图像的正样本或者负样本；所述基于所述图像热...

【专利技术属性】
技术研发人员：孙众毅，鄢科，丁守鸿，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：