【技术实现步骤摘要】
本专利技术涉及无人机航拍视频目标检索领域，尤其涉及一种基于无人机航拍视频实时目标检索方法及装置。
技术介绍
1、无人机视频目标实时检索，是在用户上传待检索目标图像query之后，在机载航拍视频中逐帧判断query目标在当前帧是否存在；如果存在，给出目标在画面中的位置和大小，该应用不同于目标检测，也不同于一般的图像检索，目标检测是判断某些类别的目标是否存在，但不判断具体的个体是否存在；图像检索是利用图库中所有图片进行匹配，该应用是仅用视频帧中候选目标进行匹配，不存在一个大的候选图片库，且多数时候画面中根本不含有目标。图像检索是筛选特征相似度最高的图片，实时目标检索除开在每帧图像中匹配相似度，还需判定相似度最高的图片是否与query是否为同一目标。
2、通常的图像检索，提取query图像全局特征之后，与数据库中所有图像各自的全局特征进行比较，计算相似度。接下来有两种处理方式：一种是一步筛查，直接从候选库中选择与query图像特征最相似的图片；另外一种是两步筛查，从候选库中选择与query图像特征距离最近的n张图片，然后计算query目标和n个候选目标的局部特征，从中选出局部特征匹配度最高的候选目标。整体下来，要么直接利用全局特征选出最佳匹配；要么利用全局特征选出n个候选者，然后从n个候选者选出局部特征最相似的目标。
3、另外一部分图像检索，在提取query图像的全局特征之后，与数据库中的m个特征聚类中心相比较，寻找与之距离最近的聚类中心，这实际上是对目标进行分类，并非真正意义上的检索。
4、全局特
技术实现思路
1、本专利技术意在提供一种基于无人机航拍视频实时目标检索方法及装置，以解决每帧视频中候选目标过多，特征提取网络处理时间过长，全局特征一步筛查，准确度较差，用局部特征精筛推理速度相当缓慢的问题。
2、为了实现上述目的，本专利技术提供如下方法和装置：
3、本专利技术提供的一种基于无人机航拍视频实时目标检索方法是：
4、s1：获取待查询图像query的全局特征矢量fg和局部特征矢量fl，用目标识别网络判定目标类别；
5、s2：在边缘计算机上对所有训练样本进行特征提取，计算不同所述目标类别间相似度距离，得到判断图像目标是否存在的距离区间；
6、s3：利用目标检测网络对样本视频进行目标检测，并判断目标类别，选择与所述待查询图像query类别一致的图像作为候选目标图像；
7、s4：将所述候选目标图像进行填充，构造样本数量不定的batch，送入特征提取网络，得到候选目标图像的全局特征和候选目标图像的局部特征；
8、s5：计算所述候选目标图像与所述待查询图像query之间的全局特征余弦相似度，并通过所述判断图像目标是否存在的距离区间进行第一筛选过程；
9、s6：经过第一次筛选后的候选目标，计算所述候选目标图像与所述待查询图像query之间的局部特征余弦相似度，得到所述局部特征余弦相似度最大的所述候选目标图像；
10、s7：对所述局部特征余弦相似度最大的所述候选目标图像与所述判断图像目标是否存在的距离区间进行第二筛选过程判断，得到目标检索结果。
11、优选的，获取待查询图像query的全局特征矢量fg和局部特征矢量fl的步骤，包括：通过resnet中的stage3、stage4输出指定分辨率特征进行一步推理，所述stage3输出包含全局特征和局部特征，所述stage4输出包含全局特征；将所述stage4输出的全局特征进行池化，并通过全连接映射到指定长度，得到全局特征矢量fg；将所述stage3输出的全局特征和局部特征进行池化，去除全局特征，并通过正交法得到局部特征矢量fl；对所述待查询图像query进行目标分类，得到待查询目标类别；对所述待查询图像query进行预处理，所述预处理过程包括：先后进行缩放、归一化操作；将经过预处理后的图像输入到预训练的模型中，获取得到所述待查询图像query的所述全局特征矢量fg和局部特征矢量fl。
12、优选的，所述将所述stage4输出的全局特征进行池化，并通过全连接映射到指定长度，得到全局特征矢量fg的步骤，包括：设stage4输出特征图为f4，将f4输出经过通用池化mepool，得到长度为2048的矢量图f′4，公式为：
13、
14、将所述矢量图f′4经过全连接linear映射到长度为1024的全局特征矢量fg，公式为：
15、fg＝linea(f′4)，c_in＝2048,c_out＝1024
16、其中，h为stage4输出特征图高度，w为stage4输出特征图宽度，c为特征图通道号，c_in为linear的输入长度，c_out为linear的输出长度。
17、优选的，所述将所述stage3输出的全局特征和局部特征进行池化，去除全局特征，并通过正交法得到局部特征矢量fl的步骤，包括：设stage3输出特征图为f3，将f3进行输出池化，得到长度为1024的矢量图a，其公式为：
18、a＝adaptiveavgpool(f3)
19、adaptiveavgpool为自适应平均池化；
20、将矢量图a中的所述全局特征去除，得到只包含局部特征的矢量图f′3；
21、在所述只包含局部特征的矢量图f′3上采用正交法得到局部特征矢量fl，公式为：
22、
23、其中，|fg|2为fg的l2范数。
24、优选的，所述在边缘计算机上对所有训练样本进行特征提取，计算不同所述目标类别间相似度距离，得到判断图像目标是否存在的距离区间的步骤，包括：将所述全局特征矢量fg和所述局部特征矢量fl合并，在特征网络中经全连接层映射到长度为分类数n的矢量；经过arcface操作后，计算softmax，以交叉熵作为训练损失，训练分类网络；将训练的所述分类网络迁移到边缘计算平台上，在所述边缘计算平台上对所有训练样本重新计算所述不同所述目标类别间相似度距离，得到所述判断图像目标是否存在的距离区间。
25、优选的，所述对所述待查询图像query用目标识别网络判定类别，用特征提取网络提取全局特征矢量fg和局部特征矢量fl的步骤，包括：对所述待查询图像query进行目标分类，得到待查询目标类别；对所述待查询图像query进行预处理，所述预处理过程包括：先后进行缩放、归一化操作；将经过预处理后的图像输入到预训练的模型中，获取得到所述待查询图像query的所述全局特征矢量fg和局部特征矢量fl。
26、优选的，所述利用目标检测网络对样本视频进行目标检测，并判断目标类别，选择与所述待查询图像query类别一本文档来自技高网...
【技术保护点】
1.一种基于无人机航拍视频实时目标检索方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，获取待查询图像Query的全局特征矢量Fg和局部特征矢量Fl的步骤，包括：
3.根据权利要求2所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述将所述Stage4输出的全局特征进行池化，并通过全连接映射到指定长度，得到全局特征矢量Fg的步骤，包括：
4.根据权利要求3所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述将所述Stage3输出的全局特征和局部特征进行池化，去除全局特征，并通过正交法得到局部特征矢量F1的步骤，包括：
5.根据权利要求4所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述在边缘计算机上对所有训练样本进行特征提取，计算不同所述目标类别间相似度距离，得到判断图像目标是否存在的距离区间的步骤，包括：
6.根据权利要求1所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述利用目标检测网络对样本视频进行目标检测，并判
7.根据权利要求6所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述将所述候选目标图像进行填充，构造样本数量不定的batch，送入特征提取网络，得到候选目标图像的全局特征和候选目标图像的局部特征的步骤，包括：
8.根据权利要求7所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述计算所述候选目标图像与所述待查询图像Query之间的全局特征余弦相似度，并通过所述判断图像目标是否存在的距离区间进行第一筛选过程的步骤，包括：
9.根据权利要求8所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述经过第一次筛选后的候选目标，计算所述候选目标图像与所述待查询图像Query之间的局部特征余弦相似度，得到所述局部特征余弦相似度最大的所述候选目标图像的步骤，包括：
10.根据权利要求9所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述对所述局部特征余弦相似度最大的所述候选目标图像与所述判断图像目标是否存在的距离区间进行第二筛选过程判断，得到目标检索结果的步骤，包括：
11.一种基于无人机航拍视频实时目标检索装置，其特征在于，所述装置包括：
...【技术特征摘要】
1.一种基于无人机航拍视频实时目标检索方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，获取待查询图像query的全局特征矢量fg和局部特征矢量fl的步骤，包括：
3.根据权利要求2所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述将所述stage4输出的全局特征进行池化，并通过全连接映射到指定长度，得到全局特征矢量fg的步骤，包括：
4.根据权利要求3所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述将所述stage3输出的全局特征和局部特征进行池化，去除全局特征，并通过正交法得到局部特征矢量f1的步骤，包括：
5.根据权利要求4所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述在边缘计算机上对所有训练样本进行特征提取，计算不同所述目标类别间相似度距离，得到判断图像目标是否存在的距离区间的步骤，包括：
6.根据权利要求1所述的一种基于无人机航拍视频实时目标检索方法，其特征在于，所述利用目标检测网络对样本视频进行目标检测，并判断目标类别，选择与所述待查询图像query类别一致的图像作为候选目标...
【专利技术属性】
技术研发人员：曹治锦，
申请(专利权)人：成都纵横大鹏无人机科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。