【技术实现步骤摘要】
本申请涉及视频检测，特别是涉及一种目标检测方法及相关装置、设备和存储介质。
技术介绍
1、视频目标检测旨在检测视频序列中存在的目标对象，由于相对静止图片，视频序列中目标对象往往随时间而发生运动和变化，故视频目标检测任务相对而言存在较大挑战。
2、目前，通过多模态摄像而形成的视频序列进行目标检测，在一定程度上能够为视频目标检测提供尽可能全面且丰富的信息。现有技术大多借助光流法或设置memory bank进行视频目标检测，但前者需要引入额外的光流估计，从而带来额外的计算量，进而影响视频目标检测的效率，后者又带来较大的存储代价。有鉴于此，如何在尽可能地提高视频目标检测精度的前提下，提升视频目标检测效率，并降低视频目标检测的存储代价，成为亟待解决的问题。
技术实现思路
1、本申请主要解决的技术问题是提供一种目标检测方法及相关装置、设备和存储介质，能够在尽可能地提高视频目标检测精度的前提下，提升视频目标检测效率，并降低视频目标检测的存储代价。
2、为了解决上述技术问题，本申请第一方面提供了一种目标检测方法，包括：分别选择待测视频中各个时序的图像集，作为当前时序的第一图集，并分别为第一图集中各种模态的拍摄图像，在待测视频中选择模态相同且时序相邻的拍摄图像，组成对应模态的第二图集；基于第一图集进行特征提取，得到第一图集内拍摄图像的第一图像特征，并基于第二图集进行特征提取，至少得到第二图集内当前时序下拍摄图像的第二图像特征；基于当前时序下由相同模态的第一图像特征与第二图像特
3、为了解决上述技术问题，本申请第二方面提供了一种目标检测装置，包括：图集选择模块、特征提取模块、模态差异模块、特征融合模块和对象检测模块，图集选择模块，用于分别选择待测视频中各个时序的图像集，作为当前时序的第一图集，并分别为第一图集中各种模态的拍摄图像，在待测视频中选择模态相同且时序相邻的拍摄图像，组成对应模态的第二图集；特征提取模块，用于基于第一图集进行特征提取，得到第一图集内拍摄图像的第一图像特征，并基于第二图集进行特征提取，至少得到第二图集内当前时序下拍摄图像的第二图像特征；模态差异模块，用于基于当前时序下由相同模态的第一图像特征与第二图像特征所度量的第一差异特征，得到当前时序下各种模态的第三图像特征；特征融合模块，用于基于当前时序下相同模态的第二图像特征和第三图像特征，融合得到当前时序下对应模态的第一融合特征；对象检测模块，用于基于当前时序下各种模态的第一融合特征进行检测，得到待测视频在当前时序关于目标对象的检测结果。
4、为了解决上述技术问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的目标检测方法。
5、为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的目标检测方法。
6、上述方案，分别选择待测视频中各个时序的图像集，作为当前时序的第一图集，并分别为第一图集中各种模态的拍摄图像，在待测视频中选择模态相同且时序相邻的拍摄图像，组成对应模态的第二图集，再基于第一图集进行特征提取，得到第一图集内拍摄图像的第一图像特征，并基于第二图集进行特征提取，至少得到第二图集内当前时序下拍摄的第二图像特征。在此基础上，基于当前时序下由相同模态的第一图像特征与第二图像特征所度量的第一差异特征，得到当前时序下各种模态的第三图像特征，从而基于当前时序下相同模态的第二图像特征和第三图像特征，融合得到当前时序下对应模态的第一融合特征，进而基于当前时序下各种模态的第一融合特征进行检测，得到待测视频在当前时序关于目标对象的检测结果，故一方面在视频目标检测过程中度量相同模态的第一图像特征与第二图像特征之间差异特征，能够尽可能地对目标对象在特征维度进行增强并对图像背景在特征维度进行抑制，有助于提升视频目标检测精度，另一方面由于在视频目标检测过程中无需引入诸如光流等额外计算，有助于提升视频目标检测效率，又一方面由于子啊视频目标检测过程中也仅需参考相邻时序的拍摄图像，故能够降低视频目标检测的存储代价。故此，能够在尽可能地提高视频目标检测精度的前提下，提升视频目标检测效率，并降低视频目标检测的存储代价。
本文档来自技高网...【技术保护点】
1.一种目标检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前时序下由相同模态的第一图像特征与第二图像特征所度量的第一差异特征，得到所述当前时序下各种模态的第三图像特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述当前时序下各种模态的第一差异特征进行预测，得到各种模态的模态互补权重，包括：
4.根据权利要求2所述的方法，其特征在于，所述对于所述当前时序下任一模态的第二图像特征，利用所述当前时序下其他模态的模态互补权重从相同模态的第二图像特征中补充特征，得到所述当前时序下对应模态的模态互补特征，包括：
5.根据权利要求2所述的方法，其特征在于，所述基于所述当前时序下相同模态的第一图像特征和模态互补特征进行融合，得到所述当前时序下对应模态的第三图像特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述第二图集进行特征提取，至少得到所述第二图集内所述当前时序下所述拍摄图像的第二图像特征，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所
8.根据权利要求6所述的方法，其特征在于，所述基于所述运动感知特征进行预测，得到全局感知权重，包括：
9.根据权利要求6所述的方法，其特征在于，所述基于所述运动感知特征进行预测，得到局部感知权重，包括：
10.根据权利要求6所述的方法，其特征在于，所述全局感知权重、所述局部感知权重各自通道数与所述第二图集中各个所述拍摄图像的初始图像特征总通道数相同，所述基于所述全局感知权重、所述局部感知权重分别对所述初始图像特征进行加权并融合，至少得到所述第二图集内所述当前时序下所述拍摄图像的第二图像特征，包括：
11.根据权利要求1所述的方法，其特征在于，所述基于所述第一图集进行特征提取，得到所述第一图集内所述拍摄图像的第一图像特征，包括：
12.根据权利要求1至11任一项所述的方法，其特征在于，在所述基于所述当前时序下相同模态的第二图像特征和第三图像特征，融合得到所述当前时序下对应模态的第一融合特征之后，以及在所述基于所述当前时序下各种模态的第一融合特征进行检测，得到所述待测视频在所述当前时序关于目标对象的检测结果之前所述方法还包括：
13.根据权利要求12所述的方法，其特征在于，所述基于所述当前时序下分别在各轮所融合得到各种模态的第一融合特征进行检测，得到所述待测视频在所述当前时序关于目标对象的检测结果，包括：
14.根据权利要求1至11任一项所述的方法，其特征在于，所述各种模态至少包括可见光模态和热红外模态。
15.一种目标检测装置，其特征在于，包括：
16.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至14任一项所述的目标检测方法。
17.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至14任一项所述的目标检测方法。
...【技术特征摘要】
1.一种目标检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前时序下由相同模态的第一图像特征与第二图像特征所度量的第一差异特征，得到所述当前时序下各种模态的第三图像特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述当前时序下各种模态的第一差异特征进行预测，得到各种模态的模态互补权重，包括：
4.根据权利要求2所述的方法，其特征在于，所述对于所述当前时序下任一模态的第二图像特征，利用所述当前时序下其他模态的模态互补权重从相同模态的第二图像特征中补充特征，得到所述当前时序下对应模态的模态互补特征，包括：
5.根据权利要求2所述的方法，其特征在于，所述基于所述当前时序下相同模态的第一图像特征和模态互补特征进行融合，得到所述当前时序下对应模态的第三图像特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述第二图集进行特征提取，至少得到所述第二图集内所述当前时序下所述拍摄图像的第二图像特征，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述第二图集中各个时序所述拍摄图像的初始图像特征，得到运动感知特征，包括：
8.根据权利要求6所述的方法，其特征在于，所述基于所述运动感知特征进行预测，得到全局感知权重，包括：
9.根据权利要求6所述的方法，其特征在于，所述基于所述运动感知特征进行预测，得到局部感知权重，包括：
10.根据权利要求6所述的方法，其特征在于，所述全局感知权重、所述局部感知...
【专利技术属性】
技术研发人员：江亚飞，林垠，叶润春，殷兵，刘聪，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。