System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开实施例涉及目标检测领域,尤其涉及一种目标检测方法、装置、电子设备及存储介质。
技术介绍
1、现实世界的目标检测应用通常都是面向开放式场景的。在实际的应用场景中,由于许多不可控因素(例如,光照、雨雪等),应用过程中采集到的图像数据,往往与训练模型过程中的输入数据有着很大的差异性。这就要求模型能够处理各种开放性的挑战,如目标的遮挡与否、光照的强弱、尺寸的变化等。此外,在不同的应用场景当中,由于终端视觉系统所采取的图像采集设备、处理方式以及架构组成均有所不同,这将导致获取到的图片格式、质量以及图像内容分布均有很大的差异性。
2、然而,对于数据集本身固有的缺陷限制(域偏移),现有技术中的目标检测方法通常会导致检测失败。
技术实现思路
1、鉴于此,为解决上述部分或全部技术问题,本公开实施例提供一种目标检测方法、装置、电子设备及存储介质。
2、第一方面,本公开实施例提供一种目标检测方法,上述方法包括:
3、获取待检测图像;其中,上述待检测图像属于目标数据域;上述目标数据域属于预先确定的数据域集合;上述数据域集合中的每个数据域对应一个网络分支;在上述数据域集合对应的各个网络分支的训练过程中,各个上述网络分支采用多头自注意力机制建立关联;
4、采用上述网络分支,提取上述待检测图像的目标特征数据;
5、基于上述目标特征数据,生成上述待检测图像的目标检测结果。
6、可选地,在本公开任一实施例的方法中,上述网络分支用于提取属于
7、各个上述网络分支采用如下方式训练得到:
8、针对上述数据域集合中的每个数据域,获取属于该数据域的样本图像组成的训练样本集合,得到多个训练样本集合,其中,上述样本图像包括目标类别信息和目标位置信息;
9、基于机器学习算法,采用多头自注意力机制,将多个上述训练样本集合中的每个训练样本集合,输入至对应的网络分支,训练得到各个上述网络分支。
10、可选地,在本公开任一实施例的方法中,上述采用多头自注意力机制,将多个上述训练样本集合中的每个训练样本集合,输入至对应的网络分支,包括:
11、将多个上述训练样本集合中的每个训练样本集合,输入至对应的网络分支,得到第一特征数据;
12、采用全连接层,对所得到的多个第一特征数据进行特征变换,得到图块序列;
13、将上述图块序列和上述图块序列中的图块的位置信息输入至多头自注意力网络,得到第二特征数据;
14、将上述第二特征数据融合到对应的网络分支,得到样本图像的目标特征数据。
15、可选地,在本公开任一实施例的方法中,上述基于上述目标特征数据,生成上述待检测图像的目标检测结果,包括:
16、将上述目标特征数据,输入至预先训练的目标分类和定位模型,得到上述待检测图像的目标类别信息和目标位置信息,将上述目标类别信息和上述目标位置信息作为目标检测结果,其中,上述目标分类和定位模型用于基于目标特征数据,确定目标类别信息和目标位置信息。
17、可选地,在本公开任一实施例的方法中,在各个上述网络分支和上述多头自注意力网络的训练过程中,基于上述目标分类和定位模型输出的目标类别信息和目标位置信息,以及样本图像包括的目标类别信息和目标位置信息,对各个上述网络分支的网络参数和上述多头自注意力网络的网络参数进行调整。
18、可选地,在本公开任一实施例的方法中,各个上述网络分支级联连接,或者,各个上述网络分支之间进行网络参数共享。
19、可选地,在本公开任一实施例的方法中,在上述数据域集合包括的数据域的数量为2的情况下,将双流网络包括的主干网络和辅助网络分别作为一个网络分支。
20、第二方面,本公开实施例提供一种目标检测装置,上述装置包括:
21、获取单元,被配置成获取待检测图像;其中,上述待检测图像属于目标数据域;上述目标数据域属于预先确定的数据域集合;上述数据域集合中的每个数据域对应一个网络分支;在上述数据域集合对应的各个网络分支的训练过程中,各个上述网络分支采用多头自注意力机制建立关联;
22、提取单元,被配置成采用上述网络分支,提取上述待检测图像的目标特征数据;
23、生成单元,被配置成基于上述目标特征数据,生成上述待检测图像的目标检测结果。
24、可选地,在本公开任一实施例的装置中,上述网络分支用于提取属于对应数据域的图像的目标特征数据;以及
25、各个上述网络分支采用如下方式训练得到:
26、针对上述数据域集合中的每个数据域,获取属于该数据域的样本图像组成的训练样本集合,得到多个训练样本集合,其中,上述样本图像包括目标类别信息和目标位置信息;
27、基于机器学习算法,采用多头自注意力机制,将多个上述训练样本集合中的每个训练样本集合,输入至对应的网络分支,训练得到各个上述网络分支。
28、可选地,在本公开任一实施例的装置中,上述采用多头自注意力机制,将多个上述训练样本集合中的每个训练样本集合,输入至对应的网络分支,包括:
29、将多个上述训练样本集合中的每个训练样本集合,输入至对应的网络分支,得到第一特征数据;
30、采用全连接层,对所得到的多个第一特征数据进行特征变换,得到图块序列;
31、将上述图块序列和上述图块序列中的图块的位置信息输入至多头自注意力网络,得到第二特征数据;
32、将上述第二特征数据融合到对应的网络分支,得到样本图像的目标特征数据。
33、可选地,在本公开任一实施例的装置中,上述基于上述目标特征数据,生成上述待检测图像的目标检测结果,包括:
34、将上述目标特征数据,输入至预先训练的目标分类和定位模型,得到上述待检测图像的目标类别信息和目标位置信息,将上述目标类别信息和上述目标位置信息作为目标检测结果,其中,上述目标分类和定位模型用于基于目标特征数据,确定目标类别信息和目标位置信息。
35、可选地,在本公开任一实施例的装置中,在各个上述网络分支和上述多头自注意力网络的训练过程中,基于上述目标分类和定位模型输出的目标类别信息和目标位置信息,以及样本图像包括的目标类别信息和目标位置信息,对各个上述网络分支的网络参数和上述多头自注意力网络的网络参数进行调整。
36、可选地,在本公开任一实施例的装置中,各个上述网络分支级联连接,或者,各个上述网络分支之间进行网络参数共享。
37、可选地,在本公开任一实施例的装置中,在上述数据域集合包括的数据域的数量为2的情况下,将双流网络包括的主干网络和辅助网络分别作为一个网络分支。
38、第三方面,本公开实施例提供一种电子设备,包括:
39、存储器,用于存储计算机程序;
40、处理器,用于执行上述存储器中存储的计算机程序,且上本文档来自技高网...
【技术保护点】
1.一种目标检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述网络分支用于提取属于对应数据域的图像的目标特征数据;以及
3.根据权利要求2所述的方法,其特征在于,所述采用多头自注意力机制,将多个所述训练样本集合中的每个训练样本集合,输入至对应的网络分支,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述目标特征数据,生成所述待检测图像的目标检测结果,包括:
5.根据权利要求4所述的方法,其特征在于,在各个所述网络分支和所述多头自注意力网络的训练过程中,基于所述目标分类和定位模型输出的目标类别信息和目标位置信息,以及样本图像包括的目标类别信息和目标位置信息,对各个所述网络分支的网络参数和所述多头自注意力网络的网络参数进行调整。
6.根据权利要求1-5之一所述的方法,其特征在于,各个所述网络分支级联连接,或者,各个所述网络分支之间进行网络参数共享。
7.根据权利要求1-5之一所述的方法,其特征在于,在所述数据域集合包括的数据域的数量为2的情况下,将双流网络包括的主干网
8.一种目标检测装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现上述权利要求1-7任一所述的方法。
...【技术特征摘要】
1.一种目标检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述网络分支用于提取属于对应数据域的图像的目标特征数据;以及
3.根据权利要求2所述的方法,其特征在于,所述采用多头自注意力机制,将多个所述训练样本集合中的每个训练样本集合,输入至对应的网络分支,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述目标特征数据,生成所述待检测图像的目标检测结果,包括:
5.根据权利要求4所述的方法,其特征在于,在各个所述网络分支和所述多头自注意力网络的训练过程中,基于所述目标分类和定位模型输出的目标类别信息和目标位置信息,以及样本图像包括的目标类别信息和目...
【专利技术属性】
技术研发人员:王伟,
申请(专利权)人:深圳海翼智新科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。