System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及图像处理,特别是涉及一种目标识别方法、装置、设备、介质及计算机程序产品。
技术介绍
1、目标识别是计算机视觉(computer vision)的一个常见应用,其主要任务为通过对采集的图像进行处理以获得相应的场景信息,在自动驾驶、智能机器人、智能家居、智慧终端以及交通运输、航空遥感、工业产品装配等工业生产等领域均有广泛的应用。
2、在执行目标识别任务时,视觉感知模型决定了识别的精度。由于不同应用场景的需求差异,在训练针对不同应用场景的视觉感知模型时需要采用不同的图像样本,如针对计算资源有限的应用场景通常采用分辨率较低的图像样本训练视觉感知模型,针对小目标、远距离目标的感知场景则采用分辨率较高的图像样本训练视觉感知模型。这就导致了在实际应用中,视觉感知模型一旦部署,就只能处理固定分辨率的输入图像。
3、如何提升目标识别任务中适应不同分辨率的输入图像的分辨率泛化能力,是本领域技术人员需要解决的技术问题。
技术实现思路
1、本专利技术的目的是提供一种目标识别方法、装置、设备、介质及计算机程序产品,用于提升目标识别任务中适应不同分辨率的输入图像的分辨率泛化能力。
2、为解决上述技术问题,本专利技术提供一种目标识别方法,包括:
3、利用包括多种分辨率的图像样本的图像样本集训练添加多分辨率泛化层的视觉感知模型;
4、在迭代训练中,对每个所述分辨率,将所述分辨率的图像样本输入所述视觉感知模型,获取所述视觉感知模型的最后一个所
5、利用各所述分辨率对应的所述感知损失值更新所述视觉感知模型的参数,得到当前迭代训练批次对应的所述视觉感知模型;
6、在达到迭代训练结束条件后,得到训练后的所述视觉感知模型;
7、根据待处理目标识别任务对应的分辨率更新所述视觉感知模型的所述多分辨率泛化层的参数后,将所述待处理目标识别任务的输入图像输入更新后的所述视觉感知模型,得到对所述待处理目标识别任务的目标识别结果;
8、其中,所述多分辨率泛化层用于对输入的图像特征进行尺寸调整。
9、一方面,将所述中间图像特征输入图像特征解码器,输出解码图像,包括:
10、根据所述视觉感知模型中最后一个所述多分辨率泛化层及以前的网络层的下采样倍数,对所述中间图像特征进行卷积运算及特征重排,得到第一中间图像特征;
11、根据所述下采样倍数对所述中间图像特征进行同样倍数的上采样,得到第二中间图像特征;
12、根据所述第一中间图像特征和所述第二中间图像特征得到所述解码图像。
13、另一方面,根据所述视觉感知模型中最后一个所述多分辨率泛化层及以前的网络层的下采样倍数,对所述中间图像特征进行卷积运算及特征重排,得到第一中间图像特征,包括:
14、分别采用第一卷积层和第二卷积层对所述中间图像特征进行卷积运算后,得到第三中间图像特征;
15、对所述第三中间图像特征进行特征重排,使所述第三中间图像特征的尺寸与对应的所述分辨率的图像样本相同;
16、其中,所述第一卷积层的卷积核的通道数量与所述中间图像特征的通道数量相同,所述第二卷积层的卷积核的通道数量为所述第一卷积层的卷积核的通道数量除以2后向下取整的值。
17、另一方面,根据所述解码图像和对应的图像样本计算自监督损失,包括:
18、根据对应的所述分辨率的图像样本的所有图像特征位置的所述第二中间图像特征及所述解码图像计算得到所述自监督损失。
19、另一方面,根据对应的所述分辨率的图像样本的所有位置的所述第二中间图像特征及所述解码图像计算得到所述自监督损失,包括:
20、分别计算得到各所述图像特征位置对应的自监督损失值;
21、以各所述图像特征位置的所述自监督损失值的均值为所述分辨率对应的所述自监督损失。
22、另一方面,所述图像特征位置对应的自监督损失值的计算步骤包括:
23、若所述图像特征位置对应的所述第二中间图像特征和所述解码图像对应位置的图像特征的差值的绝对值小于预设常数,则所述自监督损失值为所述第二中间图像特征和所述解码图像的平方除以2;
24、若所述图像特征位置对应的所述第二中间图像特征和所述解码图像对应位置的图像特征的差值的绝对值大于或等于所述预设常数,则所述自监督损失值为所述第二中间图像特征和所述解码图像的差值的绝对值减去0.5。
25、另一方面,利用所述自监督损失更新所述多分辨率泛化层的参数,包括:
26、利用所述分辨率对应的所述自监督损失以及所述多分辨率泛化层对应的学习率更新所述多分辨率泛化层的参数。
27、另一方面,所述多分辨率泛化层对应的学习率为在所述视觉感知模型的迭代训练中自学习更新的参数。
28、另一方面,所述多分辨率泛化层对应的学习率的自学习更新步骤包括:
29、对所述分辨率的图像样本进行图像特征提取,得到图像特征向量;
30、对各所述多分辨率泛化层,以所述图像特征向量为键向量和值向量,采用所述多分辨率泛化层对应的查询向量,根据所述查询向量、所述键向量和所述值向量进行自注意力计算,将自注意力计算结果进行线性层处理后,得到所述多分辨率泛化层对应的学习率。
31、另一方面,所述多分辨率泛化层对应的学习率的自学习更新步骤包括:
32、对所述分辨率的图像样本进行图像特征提取,得到图像特征向量;
33、对各所述多分辨率泛化层,以所述图像特征向量为键向量和值向量,根据所述多分辨率泛化层对应的图像特征尺寸确定查询向量,根据所述查询向量、所述键向量和所述值向量进行自注意力计算,将自注意力计算结果进行线性层处理后,得到所述多分辨率泛化层对应的学习率。
34、另一方面,所述多分辨率泛化层对应的学习率的自学习更新步骤包括:
35、采用元学习器根据所述分辨率对应的图像特征尺寸生成各所述多分辨率泛化层的学习率。
36、另一方面,还包括:
37、在所述视觉感知模型的迭代训练中,根据各所述分辨率对应的感知损失值更新所述元学习器的参数。
38、另一方面,根据各所述分辨率对应的感知损失值更新所述元学习器的参数,包括:
39、根据所述元学习器当前的参数、所述元学习器对应的学习率以及各所述分辨率对应的所述感知损失值更新所述元学习器的参数。
40、另一方面,还包括:
41、在所述视觉感知模型的迭代训练中更新所述元学习器对应的学习率。
42、另一方面,所述视觉感知模型的参数更新步骤包括:
...【技术保护点】
1.一种目标识别方法,其特征在于,包括:
2.根据权利要求1所述的目标识别方法,其特征在于,将所述中间图像特征输入图像特征解码器,输出解码图像,包括:
3.根据权利要求2所述的目标识别方法,其特征在于,根据所述视觉感知模型中最后一个所述多分辨率泛化层及以前的网络层的下采样倍数,对所述中间图像特征进行卷积运算及特征重排,得到第一中间图像特征,包括:
4.根据权利要求2所述的目标识别方法,其特征在于,根据所述解码图像和对应的图像样本计算自监督损失,包括:
5.根据权利要求4所述的目标识别方法,其特征在于,根据对应的所述分辨率的图像样本的所有位置的所述第二中间图像特征及所述解码图像计算得到所述自监督损失,包括:
6.根据权利要求5所述的目标识别方法,其特征在于,所述图像特征位置对应的自监督损失值的计算步骤包括:
7.根据权利要求1所述的目标识别方法,其特征在于,利用所述自监督损失更新所述多分辨率泛化层的参数,包括:
8.根据权利要求7所述的目标识别方法,其特征在于,所述多分辨率泛化层对应的学习率为在所述
9.根据权利要求8所述的目标识别方法,其特征在于,所述多分辨率泛化层对应的学习率的自学习更新步骤包括:
10.根据权利要求8所述的目标识别方法,其特征在于,所述多分辨率泛化层对应的学习率的自学习更新步骤包括:
11.根据权利要求8所述的目标识别方法,其特征在于,所述多分辨率泛化层对应的学习率的自学习更新步骤包括:
12.根据权利要求11所述的目标识别方法,其特征在于,还包括:
13.根据权利要求12所述的目标识别方法,其特征在于,根据各所述分辨率对应的感知损失值更新所述元学习器的参数,包括:
14.根据权利要求13所述的目标识别方法,其特征在于,还包括:
15.根据权利要求1所述的目标识别方法,其特征在于,所述视觉感知模型的参数更新步骤包括:
16.根据权利要求15所述的目标识别方法,其特征在于,根据各所述分辨率对应的所述感知损失值更新所述视觉感知模型的参数,包括:
17.根据权利要求16所述的目标识别方法,其特征在于,还包括:
18.一种目标识别装置,其特征在于,包括:
19.一种目标识别设备,其特征在于,包括:
20.一种非易失性存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至17任意一项所述目标识别方法的步骤。
21.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至17任意一项所述目标识别方法的步骤。
...【技术特征摘要】
1.一种目标识别方法,其特征在于,包括:
2.根据权利要求1所述的目标识别方法,其特征在于,将所述中间图像特征输入图像特征解码器,输出解码图像,包括:
3.根据权利要求2所述的目标识别方法,其特征在于,根据所述视觉感知模型中最后一个所述多分辨率泛化层及以前的网络层的下采样倍数,对所述中间图像特征进行卷积运算及特征重排,得到第一中间图像特征,包括:
4.根据权利要求2所述的目标识别方法,其特征在于,根据所述解码图像和对应的图像样本计算自监督损失,包括:
5.根据权利要求4所述的目标识别方法,其特征在于,根据对应的所述分辨率的图像样本的所有位置的所述第二中间图像特征及所述解码图像计算得到所述自监督损失,包括:
6.根据权利要求5所述的目标识别方法,其特征在于,所述图像特征位置对应的自监督损失值的计算步骤包括:
7.根据权利要求1所述的目标识别方法,其特征在于,利用所述自监督损失更新所述多分辨率泛化层的参数,包括:
8.根据权利要求7所述的目标识别方法,其特征在于,所述多分辨率泛化层对应的学习率为在所述视觉感知模型的迭代训练中自学习更新的参数。
9.根据权利要求8所述的目标识别方法,其特征在于,所述多分辨率泛化层对应的学习率的自学习更新步骤包括:
10.根据权利要求8所述的目标识别方法...
【专利技术属性】
技术研发人员:张腾飞,李茹杨,张恒,邓琪,赵雅倩,李仁刚,
申请(专利权)人:苏州元脑智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。