System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像处理方法、装置、设备及存储介质制造方法及图纸_技高网

图像处理方法、装置、设备及存储介质制造方法及图纸

技术编号:39935584 阅读:9 留言:0更新日期:2024-01-08 22:09
本发明专利技术提供一种图像处理方法、装置、设备及存储介质,可以应用于图像处理领域。该方法包括:利用目标学生模型对待处理图像执行特征提取操作;基于提取到的特征确定目标识别结果;目标学生模型基于知识蒸馏训练得到,训练方法包括:将预处理后的训练数据分别传入老师模型和学生模型执行特征提取操作;对学生特征执行聚合操作,得到聚合学生特征;基于老师神经网络对聚合学生特征执行局部矫正操作;计算矫正后的学生特征与老师特征之间的亲和度;基于亲和度计算学生模型的训练损失;在训练损失满足预设条件的情况下,输出目标学生模型。本发明专利技术提供的图像处理方法利用高精度目标学生模型进行图像处理,可以有效实现资源受限场景下图像的精确处理。

【技术实现步骤摘要】

本专利技术涉及图像处理领域,具体地,涉及一种图像处理方法、装置、设备及存储介质


技术介绍

1、目标检测技术的精度往往与大规模卷积神经网络的堆叠呈正相关,即大规模卷积神经网络堆叠越多目标检测越精确,使得高精确的目标检测技术,这使得高精度的目标检测技术难以应用于资源受限的终端场景。现有资源受限终端场景通常选择轻量级网络进行图像处理,但是轻量级网络常常存在精度不高的问题。

2、当前技术人员通常通过知识蒸馏技术来提升轻量级网络的性能,知识蒸馏技术是指将具有指导性的类间结构知识从复杂的教师模型转移到轻量的学生模型中,使得学生模型可以获得令人满意的性能。现有的知识蒸馏方法是通过增强师生中间层深度特征的一致性来提升学生模型的检测性能,即将学生网络中的多个特征图与具有相同深度和尺度的教师特征图对齐,这种方法忽略了师生模型先天的能力差异,即使是师生模型中相同的深度和尺度的特征也会具有不同的抽象层次,因此,师生模型中不适当的层间关联可能会引起多尺度特征被错误捆绑,对轻量级学生模型的精确度提升有限。


技术实现思路

1、(一)要解决的技术问题

2、本专利技术提供一种图像处理方法,用于至少部分解决上述技术问题之一。

3、(二)技术方案

4、本专利技术一方面提供一种图像处理方法,包括:利用目标学生模型对待处理图像执行特征提取操作;基于提取到的特征确定目标识别结果;其中,目标学生模型是基于知识蒸馏压缩后得到的,目标学生模型的训练方法包括:将预处理后的训练数据分别传入老师模型和学生模型执行特征提取操作;对学生特征执行聚合操作,得到聚合学生特征;基于老师神经网络对聚合学生特征执行局部矫正操作;计算矫正后的学生特征与老师特征之间的亲和度;基于亲和度计算学生模型的训练损失;在训练损失满足预设条件的情况下,输出目标学生模型。

5、可选地,对学生特征执行聚合操作,得到聚合学生特征,包括:确定与老师神经网络层对应的同层学生神经网络层;获取高于同层学生神经网络层的其他学生神经网络层中的学生特征以及同层学生神经网络层的学生特征;对学生特征执行聚合操作,得到聚合学生特征。

6、可选地,基于老师神经网络对聚合学生特征执行局部矫正操作,包括:对符合预设距离范围的聚合学生特征执行二次聚合操作;基于老师神经网络层中相应位置的老师特征对二次聚合后的学生特征执行局部矫正。

7、可选地,矫正后的学生特征与老师特征之间的亲和度计算公式如下:

8、

9、其中, q表示亲和度,表示老师神经网络中第 i层特征的第 v个像素点,表示学生神经网络中第 j层特征的第 u个像素点, t表示超参数,表示f范数。

10、可选地,基于亲和度计算学生模型的训练损失,包括:依次计算矫正后的学生特征的每一像素点与老师特征中每一像素点的亲和度;基于亲和度确定师生特征像素对;根据师生特征像素对计算学生模型的训练损失。

11、可选地,基于亲和度确定师生特征像素对包括:依次比较学生特征像素点与老师特征像素点的亲和度大小;筛选出亲和度最大的学生特征像素点和老师特征像素点作为师生特征像素对。

12、可选地,根据特征像素点对计算学生模型的训练损失,包括:计算特征像素对的差异值;基于师生像素对的差异值计算师生特征层间的差异值;基于师生特征层间的差异值计算学生模型的训练损失。

13、本专利技术第二方面提供一种图像处理装置,包括:特征提取模块,用于利用目标学生模型对待处理图像执行特征提取操作;确定模块,用于基于提取到的特征确定目标识别结果。

14、本专利技术的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述图像处理方法。

15、本专利技术的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述图像处理方法。

16、(三)有益效果

17、本专利技术提供的图像处理方法至少包括以下有益效果:

18、利用一层聚合特征代替了多层多尺度的学生特征,执行后续知识蒸馏操作,可以有效减少后续知识蒸馏操作的计算量以及计算复杂度,提升学生模型的训练速率。且基于局部矫正的知识蒸馏方式,有效提高了学生模型的图像处理精度,弥补了大规模教师模型与轻量级学生模型间的差异,对于尺度差异显著的遥感图像处理场景,可以通过局部矫正的方式,选择老师模型中相应的老师特征对学生特征进行局部矫正,使得矫正后的学生特征与老师特征更加匹配,进一步提高学生模型的性能,提高学生模型对尺度差异较大的图像的处理能力。

本文档来自技高网...

【技术保护点】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的图像处理方法,其特征在于,所述对学生特征执行聚合操作,得到聚合学生特征,包括:

3.根据权利要求1所述的图像处理方法,其特征在于,所述基于老师神经网络对所述聚合学生特征执行局部矫正操作,包括:

4.根据权利要求1所述的图像处理方法,其特征在于,所述矫正后的学生特征与老师特征之间的亲和度计算公式如下:

5.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述亲和度计算学生模型的训练损失,包括:

6.根据权利要求5所述的图像处理方法,其特征在于,所述基于亲和度确定师生特征像素对包括:

7.根据权利要求5所述的图像处理方法,其特征在于,所述根据所述特征像素点对计算学生模型的训练损失,包括:

8.一种图像处理装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~7中任一项所述的方法。

【技术特征摘要】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的图像处理方法,其特征在于,所述对学生特征执行聚合操作,得到聚合学生特征,包括:

3.根据权利要求1所述的图像处理方法,其特征在于,所述基于老师神经网络对所述聚合学生特征执行局部矫正操作,包括:

4.根据权利要求1所述的图像处理方法,其特征在于,所述矫正后的学生特征与老师特征之间的亲和度计算公式如下:

5.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述亲和度计算学生模...

【专利技术属性】
技术研发人员:张伊丹王磊齐析屿刘晓暄贾婕李肖赫邓雅文孔令宇
申请(专利权)人:中国科学院空天信息创新研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1