【技术实现步骤摘要】
本公开涉及图像处理领域，尤其涉及一种模型训练方法、图像处理方法、装置和存储介质。
技术介绍
1、多尺度目标检测是计算机视觉方面重点研究方向之一。其中，fpn(featurepyramid networks，特征金字塔网络)广泛应用于现有先进检测模型中，fpn采用了一种基于像素点逐位相加的特征融合方式，它构造了一个自顶向下的网络结构。通过将深层特征不断传递与浅层特征相加，使得浅层特征在保持高分辨具有细节特征的同时，包含丰富的语义信息，增强网络对多尺度目标的检测性能。相关技术中的fpn模型对多尺度目标的检测精度还有待提高。
技术实现思路
1、本公开要解决的一个技术问题是，提供一种模型训练方法、图像处理方法、装置和存储介质，能够提高多尺度目标的检测精度。
2、根据本公开一方面，提出一种模型训练方法，包括：获取特征金字塔网络模型中样本图像的第i层的图像特征和第i+1层的融合特征，其中，i为大于1的自然数，且小于特征金字塔网络模型的网络层数；对第i层的图像特征对应的第一特征进行通道分组，得到多个第一子特征组，并提取每一个第一子特征组的全局特征；对第i+1层的融合特征进行上采样和卷积处理，得到第i+1层中间特征；根据每一个第一子特征组的全局特征与第i+1层中间特征的相关性，得到第i层的图像特征对应的特征精炼模块的注意力图；以及基于注意力图和注意力图对应的标签，对特征精炼模块进行训练。
3、在一些实施例中，利用注意力图对第i+1层中间特征进行过滤，得到过滤特征值；以及将第
4、在一些实施例中，根据每一个第一子特征组的全局特征与第i+1层中间特征的相关性，得到第i层的图像特征对应的特征精炼模块的注意力图包括：计算每一个第一子特征组的全局特征与第i+1层中间特征在每个位置特征的相似度，得到每一组的相似性特征映射图；以及对每一组的相似性特征映射图进行加和，得到注意力图。
5、在一些实施例中，在相似度小于相似度阈值的情况下，每一组的相似性特征映射图的取值为零；以及在相似度大于或等于相似度阈值的情况下，每一组的相似性特征映射图的取值为相似度的值。
6、在一些实施例中，对第i层的图像特征对应的第一特征进行通道分组，得到多个第一子特征组包括：根据第一特征的特征对象类别，确定通道分组组数；以及按照通道分组组数，对第一特征进行通道分组，得到多个第一子特征组。
7、在一些实施例中，对第i层的图像特征进行第一卷积处理，得到第一特征；以及对第i层的图像特征进行第二卷积处理，得到第二特征。
8、在一些实施例中，根据样本图像中目标大小，确定注意力图对应的标签的最大值和最小值；根据最大值和最小值，确定注意力图对应的标签上每一元素在样本图像中的所占第一区域；根据第一区域的像素值的分布，以及标签对应目标在样本图像所占第二区域的像素值的分布，确定每一元素的标签值；以及根据每一元素的标签值，确定标签对应的标签值。
9、在一些实施例中，根据第一区域的像素值的分布，以及标签对应目标在样本图像所占第二区域的像素值的分布，确定每一元素的标签值：对第一区域，按照宽高比进行放缩处理，得到多个第三区域；计算多个第三区域中每个第三区域的像素值的高斯分布，得到多个第一分布结果；计算第二区域的像素值的高斯分布，得到第二分布结果；将多个第一分布结果中每个第一分布结果与第二分布结果对应位置元素相乘，得到多个区域矩阵；将多个区域矩阵中每个区域矩阵中的矩阵元素求和，得到多个矩阵元素求和值；以及将多个矩阵元素求和值中的最大值，作为每一元素的标签值。
10、在一些实施例中，基于注意力图和注意力图对应的标签，确定特征精炼模块的损失函数；以及将特征精炼模块的损失函数按照预定比例加入到特征金字塔网络模型的总损失函数中，对特征金字塔网络模型进行训练。
11、根据本公开的另一方面，还提出一种图像处理方法，包括：将待识别图像输入至训练好的特征金字塔网络模型，得到待检测图像中的目标的识别结果，其中，特征金字塔网络模型基于上述的模型训练方法训练得到。
12、根据本公开的另一方面，还提出一种模型训练装置，包括：第一处理模块，被配置为获取特征金字塔网络模型中样本图像的第i层的图像特征和第i+1层的融合特征，其中，i为大于1的自然数，且小于特征金字塔网络模型的网络层数；第二处理模块，被配置为对第i层的图像特征对应的第一特征进行通道分组，得到多个第一子特征组，并提取每一个第一子特征组的全局特征；第三处理模块，被配置为对第i+1层的融合特征进行上采样和卷积处理，得到第i+1层中间特征；第四处理模块，被配置为根据每一个第一子特征组的全局特征与第i+1中间特征的相关性，得到第i层的图像特征对应的特征精炼模块的注意力图；以及第五处理模块，被配置为基于注意力图和注意力图对应的标签，对特征精炼模块进行训练。
13、在一些实施例中，第六处理模块，被配置为利用注意力图对第i+1层中间特征进行过滤，得到过滤特征值；以及第七处理模块，被配置为将第i层的图像特征对应的第二特征与过滤特征值进行第二融合，得到第i层的融合特征。
14、在一些实施例中，第四处理模块被配置为计算每一个第一子特征组的全局特征与第i+1层中间特征在每个位置特征的相似度，得到每一组的相似性特征映射图；以及对每一组的相似性特征映射图进行加和，得到注意力图。
15、在一些实施例中，在相似度小于相似度阈值的情况下，每一组的相似性特征映射图的取值为零；以及在相似度大于或等于相似度阈值的情况下，每一组的相似性特征映射图的取值为相似度的值。
16、在一些实施例中，第二处理模块被配置为根据第一特征的特征对象类别，确定通道分组组数；以及按照通道分组组数，对第一特征进行通道分组，得到多个第一子特征组。
17、在一些实施例中，第二处理模块还被配置为对第i层的图像特征进行第一卷积处理，得到第一特征；以及对第i层的图像特征进行第二卷积处理，得到第二特征。
18、在一些实施例中，第八处理模块，被配置为根据样本图像中目标大小，确定注意力图对应的标签的最大值和最小值；根据最大值和最小值，确定注意力图对应的标签上每一元素在样本图像中的所占第一区域；根据第一区域的像素值的分布，以及标签对应目标在样本图像所占第二区域的像素值的分布，确定每一元素的标签值；以及根据每一元素的标签值，确定标签对应的标签值。
19、在一些实施例中，第八处理模块被配置为对第一区域，按照宽高比进行放缩处理，得到多个第三区域；计算多个第三区域中每个第三区域的像素值的高斯分布，得到多个第一分布结果；计算第二区域的像素值的高斯分布，得到第二分布结果；将多个第一分布结果中每个第一分布结果与第二分布结果对应位置元素相乘，得到多个区域矩阵；将多个区域矩阵中每个区域矩阵中的矩阵元素求和，得到多个矩阵元素求和值；以及将多个矩阵元素求和值中的最大值，作为每一元素的标本文档来自技高网...
【技术保护点】
1.一种模型训练方法，包括：
2.根据权利要求1所述的模型训练方法，还包括：
3.根据权利要求1所述的模型训练方法，其中，根据所述每一个第一子特征组的全局特征与所述第i+1层中间特征的相关性，得到所述第i层的图像特征对应的特征精炼模块的注意力图包括：
4.根据权利要求3所述的模型训练方法，其中，
5.根据权利要求1所述的模型训练方法，其中，对所述第i层的图像特征对应的第一特征进行通道分组，得到多个第一子特征组包括：
6.根据权利要求2所述的模型训练方法，还包括：
7.根据权利要求1至6任一所述的模型训练方法，还包括：
8.根据权利要求7所述的模型训练方法，其中，根据所述第一区域的像素值的分布，以及所述标签对应目标在所述样本图像所占第二区域的像素值的分布，确定所述每一元素的标签值：
9.根据权利要求1至6任一所述的模型训练方法，还包括：
10.一种图像处理方法，包括：
11.一种模型训练装置，包括：
12.根据权利要求11所述的模型训练装置，还包括：<...
【技术特征摘要】
1.一种模型训练方法，包括：
2.根据权利要求1所述的模型训练方法，还包括：
3.根据权利要求1所述的模型训练方法，其中，根据所述每一个第一子特征组的全局特征与所述第i+1层中间特征的相关性，得到所述第i层的图像特征对应的特征精炼模块的注意力图包括：
4.根据权利要求3所述的模型训练方法，其中，
5.根据权利要求1所述的模型训练方法，其中，对所述第i层的图像特征对应的第一特征进行通道分组，得到多个第一子特征组包括：
6.根据权利要求2所述的模型训练方法，还包括：
7.根据权利要求1至6任一所述的模型训练方法，还包括：
8.根据权利要求7所述的模型训练方法，其中，根据所述第一区域的像素值的分布，以及所述标签对应目标在所述样本图像所占第二区域的像素值的分布，确定所述每一元素的标签值：
9.根据权利要求1至6任一所述的模型训练方法，还包括：
1...
【专利技术属性】
技术研发人员：周生龙，赵晓宇，商兴宇，栗卓然，李华楠，
申请(专利权)人：中国电信股份有限公司技术创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。