目标检测方法、模型的训练方法及装置、设备、存储介质制造方法及图纸

本申请实施例公开了一种目标检测方法、模型的训练方法及装置、设备、存储介质，其中，所述训练方法包括：采用待训练的检测模型，对获取的训练图像集进行目标检测，得到预测的检测结果；确定所述训练图像集中不同类别的正负样本的不平衡程度；基于所述预测的检测结果和所述不同类别的正负样本的不平衡程度，确定所述预测的检测结果在所述不同类别中的损失；利用所述损失对所述待训练的检测模型中的网络参数进行更新，直至更新后的检测模型满足收敛条件。件。件。

【技术实现步骤摘要】
目标检测方法、模型的训练方法及装置、设备、存储介质


[0001]本申请实施例涉及计算机视觉技术，涉及但不限于一种目标检测方法、模型的训练方法及装置、设备、存储介质。

技术介绍

[0002]数据的长尾分布是目标检测算法在现实世界中所面临的重要问题。一般的目标检测算法都应用于相对平衡的数据分布场景下，而长尾分布带来的不平衡问题往往会极大地影响到目标检测算法的精确度。现有的长尾目标检测算法提出了样本重采样、损失重加权等解决方案用于克服长尾分布问题。
[0003]然而，现有的针对长尾分布数据的目标检测框架主要是基于二阶段目标检测器进行的，目前仍然没有针对长尾分布数据的单阶段检测的相关内容。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种目标检测方法、模型的训练方法及装置、设备、存储介质。
[0005]本申请实施例的技术方案是这样实现的：
[0006]第一方面，本申请实施例提供一种检测模型的训练方法，所述方法包括：采用待训练的检测模型，对获取的训练图像集进行目标检测，得到预测的检测结果；确定所述训练图像集中不同类别的正负样本的不平衡程度；基于所述预测的检测结果和所述不同类别的正负样本的不平衡程度，确定所述预测的检测结果在所述不同类别中的损失；利用所述损失对所述待训练的检测模型中的网络参数进行更新，直至更新后的检测模型满足收敛条件。
[0007]通过上述方式，能够利用不同类别的正负样本的不平衡程度，解决前景类别间样本不平衡的问题。
[0008]在一些实施例中，所述确定所述训练图像集中不同类别的正负样本的不平衡程度，包括：确定所述训练图像集中不同类别的正负样本的累积梯度比；基于所述不同类别的正负样本的累积梯度比，确定所述不同类别的正负样本的不平衡程度。
[0009]通过上述方式，能够利用不同类别的累积梯度比来确定不同类别的正负样本的不平衡程度。
[0010]在一些实施例中，所述基于所述预测的检测结果和所述不同类别的正负样本的不平衡程度，确定所述预测的检测结果在所述不同类别中的损失，包括：利用第一超参数对所述不同类别的正负样本的不平衡程度分别进行加权，得到所述不同类别中每一类别的加权结果；其中，所述第一超参数用于控制所述待训练的检测模型对不同类别中稀有类别的正负样本的不平衡程度进行学习的力度；基于所述预测的检测结果和所述每一类别的加权结果，确定所述预测的检测结果在所述每一类别中的损失。
[0011]通过上述方式，能够利用超参数对不同类别的正负样本的不平衡程度进行加权，来解决前景类别间样本不平衡的问题。
[0012]在一些实施例中，所述基于所述预测的检测结果和所述不同类别的正负样本的不平衡程度，确定所述预测的检测结果在所述不同类别中的损失，包括：确定所述预测的检测结果的焦点损失；采用所述不同类别的正负样本的不平衡程度对所述焦点损失进行调整，得到所述预测的检测结果在所述不同类别中的损失。
[0013]通过上述方式，能够同时解决前景类别间样本不平衡的问题，以及前景背景不平衡的问题，从而使得检测模型在简单性与高效性方面都具有优势。
[0014]在一些实施例中，所述不同类别至少包括：稀有类别和频繁类别，所述采用所述不同类别的正负样本的不平衡程度对所述焦点损失进行调整，得到所述预测的检测结果在所述不同类别中的损失之后，所述方法还包括：基于基础因子，以及所述稀有类别和所述频繁类别的正负样本的不平衡程度，确定权重因子；其中，所述基础因子用于平衡训练图像中前景区域与背景区域的损失贡献；基于权重因子，调整所述损失中稀有类别相对于频繁类别的损失贡献，得到已优化的损失；所述利用所述损失对所述待训练的检测模型中的网络参数进行更新，包括：利用所述已优化的损失对所述待训练的检测模型中的网络参数进行更新。
[0015]通过上述方式，能够在解决前景类别间样本不平衡的问题，以及前景背景不平衡的问题的同时，提升稀有类别的损失贡献。
[0016]在一些实施例中，所述利用所述损失对所述待训练的检测模型中的网络参数进行更新，包括：基于所述损失，确定所述待训练的检测模型在更新过程中输出的梯度值；在所述梯度值大于等于预设阈值的情况下，对所述梯度值进行梯度裁切，得到裁切后的梯度值；基于所述裁切后的梯度值，对所述检测模型中的网络参数进行更新。
[0017]通过上述方式，能够使检测模型的训练更加稳定，缓解了训练结果的波动。
[0018]在一些实施例中，所述方法还包括：基于所述训练图像集中图像的分布情况，确定在预训练阶段对所述待训练的检测模型进行迭代训练的迭代次数；基于所述迭代次数和所述训练图像集，对所述待训练的检测模型进行预训练，得到候选检测模型；所述利用所述损失对所述待训练的检测模型中的网络参数进行更新，直至更新后的检测模型满足收敛条件，包括：利用所述损失对所述候选检测模型中的网络参数进行更新，直至更新后的检测模型满足收敛条件。
[0019]通过上述方式，能够根据训练数据的分布情况，选择合适的预训练迭代次数，从而降低训练过程中出现NaN(Not a Number，非数)数值的概率。
[0020]在一些实施例中，所述基于所述训练图像集中图像的分布情况，确定在预训练阶段对所述待训练的检测模型进行迭代训练的迭代次数，包括：在所述训练图像集为长尾分布的图像集的情况下，将预训练阶段所述待训练的检测模型的迭代次数设置为第一预设值；在所述训练图像集为非长尾分布的图像集的情况下，将所述迭代次数设置为第二预设值；其中，所述第一预设值大于所述第二预设值。
[0021]通过上述方式，能够为长尾分布的数据设置更多的迭代次数，从而降低长尾数据在训练过程中出现异常问题的概率。
[0022]在一些实施例中，所述采用待训练的检测模型，对获取的训练图像集进行目标检测，得到预测的检测结果，包括：采用待训练的检测模型，在训练图像的每一区域上生成至少两个预测框；其中，所述至少两个预测框具有不同的尺度；确定生成的所述预测框与所述
训练图像的标记框之间的并交比；基于所述并交比，对所述预测框中的目标为前景的概率进行度量，得到所述训练图像预测的检测结果。
[0023]通过上述方式，能够适应性地选择检测模型的采样策略，以及改变检测模型中center
‑
ness分支的实现方式，从而提升检测性能。
[0024]在一些实施例中，所述方法还包括：对训练图像集中的每一训练图像进行预处理，得到预处理后的训练图像；对所述预处理后的训练图像进行特征提取，得到特征图；所述采用待训练的检测模型，在训练图像的每一区域上生成至少两个预测框，包括：采用待训练的检测模型，在所述特征图的每一像素上生成至少两个预测框；其中，所述特征图的像素与所述训练图像中的区域具有对应关系。
[0025]通过上述方式，能够实现一个完整的模型训练流程。
[0026]第二方面，本申请实施例提供一种目标检测方法，所述方法包括：获取待检测图像；对所述待检测图像进行预处理，得到预处理后的待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检测模型的训练方法，其特征在于，所述方法包括：采用待训练的检测模型，对获取的训练图像集进行目标检测，得到预测的检测结果；确定所述训练图像集中不同类别的正负样本的不平衡程度；基于所述预测的检测结果和所述不同类别的正负样本的不平衡程度，确定所述预测的检测结果在所述不同类别中的损失；利用所述损失对所述待训练的检测模型中的网络参数进行更新，直至更新后的检测模型满足收敛条件。2.根据权利要求1所述的训练方法，其特征在于，所述确定所述训练图像集中不同类别的正负样本的不平衡程度，包括：确定所述训练图像集中不同类别的正负样本的累积梯度比；基于所述不同类别的正负样本的累积梯度比，确定所述不同类别的正负样本的不平衡程度。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述预测的检测结果和所述不同类别的正负样本的不平衡程度，确定所述预测的检测结果在所述不同类别中的损失，包括：利用第一超参数对所述不同类别的正负样本的不平衡程度分别进行加权，得到所述不同类别中每一类别的加权结果；其中，所述第一超参数用于控制所述待训练的检测模型对不同类别中稀有类别的正负样本的不平衡程度进行学习的力度；基于所述预测的检测结果和所述每一类别的加权结果，确定所述预测的检测结果在所述每一类别中的损失。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述预测的检测结果和所述不同类别的正负样本的不平衡程度，确定所述预测的检测结果在所述不同类别中的损失，包括：确定所述预测的检测结果的焦点损失；采用所述不同类别的正负样本的不平衡程度对所述焦点损失进行调整，得到所述预测的检测结果在所述不同类别中的损失。5.根据权利要求4所述的方法，其特征在于，所述不同类别至少包括：稀有类别和频繁类别，所述采用所述不同类别的正负样本的不平衡程度对所述焦点损失进行调整，得到所述预测的检测结果在所述不同类别中的损失之后，所述方法还包括：基于基础因子，以及所述稀有类别和所述频繁类别的正负样本的不平衡程度，确定权重因子；其中，所述基础因子用于平衡训练图像中前景区域与背景区域的损失贡献；基于权重因子，调整所述损失中稀有类别相对于频繁类别的损失贡献，得到已优化的损失；所述利用所述损失对所述待训练的检测模型中的网络参数进行更新，包括：利用所述已优化的损失对所述待训练的检测模型中的网络参数进行更新。6.根据权利要求1至5任一项所述的方法，其特征在于，所述利用所述损失对所述待训练的检测模型中的网络参数进行更新，包括：基于所述损失，确定所述待训练的检测模型在更新过程中输出的梯度值；在所述梯度值大于等于预设阈值的情况下，对所述梯度值进行梯度裁切，得到裁切后
的梯度值；基于所述裁切后的梯度值，对所述检测模型中的网络参数进行更新。7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：基于所述训练图像集中图像的分布情况，确定在预训练阶段对所述待训练的检测模型进行迭代训练的迭代次数；基于所述迭代次数和所述训练图像集，对所述待训练的检测模型进行预训练，得到候选检测模型；所述利用所述损失对所述待训练的检测模型中的网络参数进行更新，直至更新后的检测模型满足收敛条件，包括：利用所述损失对所述候选检测模型中的网络参数进行更新，直至更新后的检测模型满足收敛条件。8.根据权利要求7所述的方法，其特征在于，所述基于所述训练图像集中图像的分布情况，确定在预训练阶段对所述待训练的检测模型进行迭代训练的迭代次数，包括：在所述训...

【专利技术属性】
技术研发人员：李波，姚勇强，谭靖儒，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：