一种基于损失反馈的类别和尺度均衡目标检测训练方法技术

一种基于损失反馈的类别和尺度均衡目标检测训练方法，在对检测网络进行迭代训练时，基于损失函数的反馈对训练样本分别进行类别均衡和尺度均衡，类别均衡动态调整迭代训练中各类别和各样本的采样概率，使训练类别及样本数据均衡，得到训练集I

【技术实现步骤摘要】
一种基于损失反馈的类别和尺度均衡目标检测训练方法


[0001]本专利技术属于深度学习和计算机视觉
，涉及目标检测在车辆检测中的应用，为一种基于损失反馈的类别和尺度均衡目标检测训练方法。

技术介绍

[0002]目标检测是计算机视觉领域最重要也是最具有挑战性的分支之一，它在人们生活中得到了广泛的应用，如监控安全、自动驾驶等。作为目标检测的重要应用场合之一，车辆检测是智能交通系统中的核心和基础，通过车辆检测获取交通场景基本信息，为后续的车辆跟踪、获取交通流量、车速、道路占有率、事件检测等奠定基础。基于图像的传统车辆检测方法的流程是区域选择、特征提取、分类、后处理，区域选择采用滑动窗口遍历生成候选框，时间复杂度高，冗余窗口过多，使特征提取和分类过程耗时严重；特征提取使用HOG、SIFT、LBP算子，但传统的算子对光照、形状等鲁棒性较差，无法适应复杂场景，泛化性差，导致提取的特征不好，影响分类效果；对每个类别训练一个二分类分类器，将特征向量输入给分类器判别，常见分类器有SVM、Adaboost等；后处理即非极大值抑制，去除每个目标周围的冗余框。由于基于滑动窗口的区域选择方法没有针对性，导致窗口冗余，传统特征提取算子难以适应多样性的变化，该系列的方法效率低下。
[0003]随着深度学习时代的到来，卷积神经网络在图像领域得到了广泛应用。相较于传统特征提取算子是人为经过大量先验知识总结来设计的，卷积神经网络特征提取算子是经过训练的卷积核，卷积核中的参数是利用神经网络学习到的，鲁棒性和泛化性更强。在目标检测领域，基于深度学习的目标检测已成为主流，可以分成两类，一阶段和二阶段检测算法。二阶段算法首先经过候选框提取，提取可能的前景框，再对候选前景框进行细分类和位置精修，代表算法有RCNN系列；一阶段算法不需要进行候选框的提取过程，直接进行细分类和位置回归，代表算法有SSD、YOLO、RetinaNet等。类别不平衡和小物体检测都是基于深度学习的目标检测算法面临的挑战。真实场景下的数据集每个类别的样本数量不均匀，常见类别的样本量易获取，数量充足，而非常见类别的样本难获取，数量稀少，因此造成不同类别间样本量不均衡，增加训练难度。小物体检测的准确度通常比大物体和中等物体的准确度低很多，小物体携带的像素信息较少，通过多个池化层后可能在特征图中消失，检测训练样本匹配方式、训练方法等因素也是造成小物体检测效果差的原因。

技术实现思路

[0004]本专利技术要解决的问题是：对目标检测模型的训练中，类别不平衡和小物体检测会影响训练准确性，样本量不均衡增加了训练难度。
[0005]本专利技术的技术方案为：一种基于损失反馈的类别和尺度均衡目标检测训练方法，在对目标检测网络进行迭代训练时，基于损失函数的损失反馈对训练样本分别进行类别均衡和尺度均衡，类别均衡根据各类别样本在当前迭代中的梯度统计信息，动态调整迭代训练中各类别和各样本的采样概率，使训练类别及样本数据均衡，得到类别平衡后的训练集
I
’
，尺度均衡基于损失函数的损失反馈，根据训练集I
’
的训练样本在当前迭代中的梯度统计信息，动态调整训练集I
’
的训练样本尺度，通过图像拼接使训练集I
’
的目标尺度满足训练需求，经过类别平衡和尺度均衡的训练集I”作为新一次迭代训练样本输入目标检测网络进行训练。
[0006]进一步的，所述类别均衡具体为：
[0007]S1.1)定义g(c)为类别c训练样本在当前迭代中的梯度占比，r(c)为类别c的过采样系数，r(i)为样本i的过采样系数，D为数据增广操作集合，k为过采样阈值，为一个超参数；
[0008]S1.2)针对每个类别，统计训练样本在当前迭代中的梯度占比g(c)；
[0009]S1.3)根据每个类别的梯度占比g(c)更新下次迭代每个类别和样本的过采样系数，下次迭代类别c的过采样系数为即当g(c)≥k时，c类别不进行过采样，当g(c)<k时，c类别进行过采样，过采样系数为
[0010]S1.4)样本i的过采样系数为即在样本i所出现的类别中，取最大的类别过采样系数作为样本i的过采样系数；
[0011]S1.5)遍历当前迭代的训练样本集进行步骤S1.2)
‑
S1.4)，将每个样本的过采样系数向上取整作为该样本在下次迭代的训练样本集中的重复次数；
[0012]S1.6)返回经过基于损失反馈进行样本类别平衡后的训练集I
’
，用于下次迭代训练。
[0013]进一步的，所述尺度均衡具体为：
[0014]S2.1)定义s为样本尺度，s1为小物体判定尺度，s≤s1为小物体，s2为极小物体判定尺度，s≤s2<s1为极小物体，r1为尺度满足s2<s<s1的训练样本的在当前迭代中的梯度占比，r2为尺度满足s<s2的训练样本的在当前迭代中的梯度占比，I为训练图片拼接策略集合，t为进行图像拼接操作的梯度占比阈值；
[0015]S2.2)根据对目标尺寸的训练需求配置训练图片拼接策略集合I，策略集合包括原图大小的常规训练图片策略和不同程度的拼接图片策略，经过不同程度的拼接后，训练图片中的目标尺度减小；
[0016]S2.3)统计当前迭代梯度信息，分别计算r1和r2；
[0017]S2.4)若r1≤r2并且r1≤t，说明此时尺度为s2<s<s1的小物体梯度信息不足，因此下次迭代选择对应小物体的拼接策略生成训练图片；
[0018]S2.5)若r2<r1并且r2≤t，说明此时尺度为s<s2的极小物体梯度信息不足，因此下次迭代选择选择对应极小物体的拼接策略生成训练图片；
[0019]S2.6)若以上两个条件都不满足，即r1>t并且r2>t，说明当前迭代不缺乏小物体的梯度信息，则下次迭代选择常规训练图片策略；
[0020]S2.7)由以上当前迭代的梯度统计信息，确定下次迭代的训练图像拼接策略，对下次迭代的训练集进行调整。
[0021]本专利技术方法在训练中对于少样本类别进行过采样处理，增加在少样本类别的在损
失函数中的监督信息，使模型更关注少样本类别，同时经过随机数据增广策略增加训练数据的多样性，避免因简单重复样本而造成过拟合，提升模型泛化性，提升检测网络整体的准确性；另外，根据网络训练需求动态自动调整训练集目标尺寸，进一步训练集中均衡各尺度物体的梯度占比，相较于仅使用固定训练图像迭代训练的方法，可在确保大物体准确性同时提升小物体检测准确度，并且仅少量增加训练时计算量，即统计各尺度梯度占比，不影响推理速度。
[0022]如表1所示为本专利技术基于损失反馈的类别和尺度均衡目标检测训练方法性能表现。数据集为实验室自行标注的隧道场景车辆检测数据集，目标类别包括轿车、公交车、中巴、卡车、厢式货车，分别从多个摄像头、多时段随机截本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于损失反馈的类别和尺度均衡目标检测训练方法，其特征是在对目标检测网络进行迭代训练时，基于损失函数的损失反馈对训练样本分别进行类别均衡和尺度均衡，类别均衡根据各类别样本在当前迭代中的梯度统计信息，动态调整迭代训练中各类别和各样本的采样概率，使训练类别及样本数据均衡，得到类别平衡后的训练集I
’
，尺度均衡基于损失函数的损失反馈，根据训练集I
’
的训练样本在当前迭代中的梯度统计信息，动态调整训练集I
’
的训练样本尺度，通过图像拼接使训练集I
’
的目标尺度满足训练需求，经过类别平衡和尺度均衡的训练集I”作为新一次迭代训练样本输入目标检测网络进行训练。2.根据权利要求1所述的一种基于损失反馈的类别和尺度均衡目标检测训练方法，其特征是所述类别均衡具体为：S1.1)定义g(c)为类别c训练样本在当前迭代中的梯度占比，r(c)为类别c的过采样系数，r(i)为样本i的过采样系数，D为数据增广操作集合，k为过采样阈值，为一个超参数；S1.2)针对每个类别，统计训练样本在当前迭代中的梯度占比g(c)；S1.3)根据每个类别的梯度占比g(c)更新下次迭代每个类别和样本的过采样系数，下次迭代类别c的过采样系数为即当g(c)≥k时，c类别不进行过采样，当g(c)<k时，c类别进行过采样，过采样系数为S1.4)样本i的过采样系数为即在样本i所出现的类别中，取最大的类别过采样系数作为样本i的过采样系数；S1.5)遍历当前迭代的训练样本集进行步骤S1.2)
‑
S1.4)，将每个样本的过采样系数向上取整作为该样本在下次迭代的训练样本集中的重复次数；S1.6)返回经过基于损失反馈进行样本类别平衡后的训练集I
’

【专利技术属性】
技术研发人员：阮雅端，朱珂昕，徐沁心，孟凡泽，王麟皇，陈启美，
申请(专利权)人：南京大学，
类型：发明
国别省市：