基于正负样本采样比和模型微调的目标检测优化方法技术

本发明专利技术公开了一种基于正负样本采样比和模型微调的目标检测优化方法，包括以下步骤：步骤1)设计整体网络架构；步骤2)训练模型；步骤3)验证模型并采取不同的优化措施；步骤4)以固定正负样本比例注入负样本的优化措施；步骤5)对不同尺度目标检测的优化措施。本发明专利技术实施例针对深度学习方案构建的检测器存在的检测精度以及检测速度两方面做出了优化。在检测速度性能良好的单步网络SSD架构中引入FPN网络实现更高精度的多尺度检测效果。其后采用固定正负样本比例的方式注入更多类别的负样本，并针对不同尺度大小的目标进行相适应的固定网络参数和微调的措施，实现对于整体检测架构的优化。

【技术实现步骤摘要】
基于正负样本采样比和模型微调的目标检测优化方法
本专利技术属于目标检测
，具体涉及一种基于正负样本采样比和模型微调的目标检测优化方法。
技术介绍
随着机器学习技术和深度学习技术的日趋成熟，众多计算机视觉相关的研究课题得到良好的实现和解决。目标检测技术便是诸多课题中极其重要的研究分支。目标检测技术实现对于图片、视频中感兴趣区域的分类以及定位，从而得到所需要目标的类别信息以及位置信息。基于卷积神经网络的深度学习目标检测算法主要有两大类，其中之一是基于候选框生成的两步网络架构，另一类是不采用独立的候选框生成步骤的单步网络架构。两步网络架构以RCNN系列为代表，其往往通过SS、RPN等算法提取出感兴趣的区域候选框，再投入网络架构中进行打分和位置回归。单步网络架构以SSD和YOLO系列为代表，相比于两步网络架构而言，其省略了额外的候选框生成步骤，直接采取深度卷积神经网络将提取特征、获得多尺度的先验框、分类和坐标回归步骤整合起来。由此可知，两步网络架构由于使用额外的候选框生成的步骤可实现对于更多目标的更好覆盖度，因此其往往具有更高的检测精度，但同时也牺牲了检测速度。单步网络架构由于将所有步骤整合在统一的神经网络中，因此往往具有更快的检测速度，但在检测精度方面低于两步网络架构。当下目标检测任务研究的焦点与难点集中在设计和创新出快速且准确的检测架构，以及与网络架构密切相关的样本操作之上。在网络结构的创新方面，可以满足实时检测性能需求的更快速的单步网络架构往往检测精度较为低下，而检测精度较高的两步网络架构往往检测速度较差。因此兼备较快的检测速度与较高的检测精度的架构的研究成为研究重点。在与训练相关的样本操作方面存在的亟待解决的问题是正负样本的控制问题。目标检测任务使用的训练数据为标有目标框的图片，即真值样本(GT)。训练过程中，在每轮训练中所使用的图片来自于采样BatchSize数量的训练集，在每轮训练完成后随机打乱。因此在每个minibatch中会存在有GT和无GT的样本，即正负样本。负样本特征使得网络的泛化性能得到提升，从而实现误检情况的发生。而当网络架构出现误检时，最有效且最直接的做法是将出现误检的类别对应的样本，加入网络进行训练，使网络直接学习误检类别目标的特征，从而获得更好的检测效果。如网络将一张图中的骆驼检测成马，那么就将包含骆驼的图片加入到网络训练中。但这些图片均为负样本，即无GT标注的图片，随着负样本的增多，训练中所采用的每个minibatch采样得到的有GT图片所占的比例下降。这造成模型每次朝着更倾向于负样本的方向更新梯度，最终将使得模型的检出性能下降。另外，在深度神经网络中，一般高层特征图的尺度相对较小，细节信息相对较少，具有更多的语义信息。底层特征图的尺度大，具有更多的细节信息。在检测任务中，由于小目标尺度小，经过多层卷积与池化之后，在高层特征图中，目标特征存在丢失的情况，所以对于小目标的检测，一般在底层特征图上进行匹配检测；对于大目标，由于尺度大，底层特征图的感受野相对较小，不能很好的获取整个目标的语义信息，不能对目标进行精准的检测，所以对于大目标的检测，一般在高层特征图上进行匹配检测。
技术实现思路
鉴于以上存在的技术问题，本专利技术用于提供一种基于正负样本采样比和模型微调的目标检测优化方法。为解决上述技术问题，本专利技术采用如下的技术方案：一种基于正负样本采样比和模型微调的目标检测优化方法，包括以下步骤：步骤1)设计整体网络架构：使用检测速度性能优异且具有良好的检测精度的单步网络架构SSD作为基础网络，在此基础上，引入FPN结构对检测架构进行创新，实现高精度的多尺度检测效果；步骤2)训练模型：使用ImageNet数据训练的基础模型的参数作为模型训练的初始参数，并在此基础上进行微调，其后使用验证集调节模型的相关超参数，从而确定出最终检测器的最优超参数；步骤3)验证模型并采取不同的优化措施：使用测试数据验证训练好的模型的性能，对模型的检测效果进行可视化，并对存在漏检与误检的图片进行分析，其后针对不同情况的漏检以及不同场景的误检采取不同的优化措施，实现对目标检测效果的针对性优化；步骤4)以固定正负样本比例注入负样本的优化措施：针对步骤3)中的误检情况进行优化，使用被误检的目标类别作为负样本进行优化，并确保采样得到的正负样本数据与原始的没有添加负样本数据的正负样本的比例保持一致，实现负样本的种类增加，并且正负样本的比例不变。从而避免负样本过多，导致模型的优化方向朝着倾向于负样本的的方向进行更新；步骤5)对不同尺度目标检测的优化措施：针对步骤3)中的漏检情况，对漏检的目标的尺度进行分析，相对于特征图的大小进行匹配，如果是小目标的漏检，则固定网络中的高层结构的参数，使用数据增强的方式生成大量的小目标，来微调网络的底层结构，实现底层更好的提取小目标的特征信息；如果漏检测的是大目标，则使用数据增强生成大目标的图片，固定底层网络参数，不再进行训练学习，微调高层网络结构中的参数，实现网络更好的对大目标的检测。优选地，步骤1)中，使用1/8，1/16，1/32的尺度作为检测器的输入层。基础网络输出1/32的特征图作为其中的一个检测输入特征，然后使用反卷积操作扩大特征图的尺度，再将扩大之后的特征图与原始的1/16的特征图进行特征融合，将融合之后的特征作为检测器的输入特征；然后将融合之后的特征再进行反卷积操作，与原始的1/8的特征图进行融合，将融合之后的1/8的特征图作为检测器的输入特征层。优选地，所述步骤2)中，在模型训练中，使用模型的初始化学习率为10e-4，每次迭代20个epoch，学习率降低为原来的1/10。优选地，所述步骤4)中，在模型训练的过程中，统计每个batch中的正负样本的数量，保证正负样本的数量比例与没有进行优化之前的正负样本的比例一致。优选地，所述步骤5)中，在进行模型的微调的时候，将固定层的学习率设置为0，固定该层的参数，不再进行学习，将需要进行微调的层的学习率设置为10e-5，进行模型参数的微调。采用本专利技术具有如下的有益效果：本专利技术实施例针对深度学习方案构建的检测器存在的检测精度以及检测速度两方面做出了优化。在检测速度性能良好的单步网络SSD架构中引入FPN网络实现更高精度的多尺度检测效果。其后采用固定正负样本比例的方式注入更多类别的负样本，并针对不同尺度大小的目标进行相适应的固定网络参数和微调的措施，实现对于整体检测架构的优化。附图说明图1为本专利技术实施例的基于正负样本采样比和模型微调的目标检测优化方法的步骤流程图；图2为本专利技术实施例的基于正负样本采样比和模型微调的目标检测优化方法中FPN模型结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术本文档来自技高网...

【技术保护点】
1.一种基于正负样本采样比和模型微调的目标检测优化方法，其特征在于，包括以下步骤：/n步骤1)设计整体网络架构：使用检测速度性能优异且具有良好的检测精度的单步网络架构SSD作为基础网络，在此基础上，引入FPN结构对检测架构进行创新，实现高精度的多尺度检测效果；/n步骤2)训练模型：使用ImageNet数据训练的基础模型的参数作为模型训练的初始参数，并在此基础上进行微调，其后使用验证集调节模型的相关超参数，从而确定出最终检测器的最优超参数；/n步骤3)验证模型并采取不同的优化措施：使用测试数据验证训练好的模型的性能，对模型的检测效果进行可视化，并对存在漏检与误检的图片进行分析，其后针对不同情况的漏检以及不同场景的误检采取不同的优化措施，实现对目标检测效果的针对性优化；/n步骤4)以固定正负样本比例注入负样本的优化措施：针对步骤3)中的误检情况进行优化，使用被误检的目标类别作为负样本进行优化，并确保采样得到的正负样本数据与原始的没有添加负样本数据的正负样本的比例保持一致，实现负样本的种类增加，并且正负样本的比例不变。从而避免负样本过多，导致模型的优化方向朝着倾向于负样本的的方向进行更新；/n步骤5)对不同尺度目标检测的优化措施：针对步骤3)中的漏检情况，对漏检的目标的尺度进行分析，相对于特征图的大小进行匹配，如果是小目标的漏检，则固定网络中的高层结构的参数，使用数据增强的方式生成大量的小目标，来微调网络的底层结构，实现底层更好的提取小目标的特征信息；如果漏检测的是大目标，则使用数据增强生成大目标的图片，固定底层网络参数，不再进行训练学习，微调高层网络结构中的参数，实现网络更好的对大目标的检测。/n...

【技术特征摘要】
1.一种基于正负样本采样比和模型微调的目标检测优化方法，其特征在于，包括以下步骤：
步骤1)设计整体网络架构：使用检测速度性能优异且具有良好的检测精度的单步网络架构SSD作为基础网络，在此基础上，引入FPN结构对检测架构进行创新，实现高精度的多尺度检测效果；
步骤2)训练模型：使用ImageNet数据训练的基础模型的参数作为模型训练的初始参数，并在此基础上进行微调，其后使用验证集调节模型的相关超参数，从而确定出最终检测器的最优超参数；
步骤3)验证模型并采取不同的优化措施：使用测试数据验证训练好的模型的性能，对模型的检测效果进行可视化，并对存在漏检与误检的图片进行分析，其后针对不同情况的漏检以及不同场景的误检采取不同的优化措施，实现对目标检测效果的针对性优化；
步骤4)以固定正负样本比例注入负样本的优化措施：针对步骤3)中的误检情况进行优化，使用被误检的目标类别作为负样本进行优化，并确保采样得到的正负样本数据与原始的没有添加负样本数据的正负样本的比例保持一致，实现负样本的种类增加，并且正负样本的比例不变。从而避免负样本过多，导致模型的优化方向朝着倾向于负样本的的方向进行更新；
步骤5)对不同尺度目标检测的优化措施：针对步骤3)中的漏检情况，对漏检的目标的尺度进行分析，相对于特征图的大小进行匹配，如果是小目标的漏检，则固定网络中的高层结构的参数，使用数据增强的方式生成大量的小目标，来微调网络的底层结构，实现底层更好的提取小目标的特征信息；如果漏检测的是大目标，则使用数据增强生...

【专利技术属性】
技术研发人员：杭丽君，丁明旭，叶锋，宫恩来，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33