基于迁移学习的人物检测方法和系统技术方案

本发明专利技术提出一种基于迁移学习的人物检测方法和系统，构建用于图像目标检测的教师网络和其对应的学生网络，获取已标注人物类别标签的图片数据集作为训练数据集；分别根据老师网络和学生网络每层目标检测FPN中特征包含的目标对象信息量，得到老师网络每层目标检测FPN的老师特征丰富度得分和学生网络每层目标检测FPN的学生特征丰富度得分；基于该老师特征丰富度得分和该学生特征丰富度得分，得到分类头约束损失；对教师网络的损失、学生网络的损失和该分类头约束损失进行求和，得到蒸馏损失；该蒸馏损失收敛后使用该学生网络对图片中的人物进行检测。的人物进行检测。的人物进行检测。

【技术实现步骤摘要】
基于迁移学习的人物检测方法和系统
[0001]本申请是申请日为2021年9月18日、申请号为202111103913.2、专利技术名称为“基于迁移学习的人物检测方法和系统”专利技术专利申请的分案申请。


[0002]本专利技术涉及目标检测和迁移学习中知识蒸馏
，并特别涉及一种基于迁移学习的人物检测方法、系统、存储介质和客户端。

技术介绍

[0003]近年来，大规模的深度模型取得了巨大的成功，但巨大的计算复杂度和海量的存储需求使得将它们部署在资源有限的设备中是一个巨大的挑战。作为一种模型压缩和加速方法，知识蒸馏通过转移来自教师检测器的暗知识，即教师网络中隐含的对学生网络中有用的信息，进而有效地提高了小模型的性能。现有大多数基于知识蒸馏的目标检测方法主要让学生网络去模仿老师网络中与边界框重叠的特征，并认为从bounding box中选择的前景特征很重要。
[0004]现有的目标检测中知识蒸馏方法过分注重bounding box区域的信息，而忽视了其他的区域的有用信息。首先，从bounding box中选出的前景特征只包含数据集中的类别，而忽略了数据集外对象的类别，导致遗漏了一些重要的特征。例如，COCO数据集中不包含人体模特类别，但包含人物类别。由于模特在视觉上与人相似，人体模型的特征包含了许多有用的人特征，这些特征有利于提高蒸馏检测器对人的检测效果。其次，仅使用边界框的先验知识来选择特征进行蒸馏忽略了教师网络的缺陷。模仿被教师网络误认为背景的特征会对学生网络产生误导。

技术实现思路

[0005]本专利技术基于在目标检测中蒸馏方法有效利用除bounding box区域外的有用信息，提出了一种基于迁移学习的人物检测方法，其中包括：
[0006]步骤1、构建用于图像目标检测的教师网络和其对应的学生网络，获取已标注人物类别标签的图片数据集作为训练数据集；
[0007]步骤2、分别根据老师网络和学生网络每层目标检测FPN中特征包含的目标对象信息量，得到老师网络每层目标检测FPN的老师特征丰富度得分和学生网络每层目标检测FPN的学生特征丰富度得分；
[0008]步骤3、基于该老师特征丰富度得分和该学生特征丰富度得分，得到分类头约束损失；
[0009]步骤4、对教师网络的损失、学生网络的损失和该分类头约束损失进行求和，得到蒸馏损失；
[0010]步骤5、循环该步骤2到该步骤4，直到该蒸馏损失收敛或达到预设重复迭代次数，终止训练，将当前学生网络作为人物检测模型，并使用该人物检测模型对待识别图片中的
人物进行检测，得到待识别图片中人物的人物类别作为识别结果。
[0011]所述的基于迁移学习的人物检测方法，其中该分类头约束损失：
[0012][0013]式中M代表FPN的层数，W，H代表特征图的宽度和高度，式中M代表FPN的层数，W，H代表特征图的宽度和高度，分别代表着老师网络和学生网络第l层对应的老师特征丰富度得分和学生特征丰富度得分，φ为二进制交叉熵函数。
[0014]本专利技术还提出了一种基于特征丰富度知识蒸馏的人物检测系统，其中包括：
[0015]模块1，用于构建用于图像目标检测的教师网络和其对应的学生网络，获取已标注人物类别标签的图片数据集作为训练数据集；
[0016]模块2，用于分别根据老师网络和学生网络每层目标检测FPN中特征包含的目标对象信息量，得到老师网络每层目标检测FPN的老师特征丰富度得分和学生网络每层目标检测FPN的学生特征丰富度得分；
[0017]模块3，用于基于该老师特征丰富度得分和该学生特征丰富度得分，得到分类头约束损失；
[0018]模块4，用于对教师网络的损失、学生网络的损失和该分类头约束损失进行求和，得到蒸馏损失；
[0019]模块5，用于重复迭代调用该模块2到该模块4，直到该蒸馏损失收敛或达到预设重复迭代次数，终止训练，将当前学生网络作为人物检测模型，并使用该人物检测模型对待识别图片中的人物进行检测，得到待识别图片中人物的人物类别作为识别结果。
[0020]所述的基于迁移学习的人物检测系统，其中该分类头约束损失：
[0021][0022]式中M代表FPN的层数，W，H代表特征图的宽度和高度，式中M代表FPN的层数，W，H代表特征图的宽度和高度，分别代表着老师网络和学生网络第l层对应的老师特征丰富度得分和学生特征丰富度得分，φ为二进制交叉熵函数。
[0023]本专利技术还提出了一种存储介质，用于存储执行所述的基于迁移学习的人物检测方法的程序。
[0024]本专利技术还提出了一种客户端，用于所述基于迁移学习的人物检测系统。
[0025]由以上方案可知，本专利技术的优点在于，提高了目标检测的准确率，在COCO数据集上评测指标是mAP的情况下：Faster
‑
Resnet50提升2.1％，FCOS
‑
Resnet50提升2.4％,GFL
‑
Resnet50提升3.4％。
附图说明
[0026]图1为本专利技术系统框图；
[0027]图2为本专利技术方法流程图。
具体实施方式
[0028]为了解决上述问题，本专利技术提出了一种特征丰富度评分(FRS)方法来选择有利于蒸馏的重要特征。特征丰富度是指特征中包含的对象的信息量，同时可以用这些特征是对象的概率来表示。提取特征丰富度高的特征而不是boundingbox区域中的特征可以有效解决上述两个限制——忽略boundingbox之外，未包含在数据集类别中的对象的特征；以及过分注重教师检测器错误分类的特征。
[0029]首先，未包含在数据集类别中的对象的特征具有很高的特征丰富度。因此，使用特征丰富度可以检索边界框外的重要特征，这可以指导学生网络学习教师网络的广义可检测性。例如，具有高特征丰富度的人体模特的特征可以促进学生检测器提高其对人的广义可检测性。
[0030]其次，边界框中的特征但被教师检测器错误分类的特征丰富度低。因此，使用特征丰富度可以去除边界框中教师检测器的误导性特征。
[0031]因此，特征的重要性与特征丰富度密切相关，即特征丰富度适合选择重要特征进行蒸馏。由于所有类别的分类分数聚合是特征为对象的概率的近似值，因此本专利技术使用聚合的分类分数作为特征丰富度的标准。
[0032]在实践中，本专利技术利用教师网络中每个FPN层对应的分类分数得分作为特征掩码，用作特征丰富度图来指导学生网络学习。
[0033]为让本专利技术的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
[0034]1.特征掩码矩阵S：
[0035]基于老师网络每层目标检测FPN的分类分支得到，NCHW的四维矩阵，然后在C通道方向上面求和，得到NHW维度的特征矩阵。然后作为特征掩码矩阵S。其中学生网络是resnet50时候，老师网络可以是resnet101,resnext101等比学生网络大的网络。NCHW中N代表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于基于迁移学习的人物检测方法，其特征在于，包括：步骤1、构建用于图像目标检测的教师网络和其对应的学生网络，获取已标注人物类别标签的图片数据集作为训练数据集；步骤2、分别根据老师网络和学生网络每层目标检测FPN中特征包含的目标对象信息量，得到老师网络每层目标检测FPN的老师特征丰富度得分和学生网络每层目标检测FPN的学生特征丰富度得分；步骤3、基于该老师特征丰富度得分和该学生特征丰富度得分，得到分类头约束损失；步骤4、对教师网络的损失、学生网络的损失和该分类头约束损失进行求和，得到蒸馏损失；步骤5、循环该步骤2到该步骤4，直到该蒸馏损失收敛或达到预设重复迭代次数，终止训练，将当前学生网络作为人物检测模型，并使用该人物检测模型对待识别图片中的人物进行检测，得到待识别图片中人物的人物类别作为识别结果。2.如权利要求1所述的基于迁移学习的人物检测方法，其特征在于，该分类头约束损失：式中M代表FPN的层数，W，H代表特征图的宽度和高度，式中M代表FPN的层数，W，H代表特征图的宽度和高度，式中M代表FPN的层数，W，H代表特征图的宽度和高度，分别代表着老师网络和学生网络第l层对应的老师特征丰富度得分和学生特征丰富度得分，φ为二进制交叉熵函数。3.一种基于迁移学习的人物检测系统，其特征在于，包括：模块1，用于构建用于图像目标检测的教师网络和其对...

【专利技术属性】
技术研发人员：张蕊，杜治兴，张曦珊，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：