一种由粗到精的新生儿面部检测方法与系统技术方案

本发明专利技术公开了一种由粗到精的新生儿面部检测方法与系统。该方法包括以下步骤：建立新生儿面部图像样本集；构建一种包括特征提取、面部边框粗定位和面部边框精定位模块的适用于新生儿面部检测的深度卷积神经网络；用样本集里的样本训练所构建的深度卷积神经网络，得到新生儿面部检测模型；利用新生儿面部检测模型对新输入的测试图像进行新生儿面部检测。本发明专利技术针对新生儿面部特点，构建并训练一个深度卷积神经网络模型，提取新生儿面部不同尺度的特征图，并通过两次分类任务及级联的两次回归任务实现由粗定位到精定位的面部检测，可以有效提高新生儿面部检测精度，减少误检、漏检的概率。

A New Method and System for Neonatal Facial Detection from Roughness to Sperm

【技术实现步骤摘要】
一种由粗到精的新生儿面部检测方法与系统
本专利技术涉及图像处理和深度学习领域，特别是一种由粗到精的新生儿面部检测方法与系统。
技术介绍
人脸检测问题的研究源于人脸识别问题，最早的人脸识别是在假设人脸位置已经获得的前提下进行的，随着应用要求的提高，我们需要从复杂的背景中先准确检测、定位出人脸。近年来的临床研究结果显示，虽然新生儿无法主诉疼痛感觉，但他们会有疼痛反应，疼痛反应会对新生儿产生一系列不同程度的不良影响。所以对基于面部表情的新生儿疼痛识别的研究具有深远的现实意义。新生儿面部检测是新生儿面部表情识别的前提和基础，快速准确的检测到图像中新生儿的面部显得尤为重要。现有的人脸检测研究多是针对成人人脸的，直接用于新生儿面部检测时漏检、误检的情况比较多。其主要原因是这些人脸检测方法是针对成人面部特征设计的，而新生儿面部特点与成人面部特点有较大的不同，例如新生儿面部多双眼紧闭、鼻腔较窄、眉毛不清晰。常见的人脸检测方法都是对预先设计好的候选框进行分类和边框回归。一般情况下，基于一次检测的人脸检测方法需要对大量密集的候选框进行直接检测，虽然有利于减少漏检情况，但由于绝大部分的候选框并不包含面部区域，这种极端不平衡会严重影响到模型的训练，降低检测精度，此外，通过一次回归也难以获得精准的面部边框位置。
技术实现思路
专利技术目的：本专利技术的目的在于提供一种由粗到精的新生儿面部检测方法与系统，通过级联的两次新生儿面部检测任务，既保证了检测速度，也提高了对新生儿面部检测精度，减少了复杂背景下的误检、漏检概率。技术方案：本专利技术为实现上述专利技术目的采用以下技术方案：一种由粗到精的新生儿面部检测方法，包括以下步骤：(1)对新生儿图像进行标注，给出是否存在新生儿面部区域的类别标签以及存在面部区域时新生儿面部区域边框的左上顶点和右下顶点坐标位置，建立新生儿面部图像样本集；(2)构建一种适用于新生儿面部检测的深度卷积神经网络，包括特征提取模块、面部边框粗定位模块、面部边框精定位模块，其中：所述的特征提取模块包括顺序连接的若干个卷积层和池化层，对输入的新生儿面部图像进行卷积以及池化操作，输出n个不同尺度的特征图Fi，提取不同层次的图像特征，其中i＝1,2,…,n；n>1；所述的面部边框粗定位模块，包括第一分类和回归单元，所述第一分类和回归单元由一个分类支路和一个回归支路构成，所述分类支路用于对输入的n个不同尺度的特征图Fi进行处理，输出预设的面部候选框是否为新生儿面部区域的置信度，完成新生儿面部/非面部的分类任务；所述回归支路用于对输入的n个不同尺度的特征图Fi进行处理，输出预设的面部候选框的位置偏移量，以修正面部候选框的位置坐标，得到粗定位面部候选边框；所述的面部边框精定位模块，包括n个并列的卷积层及第二分类和回归单元，所述n个并列的卷积层分别用于对所述特征提取模块输出的n个不同尺度的特征图Fi进行卷积操作，输出n个特征图Fi′；所述第二分类和回归单元由一个分类支路和一个回归支路构成，所述分类支路用于对输入的n个不同尺度的特征图Fi′进行处理，输出面部边框粗定位模块得到的粗定位面部候选边框是否为新生儿面部区域的置信度，完成新生儿面部/非面部的分类任务；所述回归支路对输入的n个不同尺度的特征图Fi′进行处理，输出粗定位面部候选边框的位置偏移量，以修正面部候选边框的位置坐标，得到精定位面部边框，最后采用非极大值抑制方法，得到最终的新生儿面部区域边框；(3)用新生儿面部图像样本集当中的样本训练所构建的深度卷积神经网络，得到新生儿面部检测模型；(4)利用训练好的新生儿面部检测模型对输入的测试图像进行新生儿面部检测。作为优选，所述第一分类和回归单元的分类支路包括n个并列的卷积层、第一串接层和第一分类层；n个并列的卷积层分别对n个不同尺度的特征图Fi进行卷积操作，得到的特征图由第一串接层进行串接，使用第一分类层将串接输出的特征向量全连接到2个输出节点，每个节点对应预设的面部候选框的新生儿面部/非面部的类别信息；所述第一分类和回归单元的回归支路包括n个并列的卷积层、第二串接层和第一回归层；n个并列的卷积层分别对n个不同尺度的特征图Fi进行卷积操作，得到的特征图由第二串接层进行串接，使用第一回归层将输出的特征向量全连接到4个输出节点，每个节点对应预设的面部候选框的位置偏移量。作为优选，所述第二分类和回归单元的分类支路包括n个并列的卷积层、第三串接层和第二分类层；n个并列的卷积层分别对n个不同尺度的特征图Fi′进行卷积操作，得到的特征图由第三串接层进行串接，使用第二分类层将串接输出的特征向量全连接到2个输出节点，每个节点对应粗定位面部候选边框的新生儿面部/非面部的类别信息；所述第二分类和回归单元的回归支路包括n个并列的卷积层、第四串接层和第二回归层；n个并列的卷积层分别对n个不同尺度的特征图Fi′进行卷积操作，得到的特征图由第四串接层进行串接，使用第二回归层将输出的特征向量全连接到4个输出节点，每个节点对应粗定位面部候选边框的位置偏移量。作为优选，所述特征提取模块输出4个不同尺度的特征图，4个特征图的尺度分别为输入图像尺度的1/8、1/16、1/32、1/64。基于相同的专利技术构思，本专利技术所述的一种由粗到精的新生儿面部检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的由粗到精的新生儿面部检测方法。有益效果：本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：1、两次分类任务：大量的面部候选框中只有少部分是与输入图像中面部重叠的有效框，这会导致网络很难训练，影响训练速度。第一次分类任务能够快速地筛选掉那些明显是背景的候选框，缓解有效框与背景候选框之间的极大不平衡现象，并且简化第二次分类任务。2、级联的两次回归任务：第一次回归任务可以粗略的调整候选框位置，为第二次回归任务提供更好的初始化信息。相比采用一次回归任务的检测能够得到更高质量的新生儿面部区域边框。3、深度卷积神经网络中由卷积操作输出的不同尺度的特征图能够检测出图像中不同尺寸的新生儿面部。综合检测不同尺度的特征图可以有效的提高面部检测精度。4、级联的粗定位模块与精定位模块共享多尺度的特征提取模块，整个网络结构只需对输入图像进行一个阶段的运算，就能得到最终的检测结果，并且在训练网络时，通过一个损失函数就能够进行端到端的训练。附图说明图1是本专利技术的一种由粗到精的新生儿面部检测方法流程图。图2是本专利技术示例性实施例构建的深度卷积神经网络结构图。图3是深度卷积神经网络中的特征提取模块结构图。图4是深度卷积神经网络中面部边框粗定位模块结构图。图5是深度卷积神经网络中面部边框精定位模块结构图。具体实施方式下面结合说明书附图对本专利技术的具体实施方式做进一步详细的说明。如图1所示，本专利技术提供一种由粗到精的新生儿面部检测方法，主要包括如下步骤：(1)拍摄不同状态下的新生儿视频，从视频中截取一些关键帧图像，并对这些图像进行标注，给出是否存在新生儿面部区域的类别标签以及存在面部区域时新生儿面部区域边框的左上顶点和右下顶点坐标位置，建立新生儿面部图像样本集。(2)构建一种适用于新生儿面部检测的深度卷积神经网络。(3)将新生儿面部图像样本集里的样本随机的输本文档来自技高网...

【技术保护点】
1.一种由粗到精的新生儿面部检测方法，其特征在于，包括以下步骤：(1)对新生儿图像进行标注，给出是否存在新生儿面部区域的类别标签以及存在面部区域时新生儿面部区域边框的左上顶点和右下顶点坐标位置，建立新生儿面部图像样本集；(2)构建一种适用于新生儿面部检测的深度卷积神经网络，包括特征提取模块、面部边框粗定位模块、面部边框精定位模块，其中：所述的特征提取模块包括顺序连接的若干个卷积层和池化层，对输入的新生儿面部图像进行卷积以及池化操作，输出n个不同尺度的特征图Fi，提取不同层次的图像特征，其中i＝1，2，...，n；n＞1；所述的面部边框粗定位模块，包括第一分类和回归单元，所述第一分类和回归单元由一个分类支路和一个回归支路构成，所述分类支路用于对输入的n个不同尺度的特征图Fi进行处理，输出预设的面部候选框是否为新生儿面部区域的置信度，完成新生儿面部/非面部的分类任务；所述回归支路用于对输入的n个不同尺度的特征图Fi进行处理，输出预设的面部候选框的位置偏移量，以修正面部候选框的位置坐标，得到粗定位面部候选边框；所述的面部边框精定位模块，包括n个并列的卷积层及第二分类和回归单元，所述n个并列的卷积层分别用于对所述特征提取模块输出的n个不同尺度的特征图Fi进行卷积操作，输出n个特征图Fi′；所述第二分类和回归单元由一个分类支路和一个回归支路构成，所述分类支路用于对输入的n个不同尺度的特征图Fi′进行处理，输出面部边框粗定位模块得到的粗定位面部候选边框是否为新生儿面部区域的置信度，完成新生儿面部/非面部的分类任务；所述回归支路对输入的n个不同尺度的特征图Fi′进行处理，输出粗定位面部候选边框的位置偏移量，以修正面部候选边框的位置坐标，得到精定位面部边框，最后采用非极大值抑制方法，得到最终的新生儿面部区域边框；(3)用新生儿面部图像样本集当中的样本训练所构建的深度卷积神经网络，得到新生儿面部检测模型；(4)利用训练好的新生儿面部检测模型对输入的测试图像进行新生儿面部检测。...

【技术特征摘要】
1.一种由粗到精的新生儿面部检测方法，其特征在于，包括以下步骤：(1)对新生儿图像进行标注，给出是否存在新生儿面部区域的类别标签以及存在面部区域时新生儿面部区域边框的左上顶点和右下顶点坐标位置，建立新生儿面部图像样本集；(2)构建一种适用于新生儿面部检测的深度卷积神经网络，包括特征提取模块、面部边框粗定位模块、面部边框精定位模块，其中：所述的特征提取模块包括顺序连接的若干个卷积层和池化层，对输入的新生儿面部图像进行卷积以及池化操作，输出n个不同尺度的特征图Fi，提取不同层次的图像特征，其中i＝1，2，...，n；n＞1；所述的面部边框粗定位模块，包括第一分类和回归单元，所述第一分类和回归单元由一个分类支路和一个回归支路构成，所述分类支路用于对输入的n个不同尺度的特征图Fi进行处理，输出预设的面部候选框是否为新生儿面部区域的置信度，完成新生儿面部/非面部的分类任务；所述回归支路用于对输入的n个不同尺度的特征图Fi进行处理，输出预设的面部候选框的位置偏移量，以修正面部候选框的位置坐标，得到粗定位面部候选边框；所述的面部边框精定位模块，包括n个并列的卷积层及第二分类和回归单元，所述n个并列的卷积层分别用于对所述特征提取模块输出的n个不同尺度的特征图Fi进行卷积操作，输出n个特征图Fi′；所述第二分类和回归单元由一个分类支路和一个回归支路构成，所述分类支路用于对输入的n个不同尺度的特征图Fi′进行处理，输出面部边框粗定位模块得到的粗定位面部候选边框是否为新生儿面部区域的置信度，完成新生儿面部/非面部的分类任务；所述回归支路对输入的n个不同尺度的特征图Fi′进行处理，输出粗定位面部候选边框的位置偏移量，以修正面部候选边框的位置坐标，得到精定位面部边框，最后采用非极大值抑制方法，得到最终的新生儿面部区域边框；(3)用新生儿面部图像样本集当中的样本训练所构建的深度卷积神经网络，得到新生儿面部检测模型；(4)利用训练好的新生儿面部检测模型对输入的测试图像进...

【专利技术属性】
技术研发人员：卢官明，周小洁，李晓南，闫静杰，卢峻禾，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32