一种利用光照均衡法改善人脸视频心率检测的方法技术

本发明专利技术涉及一种利用光照均衡法改善人脸视频心率检测的方法，包括以下步骤：S1、利用可见光的摄像头获取人脸视频图像；S2、利用多任务卷积神经网络完成人脸的检测及定位；S3、选取人脸视频感兴趣区域；S4、利用快速引导滤波算法提取场景光照分量，构造改进的二维伽马函数，均衡人脸视频图像的光照分量；S5、利用FastICA算法，从混合信号中分离出独立源信号；S6、利用独立源信号做快速傅里叶变换，并计算心率值。本发明专利技术通过快速引导滤波算法提取光照分量，利用改进的二维伽马函数的自适应校正光照不均的光均衡法，改善人脸图像过亮与过暗区域的亮度，减少心率测量值的平均误差和标准差，提高测量精度。

【技术实现步骤摘要】
一种利用光照均衡法改善人脸视频心率检测的方法
本专利技术涉及图像处理、非接触式心率检测
，具体涉及一种利用光照均衡法改善人脸视频心率检测的方法。
技术介绍
随着现代生活水平的提高，人们将更多地关心自己的身体健康状况，而心率作为人体最重要的生命特征之一，心率的检测也将得到更多的重视。近些年，市面上的心率检测设备发展迅速，体积小、测量方便是发展的必然趋势，但是它们都需要与测量者进行直接身体接触，接触式的传感器记录方式测量过程繁琐，且可能会引起患者的不适，尤其对于刚出生的婴儿之类的人群有着不适用性。因此，利用光电容积脉搏波描记法原理的非接触式心率检测方法在医学领域及家庭健康防范等方面有着较为广泛的应用前景。目前，非接触式心率检测需要在较为稳定的环境下检测所得到的结果才较为准确，光线变化等因素都会对检测结果产生负面影响。因此，需要寻找一种能够自适应地校正人脸图像的光照不均匀现象，减少光波动所产生的噪声，确保测量结果的准确性的方法。
技术实现思路
为了解决现有技术所存在的技术问题，本专利技术提供一种利用光照均衡法改善人脸视频心率检测的方法，通过快速引导滤波算法提取光照分量，利用改进的二维伽马函数的自适应校正光照不均的光均衡法，改善人脸图像过亮与过暗区域的亮度，减少心率测量值的平均误差和标准差，提高测量精度。本专利技术方法采用以下技术方案来实现：一种利用光照均衡法改善人脸视频心率检测的方法，包括以下步骤：S1、利用可见光的摄像头获取人脸视频图像；S2、利用多任务卷积神经网络完成人脸、双眼、鼻子以及嘴角的检测及定位；S3、根据人脸、双眼、鼻子以及嘴角的定位信息，选取人脸视频图像感兴趣区域ROI；S4、根据人脸视频感兴趣区域ROI，将每帧感兴趣区域ROI分解到色相H，饱和度S，亮度V颜色组成空间；对于亮度V通道，利用快速引导滤波算法提取场景的光照分量，并构造改进的二维伽马函数，均衡人脸视频图像的光照分量；S5、进行盲源分离，利用独立成分分析FastICA算法，从每帧感兴趣区域ROI的R、G、B三基色通道观测混合信号中分离出独立源信号；S6、利用分离出的独立源信号做快速傅里叶变换，根据皮肤反射光强度的周期变化推导出血液容积的周期变化，从而获取心率信息，选择独立源信号中具有最大功率谱幅值的独立源信号作为脉搏源信号，根据脉搏源信号幅值计算出心率值。本专利技术与现有技术相比，具有如下优点和有益效果：本专利技术通过快速引导滤波算法提取光照分量，利用改进的二维伽马函数的自适应校正光照不均的光均衡法，改善人脸图像过亮与过暗区域的亮度，实现了对光照不均匀的调整，减少心率测量值的平均误差和标准差，提高测量精度。附图说明图1是本专利技术方法的流程图；图2是光均衡方案校正前的亮度直方图；图3是光均衡方案校正后的亮度直方图；图4是具有最强脉搏波信号的独立源信号频谱图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例如图1所示，本专利技术利用光照均衡法改善人脸视频心率检测的方法，包括以下步骤：S1、利用可见光的摄像头获取人脸视频图像，在摄像头前保持静止，减少晃动，保持采集环境的光线亮度，摄像头利用像素为1200万且最大分辨率为1920*1080的高清摄像机；S2、根据步骤S1中采集到的人脸视频图像，利用多任务卷积神经网络(MTCNN，Multi-taskconvolutionalneuralnetwork)完成人脸、双眼、鼻子以及嘴角的检测及定位；S3、根据步骤S2中所获取的人脸、双眼、鼻子以及嘴角的定位信息，选取脉搏原信号周期性强，噪声少的人脸视频图像感兴趣区域ROI；S4、根据步骤S3所获取的人脸视频图像的感兴趣区域，将每帧ROI分解到色相H，饱和度S，亮度V颜色组成空间；对于亮度V通道，通过快速引导滤波算法快速准确地提取出场景的光照分量，并构造改进的二维伽马函数，降低光照过亮区域的亮度值并提高过暗区域的亮度值，以此均衡人脸图像的光照分量，从而消除光照不均匀及光线波动的影响；S5、进行盲源分离，利用独立成分分析FastICA算法，从每帧感兴趣区域ROI的R、G、B三基色通道观测混合信号中分离出独立源信号；S6、根据步骤S5所获取的盲源分离后的信号，对分离出的独立源信号做快速傅里叶变换；根据光电容积脉搏描记法原理，光强的变化和血液容积的变化是成正比例关系，即可利用皮肤反射光强度的周期变化推导出血液容积的周期变化，从而间接获取心率信息；选择独立源信号中具有最大功率谱幅值的独立源信号作为脉搏源信号，根据脉搏源信号幅值计算出当前心率值。本实施例中，步骤S2中的多任务卷积神经网络采用了三个级联的网络，其网络结构包含了P-Net、R-Net、O-Net三种，其中，P-Net为人脸检测的区域建议网络，由三个卷积层组成，可以快速生成人脸候选窗口；R-Net比P-Net多了一个全连接层，用于进一步选择和调整P-Net生成的候选人脸区域窗口，O-Net在结构上更为复杂，其比R-Net多了一个卷积层，可以通过提取更多的特征来识别面部区域，且对人的面部特征点进行回归，最终输出人脸面部特征点。多任务卷积神经网络兼顾了人脸检测性能和准确率，相比于现有的滑动窗口加分类器等能够减少大量的性能消耗。本实施例中，步骤S3中选取人脸视频感兴趣区域ROI包括以下步骤：S31、由于进行采集视频图像时，人脸可能发生倾斜，为了获取标准化的人脸，需要对人脸进行偏转角度调整；设左、右眼的像素点坐标分别为(x1，y1)，(x2，y2)，若发生左偏转，即y1>y2，则偏转角度公式如下所示：α＝-[arctan((y1-y2)/(x2-x1))/π]若发生右偏转，即y2>y1，则偏转角度公式如下所示：α＝[arctan((y1-y2)/(x2-x1))/π]；S32、获取偏转角度后，通过调整偏转角度使得左、右眼处于同一水平位置，设定左、右眼之间的距离为4d，选取人脸图像中左、右眼下方的0.5d处，长和宽分别是8d和3d的矩形区域设为感兴趣区域。本实施例中，步骤S4中利用快速引导滤波算法提取场景的光照分量的具体步骤包括：S401、利用快速引导滤波算法，根据引导图像和输入图像之间的局部线性关系，在滤波窗口内重新计算每一个像素值，其滤波输出图像是引导图像的一个局部线性变换，进而提取出光照分量；设输入图像为p，引导图像为I，滤波输出图像为q，对于图像内任意的像素点k，在以其为中心的半径为r的滤波窗口ωk内存在线性变换关系为：其中，ak和bk为线性变换系数，在滤波窗口ωk中为常数；qi为第i个滤波输出图像；Ii为第i个引导图像；S402、利用滤波窗口ωk计算线性变换因子(ak，bk)的最优值，获取滤波输出图像q和输入图像p的最小差值；其中，在滤波窗口ωk中所使用的代价函数的表达式为：...

【技术保护点】
1.一种利用光照均衡法改善人脸视频心率检测的方法，其特征在于，包括以下步骤：/nS1、利用可见光的摄像头获取人脸视频图像；/nS2、利用多任务卷积神经网络完成人脸、双眼、鼻子以及嘴角的检测及定位；/nS3、根据人脸、双眼、鼻子以及嘴角的定位信息，选取人脸视频图像感兴趣区域ROI；/nS4、根据人脸视频感兴趣区域ROI，将每帧感兴趣区域ROI分解到色相H，饱和度S，亮度V颜色组成空间；对于亮度V通道，利用快速引导滤波算法提取场景的光照分量，并构造改进的二维伽马函数，均衡人脸视频图像的光照分量；/nS5、进行盲源分离，利用独立成分分析FastICA算法，从每帧感兴趣区域ROI的R、G、B三基色通道观测混合信号中分离出独立源信号；/nS6、利用分离出的独立源信号做快速傅里叶变换，根据皮肤反射光强度的周期变化推导出血液容积的周期变化，从而获取心率信息，选择独立源信号中具有最大功率谱幅值的独立源信号作为脉搏源信号，根据脉搏源信号幅值计算出心率值。/n

【技术特征摘要】
1.一种利用光照均衡法改善人脸视频心率检测的方法，其特征在于，包括以下步骤：
S1、利用可见光的摄像头获取人脸视频图像；
S2、利用多任务卷积神经网络完成人脸、双眼、鼻子以及嘴角的检测及定位；
S3、根据人脸、双眼、鼻子以及嘴角的定位信息，选取人脸视频图像感兴趣区域ROI；
S4、根据人脸视频感兴趣区域ROI，将每帧感兴趣区域ROI分解到色相H，饱和度S，亮度V颜色组成空间；对于亮度V通道，利用快速引导滤波算法提取场景的光照分量，并构造改进的二维伽马函数，均衡人脸视频图像的光照分量；
S5、进行盲源分离，利用独立成分分析FastICA算法，从每帧感兴趣区域ROI的R、G、B三基色通道观测混合信号中分离出独立源信号；
S6、利用分离出的独立源信号做快速傅里叶变换，根据皮肤反射光强度的周期变化推导出血液容积的周期变化，从而获取心率信息，选择独立源信号中具有最大功率谱幅值的独立源信号作为脉搏源信号，根据脉搏源信号幅值计算出心率值。


2.根据权利要求1所述的人脸视频心率检测的方法，其特征在于，步骤S2中的多任务卷积神经网络采用了多个级联的网络，其网络结构包含了P-Net、R-Net、O-Net。


3.根据权利要求1所述的人脸视频心率检测的方法，其特征在于，步骤S3中选取人脸视频感兴趣区域ROI包括以下步骤：
S31、进行人脸偏转角调整，左、右眼的像素点坐标分别为(x1，y1)，(x2，y2)，若发生左偏转，即y1>y2，则偏转角度公式如下所示：
α＝-[arctan((y1-y2)/(x2-x1))/π]
若发生右偏转，即y2>y1，则偏转角度公式如下所示：
α＝[arctan((y1-y2)/(x2-x1))/π]；
S32、获取偏转角度后，通过调整偏转角度使得左、右眼处于同一水平位置，左、右眼之间的距离为4d，选取人脸图像中左、右眼下方的0.5d处，长和宽分别是8d和3d的矩形区域为感兴趣区域。


4.根据权利要求1所述的人脸视频心率检测的方法，其特征在于，步骤S4中利用快速引导滤波算法提取场景的光照分量的具体步骤包括：
S401、利用快速引导滤波算法，根据引导图像和输入图像之间的局部线性关系，在滤波窗口内重新计算每一个像素值，提取出光照分量，其中，输入图像为p，引导图像为I，滤波输出图像为q，图像内的像素点为k，在以像素点k为中心的半径为r的滤波窗口ωk内存在线性变换关系为：



其中，ak和bk为线性变换系数，在滤波窗口ωk中为常数；qi为第i个滤波输出图像；Ii为第i个引导图像；
S402、利用滤波窗口ωk计算线性变换因子(ak，bk)的最优值，获取滤波输出图像q和输入图像p的最小差值；其中，滤波窗口ωk中所使用的代价函数的表达式为：



其中，E(ak,bk)为代价函数；ε为控制线性变换因子ak取...

【专利技术属性】
技术研发人员：谢巍，吴少文，魏金湖，周延，陈定权，许练濠，卢永辉，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44