【技术实现步骤摘要】
本专利技术属于非接触式心率检测领域，具体的说是一种基于时频谱转换和图像增强网络从人脸视频中提取瞬时心率值的方法。
技术介绍
1、心率是人体重要的生命指征，对疾病诊断、健康监护、情感计算等领域具有重要意义。心率检测方法通常分为接触式和非接触式，其中接触式方法依赖特定的传感器接触受试者的皮肤，长期监测可能造成个体的不适。基于视频的非接触式心率检测技术由于摄像头价格低廉、使用广泛、无需佩戴等优势逐渐成为热点。
2、现有方法为了提高心率检测的准确性，通常分为四类方法：信号分解法、盲源分离方法、基于模型的方法，以及伴随人工智能技术发展应运而生的基于深度学习的方法。其中前三种方法都是基于一定的算法或模型从原始数据中手动提取特征计算心率，缺乏一定的泛化性，而基于深度学习的方法由于其优秀的数据处理能力和自我学习能力等特点，逐渐成为本领域的主流方法。
3、现有的基于深度学习的方法大多分为两类，即端到端类型和特征解码器类型。前者直接建立从视频帧到血容量脉冲信号或心率值的映射，这类方法特别依赖神经网络的学习能力，且存在噪声干扰时容易造成训练负担。后者主要通过预处理等方式从视频帧中提取潜在特征，再通过解码器得到血容量脉冲信号或心率值。解码器的输入特征有多种获取方式，包括利用网络的强大学习能力挖掘数据的潜在特征，同时挖掘数据的时间、空间特征从而得到时空特征，利用传统色差模型方法得到初步去噪的血容量脉冲信号作为网络的输入。
4、以上方法通常是获得血容量脉冲信号或心率值，但所获取的心率值往往是一段时间内的平均心率值，缺乏瞬
技术实现思路
1、本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于时频谱转换和图像增强网络的视频瞬时心率检测方法，以期能从人脸视频中提取出瞬时心率值，并能提高瞬时心率检测的准确性，从而能推进非接触式心率检测方法在医疗等领域的应用。
2、本专利技术为达到上述专利技术目的，采用如下技术方案：
3、本专利技术一种基于时频谱转换和图像增强网络的视频瞬时心率检测方法的特点在于，是按如下步骤进行：
4、步骤1、从受试者视频图像的多个人脸区域中选取感兴趣子区域，并获取目标bvp序列集合x＝{x[1],x[2],...,x[q],...,x[q]}，x[q]表示第q个感兴趣子区域的目标bvp序列，且x[q]＝[x1[q],x2[q],...,xj[q],...,xj[q]]，其中，xj[q]表示第q个感兴趣子区域的目标bvp序列中第j个色差值；q＜m；令x的标签记为y；
5、步骤2、将目标bvp序列集合x转换为原始时频谱集合其中，表示第q个归一化后的原始时频谱；
6、将中所有归一化后的原始时频谱拼接成多通道时频谱其中，w表示多通道时频谱的宽度，h表示多通道时频谱的高度；
7、步骤3、建立图像增强网络包含：下采样模块、自注意力模块、上采样模块并进行训练，从而得到训练好的图像增强模型，用于对多通道时频谱进行特征提取，得到增强后的时频谱sout；
8、步骤4、提取瞬时心率值；
9、对sout按时间轴方向划分为l个片段b＝[b1,b2,...bl,...,bl]；其中，bl表示强时频谱sout中的第l个片段；对第l个片段bl的时间轴上所有时间点均提取出其频率轴方向上最大像素值对应的频率轴坐标从而得到频率值集合f＝{f[1],f[2],...,f[l],...f[l]}；其中，表示第l个片段中第τ个时间点，ft[l]表示第l个片段中第τ个时间点在频率轴方向上最大像素值对应的频率轴坐标，f[l]表示第l个片段的所有时间点频率轴方向最大像素值对应的频率轴坐标；
10、对f中的所有频率轴坐标均取平均值，得到均值向量其中，表示第l个片段bl中所有时间点在频率轴方向上最大像素值对应的频率轴坐标的平均值；对fmean进行单位变换后，得到l个心率值。
11、本专利技术所述的一种基于时频谱转换和图像增强网络的视频瞬时心率检测方法的特点也在于，所述步骤1是按如下步骤进行：
12、步骤1.1、利用人脸特征点检测方法从受试者的第1帧面部视频图像中识别第1帧人脸区域，并从第1帧人脸区域中选取m个感兴趣子区域，从而使用特征点追踪算法对其余各帧面部视频中的人脸区域进行识别和定位，并得到每帧面部视频图像的m个感兴趣子区域；
13、步骤1.2、计算第j帧面部视频图像中每个感兴趣子区域的像素均值，从而得到j帧面部视频图像中每个感兴趣子区域的像素均值，并组成每个感兴趣子区域的像素均值时间序列；令j帧面部视频图像中任意单个感兴趣子区域的像素均值时间序列包括：j帧面部视频图像中单个感兴趣子区域的红色通道的时间序列r＝[r1,r2,...,rj,...,rj]、j帧面部视频图像中单个感兴趣子区域的绿色通道的时间序列g＝[g1,g2,...,gj,...,gj]以及j帧面部视频图像中单个感兴趣子区域的蓝色通道的时间序列b＝[b1,b2,...,bj,...,bj]；其中，rj表示第j帧面部视频图像中单个感兴趣子区域的红色通道的像素均值，gj表示第j帧面部视频图像中单个感兴子趣区域的绿色通道的像素均值，bj表示第j帧面部视频图像中单个感兴趣子区域的蓝色通道的像素均值；j＝1,2,...,j；j表示面部视频图像的总帧数；
14、对j帧面部视频图像中单个感兴趣子区域的r、g、b进行色差变换，得到单个感兴趣子区域的目标bvp序列p＝[p1,p2,...,pj,...,pj]；其中，pj表示单个感兴趣子区域的第j个色差值；
15、步骤1.3、计算m个感兴趣子区域的目标bvp序列的信噪比指标并进行降序排序，从而选取前q个感兴趣子区域所对应的目标bvp序列记为集合x＝{x[1],x[2],…,x[q],…,x[q]}。
16、所述步骤2中的原始时频谱集合是按如下步骤获得：
17、步骤2.1、对筛选后的目标bvp序列集合x进行归一化带通滤波处理，得到归一化带通滤波后的目标bvp序列集合其中，表示第q个感兴趣子区域的归一化带通滤波后的目标bvp序列；
18、步骤2.2、对进行连续小波变换，得到在时域下的连续小波变换谱wt[q](a,b)；其中，a表示连续小波变换谱的尺度因子，b表示连续小波变换谱的时移因子；
19、步骤2.3、将wt[q](a,b)从时域空间转换为频域空间，得到的频域空间连续小波变换谱
20、步骤2.4、计算的相位偏导数，得到的瞬时频率ω[q](a,b)；
21、步骤2.5、将wt[q](a,b)从时间-尺度域转换为时间-频率域，得到时本文档来自技高网...
【技术保护点】
1.一种基于时频谱转换和图像增强网络的视频瞬时心率检测方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种基于时频谱转换和图像增强网络的视频瞬时心率检测方法，其特征在于，所述步骤1是按如下步骤进行：
3.根据权利要求2所述的一种基于时频谱转换和图像增强网络的视频瞬时心率检测方法，其特征在于，所述步骤2中的原始时频谱集合是按如下步骤获得：
4.根据权利要求3所述的一种基于时频谱转换和图像增强网络的视频瞬时心率检测方法，其特征在于，所述步骤3是按如下步骤进行：
5.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-4中任一所述视频瞬时心率检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
6.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-4中任一所述视频瞬时心率检测方法的步骤。
【技术特征摘要】
1.一种基于时频谱转换和图像增强网络的视频瞬时心率检测方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种基于时频谱转换和图像增强网络的视频瞬时心率检测方法，其特征在于，所述步骤1是按如下步骤进行：
3.根据权利要求2所述的一种基于时频谱转换和图像增强网络的视频瞬时心率检测方法，其特征在于，所述步骤2中的原始时频谱集合是按如下步骤获得：
4.根据权利要求3所述的一种基于时频谱转换和图像增强网...
【专利技术属性】
技术研发人员：成娟，伍晓伟，宋仁成，刘羽，李畅，陈勋，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。