【技术实现步骤摘要】
本专利技术属于计算机视觉，尤其涉及一种基于可见光视频的多特征融合血氧估计方法。
技术介绍
1、随着神经网络技术在各个领域的发展，传统的血氧计算方法，如基于指夹式血氧仪的比率法和多项式拟合，已不再是唯一的选择。越来越多的研究者开始将原始的光电容积脉搏波（ppg）信号输入到卷积神经网络（cnn）或其他类型的神经网络中，进行训练和预测。它通过分析从组织反射的波长照明中获得的信号，与血液中的血氧饱和度（spo2）相关联。ppg技术的进步带来了远程光电容积脉搏波（remote ppg，即rppg），这是一种利用摄像头信息而不使用接触式传感器的非接触式方法，用于监测皮肤中血容量的变化以测量心率脉搏。这种方法的引入，为非接触式血氧检测的研究开辟了新的道路，提高了检测的准确性和可靠性。
2、在传统的血氧饱和度估计中，研究人员广泛应用比尔-朗伯定律（beer-lambertlaw）来阐释不同波长的光，尤其是红光和红外光，在穿透血液时吸光度的差异。如图1所示，血氧下降时red脉搏波振幅变大，ir脉搏波变小，两者之比与血氧值具有强相关性。这一现象基于血液中氧合血红蛋白（hbo2）与脱氧血红蛋白（hb）对这两种光波长的吸收系数存在显著差异。通过精确测量特定波长光的吸光度，可以反推出血氧饱和度（spo2）的值。这种方法的优点在于其高度的可解释性，因为其基于一个明确的物理定律，使得预测结果容易理解。此外，所需的设备和算法相对简单，便于操作和实现。然而，这种方法也存在一些局限性，比如对外部干扰较为敏感，运动伪影和环境光的变化都可能对测量结果的准确
3、最近几年，基于比尔朗伯原理的数理方法中，许多学者提出了一些检测氧饱和度的方法，例如一种通过多波段相机捕获的视频图像来检测氧饱和度的方法，他们通过蒙特卡罗模拟光在皮肤上的散射，选择适当的波段以模拟氧饱和度变化期间的脉冲波；例如一种创新的交流分量盲源分离方法，该方法不依赖于红色和蓝色通道的标准偏差，他们使用混合矩阵中保留的能量系数作为输入，以提高估计算法的准确性；例如一种基于反射模式偏振成像的ippg技术，他们利用cmos传感器偏振片在每个像素上实现了相位检测，spo2的估计基于被摄体指尖的反向散射光的相位信息；例如一种基于多元线性回归算法的spo2估计方法，该方法基于绿色和红色通道上的反射率，并需要通过校准过程获得回归模型的加权系数；又例如使用普通的rgb彩色相机，基于用白色led光源拍摄手掌获得的rgb视频信号，获取了三个视频脉冲波，通过三种类型的比率函数计算出交流和直流分量以及spo2。
4、在生理信号检测领域，基于数理模型的传统方法虽然具有高度的可解释性，但对信号干扰较为敏感。为了克服这一局限性，研究人员开始转向利用手掌或指尖的视频进行监测。然而，与面部视频相比，这些方法在便捷性上可能存在不足，因为它们可能需要受试者在特定位置放置手掌或指尖，从而限制了其在实际应用中的便利性。
5、在基于数据驱动的模型中的则通过学习的方式，解决了模型对于信号干扰敏感的这一痛点，例如一种创新的非接触式氧饱和度监测方法，该方法利用光电容积脉搏波（ppg），他们采用了欧拉视频放大法来增强由心动周期引起的皮肤颜色变化；例如采用视频处理算法放大像素强度，以检测氧饱和度，并进一步使用图像处理算法估计饱和度，但是，这种方法要求在特定采集条件下对每个受试者进行校准；例如一种基于机器学习的方法，用于在面部视频中估计spo2，该方法基于多个预训练的卷积神经网络（cnn）模型，从不同感兴趣区域（roi）的图像中提取特征，然后使用基于xgboost的回归模型进行估计；例如一种多模型深度学习策略，使用残差和坐标注意力网络（rca）进行特征提取，并结合颜色通道模型（ccm）和基于网络的模型（nbm）进行估计，并将输出分类为100个类集，对应于spo2的可能值；
6、又例如使用欧拉视频放大技术来增强面部皮肤像素强度的变化，并进行了包括广义加性模型（gam）和额外树回归器在内的机器学习回归研究。他们还探索了深度学习方法，如3d cnn，并使用红外热像仪采集图像，以在弱光条件下进行探索。
7、但是目前提出的这些模型都存在以下不足：
8、1、泛化能力上不足：在使得低血氧的预测效果并不显著。原因是数据集在低血氧的情况下的数据量比较少。
9、2、以往为了达到高精度的血氧估计，需要采集多样本的数据集，包括手指接触式的信号、手掌视频或者是控制打在脸上的光线等限制条件，这对于实际应用造成较大的障碍。
10、3、以往的模型对于低血氧的预测都是非常不准确的，所使用的数据集都偏向于使用平稳、正常的血氧数据，这不符合血氧检测的实际应用场景。
技术实现思路
1、本专利技术目的在于提供一种基于可见光视频的多特征融合血氧估计方法，以解决上述的技术问题。
2、为解决上述技术问题，本专利技术的一种基于可见光视频的多特征融合血氧估计方法的具体技术方案如下：
3、一种基于可见光视频的多特征融合血氧估计方法，包括如下步骤：
4、步骤1：rppg信号获取与预处理：通过监测人脸不同区域平均像素的数值变化来提取远程光电容积脉搏波rppg信号，并进行数据预处理，针对血氧相关的人脸视频数据进行增强；
5、步骤2：构建基于数理的血氧估计模型： 根据评估rppg信号的方法，选取了每个通道的6个rppg信号的特征，设计一个基于数理模型的方法去手动提取这部分的特征并用于血氧的检测过程中；
6、步骤3：构建基于数据驱动的血氧估计模型：从清理过的rppg信号中提取生理信号的特征信号，并利用他们来计算血氧；
7、步骤4：将基于数学原理的血氧浓度估算模型与基于数据驱动方法的血氧浓度估算模型的预测结果进行综合处理，输出双模型融合结果。
8、进一步的，所述步骤1包括如下具体步骤：
9、步骤1.1：rppg信号的获取：选定面部12个人脸区域作为感兴趣区域rois；
10、步骤1.2：数据预处理；
11、步骤1.3：针对血氧相关的人脸视频数据进行增强。
12、进一步的，所述步骤1.2包括如下具体步骤：
13、采用快速傅里叶变换fft配合带通滤波器的方法，设计了滤波器的截止频率范围为0.5至4hz，这一范围覆盖了人类心率的频谱及其谐波频率，
14、快速傅里叶滤波分为4步：
15、快速傅里叶变换：
16、 （1）
17、其中 x( t)表示在时域上的输入信号， fft表示快速傅里叶变换，表示在频域上的输入信号；
18、带通滤波器设置：
19、 （2）
20、表示带通滤波器的掩码设置，表示在频率之间的信号保留，其余范围的信号进行丢弃；
21、频域滤波：...
【技术保护点】
1.一种基于可见光视频的多特征融合血氧估计方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤1包括如下具体步骤：
3.根据权利要求2所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤1.2包括如下具体步骤：
4.根据权利要求2所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤1.3包括如下具体步骤：
5.根据权利要求1所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤2包括如下具体步骤：
6.根据权利要求1所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤3包括如下具体步骤：
7.根据权利要求6所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤3.1包括如下具体步骤：
8.根据权利要求6所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤3.2包括如下具体步骤：
9.根据权利要求6所述的基于可见光视频的多特征融合血氧估计方法，
10.根据权利要求1所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤4包括如下具体步骤：
...【技术特征摘要】
1.一种基于可见光视频的多特征融合血氧估计方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤1包括如下具体步骤：
3.根据权利要求2所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤1.2包括如下具体步骤：
4.根据权利要求2所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤1.3包括如下具体步骤：
5.根据权利要求1所述的基于可见光视频的多特征融合血氧估计方法，其特征在于，所述步骤2包括如下具体步骤：
6.根据权利...
【专利技术属性】
技术研发人员：徐晓刚，何源夏，周运梁，郑乃弋，冯子麒，徐冠雷，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。