【技术实现步骤摘要】
本专利技术属于计算机深度学习，具体涉及一种多部位rppg融合生理信号监测方法、装置和存储介质。
技术介绍
1、远程光电容积描记技术（rppg）通过监测皮肤反射光的微小波动，能够准确捕捉血液体积变化，从而提供心率、呼吸率和血氧饱和度等生理指标。但传统的方法通常是对患者的面部进行rppg信号提取，这很容易受到患者面部表情、头部运动及光照条件的影响，因此具有局限性。现有的rppg技术存在以下缺陷：
2、1、依赖面部信号：当患者进入如ct等医疗设备后，患者的头部和上半身被覆盖，由于传统的rppg技术依赖于面部信号，因此无法在此类场景中正常工作。
3、2、光线变化影响：医疗设备中的光照环境复杂，由于传统rppg技术在强光或弱光条件下容易出现噪声，因此影响rppg信号的准确性。
4、3、单部位监测不足：传统rppg技术依赖单一部位（如面部）的rppg信号提取，无法在多个部位上同时获取生理信号，这也限制了对整体生理状态的全面监控。
技术实现思路
1、为了解决现有技术存在的问题，本专利技术提供了一种多部位rppg融合生理信号监测方法、装置和存储介质。
2、为解决上述技术问题，实现上述技术效果，本专利技术通过以下技术方案实现：
3、一种多部位rppg融合生理信号监测方法，包括：
4、步骤1）采集当前患者的多部位皮肤视频；
5、步骤2）对采集到的多部位皮肤视频进行预处理，以消除环境噪声和干扰；
6、步骤3）
7、步骤4）将经预处理的多部位皮肤视频以及编辑好的生理部位提示信息作为输入数据，同时送入基于改进的超卷积神经网络并采用异步蒸馏技术训练而成的多部位rppg融合生理信号提取模型进行处理；
8、所述多部位rppg融合生理信号提取模型通过输入的生理部位提示信息，调整对不同部位皮肤视频的注意力权重，动态优化特定区域的特征提取能力，提取每个部位皮肤视频空间的rppg脉搏波形特征，并结合时间序列分析，确保rppg脉搏波形特征的时空完整性和稳定性，最终对各部位提取到的rppg脉搏波形特征进行加权融合，生成综合的rppg波形信号；
9、步骤5）对提取到的综合的rppg脉搏波形信号进行后处理，再通过频域分析方法（如快速傅里叶变换fft）计算包括心率、呼吸率在内的生理信号数值，并输出包含这些生理数据的综合报告。
10、进一步的，所述多部位皮肤视频是通过包括近红外摄像头或高帧率rgb摄像头在内的摄像设备采集患者多个不同部位（如四肢或其他皮肤区域）所获得的皮肤视频，所述多部位皮肤视频能够反应患者多个不同部位皮肤反射光线的细微变化，以便捕捉血流信息。
11、进一步的，所述预处理着重针对多部位皮肤视频中皮肤区域的分割与增强处理，以确保后续rppg脉搏波形特征提取的稳定性和准确性。
12、皮肤区域分割处理是提取包括面部和四肢在内的mask。
13、皮肤区域增强处理是通过利用图像处理技术，对多部位皮肤视频进行滤波和去伪影处理，以提高多部位皮肤视频的信号质量；包括采用带通滤波器，去除高频噪声和低频噪声，保留与脉搏相关的频率范围；或采用平滑滤波和伪影移除技术，消除运动伪影（motionartifacts），以提高信号的可靠性。
14、进一步的，所述生理部位提示信息，为采用独热编码对用户输入的生理部位提示词进行编辑而成的生理部位编码，或为由clip模型将用户输入的生理部位提示词转化为多部位视觉特征各自对应的向量；
15、所述生理部位提示词，为用户根据采集的多部位皮肤视频中不同身体部位的特征，所手动输入的带有部位关键词的提示文字（如脸部、左臂、右臂、左手、右手、左腿、右腿、左脚、右脚等）；
16、每个所述生理部位编码或所述向量分别对应一个单独或联合的生理部位，用于指示多部位皮肤视频信号的来源部位，并对这些部位的注意力加权进行引导。
17、进一步的，所述多部位rppg融合生理信号提取模型的架构包括输入层、特征提取模块、生理部位提示模块、特征加权模块和密集层。
18、所述输入层，负责接收采集到的多部位皮肤视频，并进行初步标准化处理，所述多部位皮肤视频是利用摄像设备对患者的多个不同部位进行拍摄而获取到的皮肤视频；同时负责接用户输入的生理部位提示词。
19、所述特征提取模块由多层卷积层、超卷积模块、时间平移模块和动态注意力层构成，负责从多部位皮肤视频中提取各个部位的rppg脉搏波形特征，并加以融合加权后得到综合的rppg波形信号，用于后续的生理信号分析。
20、所述多层卷积层（conv layer），为模型的核心，负责从多部位皮肤视频中提取空间特征，所述空间特征反应皮肤反射光线的局部变化；每一层卷积层通过多个卷积核，扫描多部位皮肤视频以提取包括边缘、纹理在内的低级特征；通过多层卷积的叠加，使得模型能够逐渐捕捉多部位皮肤视频中包括脉搏波形中的特征变化在内高级特征；
21、所述超卷积模块（hyper-conv module），负责根据多部位皮肤视频的身体部位来源，动态调整卷积核的大小和感受野，以提升模型在特征提取过程中对多部位皮肤视频细节的捕捉能力，确保模型能够高效提取每个部位皮肤视频的独特信号特征。
22、所述时间平移模块（tsm），负责将多部位皮肤视频的时间序列注入所述多层卷积层，使模型能够捕捉多部位皮肤视频中的时间特征，用于捕捉多部位皮肤视频的动态波动，实现对空间特征进行时间序列分析，从而获得稳定且准确的时空特征，即rppg脉搏波形特征；引入时间序列，确保模型对多部位皮肤视频的时间依赖特性有更好的处理能力，能使模型能够更好地捕捉脉搏波形在不同时间点的变化规律。
23、所述动态注意力层（dynamic attention layer），负责根据多部位皮肤视频的特征，自动调整模型对多部位皮肤视频中不同区域的关注度，从而增强模型对高质量信号区域的关注，并降低噪声较大区域的权重。
24、所述生理部位提示模块（bioregion prompt module），负责通过clip模型将用户输入的生理部位提示词（如左臂、右臂、左手、右手、左腿、右腿、左脚、右脚等）转换为与多个部位视觉特征相匹配的向量，或采用独热编码将用户输入的生理部位提示词编辑成生理部位编码，并将所述向量或所述生理部位编码作为输入传递给所述超卷积模块，用于给所述超卷积模块识别所输入的多部位皮肤视频的身体部位来源提供依据，帮助所述超卷积模块动态调整卷积核大小和感受野，从而增强模型对特定身体部位的关注。
25、所述特征加权模块，负责通过加权gate层根据加权机制对由所述特征提取模块提取到的各个部位的rppg脉搏波形特征进行融合与加权，以确保模型能够有效融合多部位的rppg脉搏波形特征，并能根据rppg脉搏波形特征的本文档来自技高网...
【技术保护点】
1.一种多部位rPPG融合生理信号监测方法，其特征在于，包括：
2.根据权利要求1所述的多部位rPPG融合生理信号监测方法，其特征在于，所述多部位皮肤视频是通过包括近红外摄像头或高帧率RGB摄像头在内的摄像设备采集患者多个不同部位所获得的皮肤视频，所述多部位皮肤视频能够反应患者多个不同部位皮肤反射光线的细微变化，以便捕捉血流信息。
3.根据权利要求1所述的多部位rPPG融合生理信号监测方法，其特征在于，所述生理部位提示信息，为采用独热编码对用户输入的生理部位提示词进行编辑而成的生理部位编码，或为由CLIP模型将用户输入的生理部位提示词转化为多部位视觉特征各自对应的向量；
4.根据权利要求1所述的多部位rPPG融合生理信号监测方法，其特征在于，所述多部位rPPG融合生理信号提取模型的架构包括输入层、特征提取模块、生理部位提示模块、特征加权模块和密集层；
5.根据权利要求1所述的多部位rPPG融合生理信号监测方法，其特征在于，所述多部位rPPG融合生理信号提取模型的训练方法为：
6.根据权利要求5所述的多部位rPPG融合生理
7.根据权利要求5所述的多部位rPPG融合生理信号监测方法，其特征在于，所述损失函数包括平均绝对误差、均方根误差和信噪比；其中，
8.根据权利要求1所述的多部位rPPG融合生理信号监测方法，其特征在于，采用基于光照变化的自适应算法，对综合的rPPG脉搏波形信号进行后处理，以校正因光照强度变化造成的信号失真；具体为，根据提取的亮度值，在实部和虚部分别进行交叉注意力，最后逆向快速傅里叶变换转为亮度适应的rPPG波形信号输出。
9.一种计算机装置，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任意一项所述的多部位rPPG融合生理信号监测方法对应的操作。
10.一种计算机存储介质，其特征在于，所述计算机可读存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行如权利要求1-8中任意一项所述的多部位rPPG融合生理信号监测方法对应的操作。
...【技术特征摘要】
1.一种多部位rppg融合生理信号监测方法，其特征在于，包括：
2.根据权利要求1所述的多部位rppg融合生理信号监测方法，其特征在于，所述多部位皮肤视频是通过包括近红外摄像头或高帧率rgb摄像头在内的摄像设备采集患者多个不同部位所获得的皮肤视频，所述多部位皮肤视频能够反应患者多个不同部位皮肤反射光线的细微变化，以便捕捉血流信息。
3.根据权利要求1所述的多部位rppg融合生理信号监测方法，其特征在于，所述生理部位提示信息，为采用独热编码对用户输入的生理部位提示词进行编辑而成的生理部位编码，或为由clip模型将用户输入的生理部位提示词转化为多部位视觉特征各自对应的向量；
4.根据权利要求1所述的多部位rppg融合生理信号监测方法，其特征在于，所述多部位rppg融合生理信号提取模型的架构包括输入层、特征提取模块、生理部位提示模块、特征加权模块和密集层；
5.根据权利要求1所述的多部位rppg融合生理信号监测方法，其特征在于，所述多部位rppg融合生理信号提取模型的训练方法为：
6.根据权利要求5所述的多部位rppg融合生理信号监测方法，其特征在于，所述异步蒸馏技术通过解耦不同部位信息的优化过程，动态调整各部位信号的学习权重，使得每个部位的信号特征都能高效提取；各部位的信号重要性被视为一致平等，模型根据生理部位提示信息提示的部位调整优化过程，确保所有部位的信号特征均得到充分学习，同时为多部位信号的独立预测与融合提供支持；面部信号由于其反射特性强且数据量较多，在模型训练中提供了更多指导，但由于面部信号在ct设备场景中被遮挡...
【专利技术属性】
技术研发人员：孙悦，陈正轩，檀韬，林灿堂，严肇基，
申请(专利权)人：澳门理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。