【技术实现步骤摘要】
本专利技术涉及计算机，具体是涉及一种基于无源域适应的远程心率检测网络训练方法及设备。
技术介绍
1、基于视觉的远程光电体积描记法(rppg，remote photoplethysmography)是一种有效的、非接触式的生理指标检测技术，其中rppg信号的提取通常涉及到分析视频中人脸皮肤颜色的微小变化，而这些变化在rgb颜色空间中主要反映在绿色通道上，但是该项技术在应用时需要手动设置感兴趣区域和执行一些过滤操作，且容易被如光照变化等对肤色具有影响的因素所干扰。为此，有学者提出引入深度学习算法来克服视频中的非生理因素变化的影响，并且考虑到应对未知领域或遇到存在领域差异的不同数据时可能存在算法失效的问题，进一步提出结合领域适应技术和领域泛化技术以减少由非生理因素变化造成的领域差异，但是这两种技术都需要同时使用源域数据和目标域数据来训练同一个网络模型以实时感知源域与目标域之间的差距，这种要求在对源域数据暂时访问受限的情况下无法被满足，容易引发源域数据的隐私安全问题。
技术实现思路
1、本专利技术提供一种基于无源域适应的远程心率检测网络训练方法及设备，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
2、第一方面，提供一种基于无源域适应的远程心率检测网络训练方法，所述方法包括：
3、获取目标域数据集并进行预处理，所述目标域数据集包括未携带标签的多个目标人脸图像序列；
4、获取权重参数和第一远程心率检测网络，所述第一远程心率检
5、利用所述权重参数对所述第一远程心率检测网络进行初始化，再利用预处理后的目标域数据集对初始化后的第一远程心率检测网络进行训练。
6、进一步地，所述权重参数通过以下方式得到：
7、获取源域数据集并进行预处理，所述源域数据集包括携带标签的多个原始人脸图像序列，每个原始人脸图像序列携带的标签为真实bvp信号；
8、获取第二远程心率检测网络，其包括第四编码器和第二解码器，再利用预处理后的源域数据集对所述第二远程心率检测网络进行预训练，得到权重参数。
9、进一步地，所述权重参数包括所述第四编码器的权重和所述第二解码器的权重，所述利用所述权重参数对所述第一远程心率检测网络进行初始化包括：
10、将所述第四编码器的权重作为所述第一编码器、所述第二编码器和所述第三编码器的初始权重，这四个编码器的网络结构相同；
11、将所述第二解码器的权重作为所述第一解码器的初始权重，这两个解码器的网络结构相同。
12、进一步地，当所述预处理后的目标域数据集输入所述基本检测分支时，对于预处理后的每个目标人脸图像序列，利用所述第一编码器从所述预处理后的目标人脸图像序列中提取面部肤色连续变化特征以形成第一深层特征信息，利用所述第一解码器根据所述第一深层特征信息重构出第一预测rppg信号。
13、进一步地，当所述预处理后的目标域数据集输入所述时间检测分支时，对于预处理后的每个目标人脸图像序列，对所述预处理后的目标人脸图像序列进行频率降采样得到第一目标人脸图像序列，利用所述第二编码器从所述第一目标人脸图像序列中提取面部肤色连续变化特征以形成第二深层特征信息，利用所述第一解码器根据所述第二深层特征信息重构出初始预测rppg信号，对所述初始预测rppg信号进行频率升采样得到第二预测rppg信号。
14、进一步地，当所述预处理后的目标域数据集输入所述空间检测分支时，对于预处理后的每个目标人脸图像序列，对所述预处理后的目标人脸图像序列随机进行空间增广得到第二目标人脸图像序列，空间增广操作包括图像旋转、图像水平翻转和图像垂直翻转中的至少一种，利用所述第三编码器从所述第二目标人脸图像序列中提取面部肤色连续变化特征以形成第三深层特征信息，利用所述第一解码器根据所述第三深层特征信息重构出第三预测rppg信号。
15、进一步地，在所述初始化后的第一远程心率检测网络的训练过程中，利用时空一致性损失函数进行反向传播，所述时空一致性损失函数采用wasserstein距离来度量所述基本检测分支输出的所有第一预测rppg信号分别与所述时间检测分支输出的所有第二预测rppg信号和所述空间检测分支输出的所有第三预测rppg信号之间的分布差异性。
16、进一步地，所述时空一致性损失函数为：
17、
18、其中，为时空一致性损失函数，为时间一致性损失函数，为空间一致性损失函数，f为所述基本检测分支输出的所有第一预测rppg信号对应的所有第一预测心率功率谱密度，ft为所述时间检测分支输出的所有第二预测rppg信号对应的所有第二预测心率功率谱密度，fs为所述空间检测分支输出的所有第三预测rppg信号对应的所有第三预测心率功率谱密度，softmax表示归一化函数，wd表示两个概率分布之间的wasserstein距离。
19、进一步地，所述方法还包括：获取待测人脸图像序列并输入训练好的基本检测分支进行处理，得到最终预测rppg信号。
20、第二方面，提供一种计算机设备，包括存储器和处理器，所述存储器上存储计算机程序，所述处理器执行所述计算机程序以实现如第一方面所述的基于无源域适应的远程心率检测网络训练方法。
21、本专利技术至少具有以下有益效果：通过分阶段执行基于源域数据集的网络预训练任务和基于目标域数据集的网络适应任务，可以保护源域数据集的隐私安全；通过将第二远程心率检测网络在预训练之后得到的权重参数直接应用到第一远程心率检测网络进行初始化，可以在基于目标域数据集的网络适应任务中利用在源域学习到的知识对齐目标域下的信号特性，也充分利用数据在时空变换下的一致性，可以实现从源域迁移到目标域的优异性能，同时确保远程心率检测的准确可靠性。
本文档来自技高网...【技术保护点】
1.一种基于无源域适应的远程心率检测网络训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，所述权重参数通过以下方式得到：
3.根据权利要求2所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，所述权重参数包括所述第四编码器的权重和所述第二解码器的权重，所述利用所述权重参数对所述第一远程心率检测网络进行初始化包括：
4.根据权利要求1所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，当所述预处理后的目标域数据集输入所述基本检测分支时，对于预处理后的每个目标人脸图像序列，利用所述第一编码器从所述预处理后的目标人脸图像序列中提取面部肤色连续变化特征以形成第一深层特征信息，利用所述第一解码器根据所述第一深层特征信息重构出第一预测rPPG信号。
5.根据权利要求1所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，当所述预处理后的目标域数据集输入所述时间检测分支时，对于预处理后的每个目标人脸图像序列，对所述预处理后的目标人脸图像序列进行频率降采样得到第
6.根据权利要求1所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，当所述预处理后的目标域数据集输入所述空间检测分支时，对于预处理后的每个目标人脸图像序列，对所述预处理后的目标人脸图像序列随机进行空间增广得到第二目标人脸图像序列，空间增广操作包括图像旋转、图像水平翻转和图像垂直翻转中的至少一种，利用所述第三编码器从所述第二目标人脸图像序列中提取面部肤色连续变化特征以形成第三深层特征信息，利用所述第一解码器根据所述第三深层特征信息重构出第三预测rPPG信号。
7.根据权利要求1所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，在所述初始化后的第一远程心率检测网络的训练过程中，利用时空一致性损失函数进行反向传播，所述时空一致性损失函数采用Wasserstein距离来度量所述基本检测分支输出的所有第一预测rPPG信号分别与所述时间检测分支输出的所有第二预测rPPG信号和所述空间检测分支输出的所有第三预测rPPG信号之间的分布差异性。
8.根据权利要求7所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，所述时空一致性损失函数为：
9.根据权利要求1所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，所述方法还包括：获取待测人脸图像序列并输入训练好的基本检测分支进行处理，得到最终预测rPPG信号。
10.一种计算机设备，包括存储器和处理器，所述存储器上存储计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1至9任一项所述的基于无源域适应的远程心率检测网络训练方法。
...【技术特征摘要】
1.一种基于无源域适应的远程心率检测网络训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，所述权重参数通过以下方式得到：
3.根据权利要求2所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，所述权重参数包括所述第四编码器的权重和所述第二解码器的权重，所述利用所述权重参数对所述第一远程心率检测网络进行初始化包括：
4.根据权利要求1所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，当所述预处理后的目标域数据集输入所述基本检测分支时，对于预处理后的每个目标人脸图像序列，利用所述第一编码器从所述预处理后的目标人脸图像序列中提取面部肤色连续变化特征以形成第一深层特征信息，利用所述第一解码器根据所述第一深层特征信息重构出第一预测rppg信号。
5.根据权利要求1所述的基于无源域适应的远程心率检测网络训练方法，其特征在于，当所述预处理后的目标域数据集输入所述时间检测分支时，对于预处理后的每个目标人脸图像序列，对所述预处理后的目标人脸图像序列进行频率降采样得到第一目标人脸图像序列，利用所述第二编码器从所述第一目标人脸图像序列中提取面部肤色连续变化特征以形成第二深层特征信息，利用所述第一解码器根据所述第二深层特征信息重构出初始预测rppg信号，对所述初始预测rppg信号进行频率升采样得到第二预测rppg信号。
6.根据权利要求1所述的基于无源域适应的远程心率检测网络训练...
【专利技术属性】
技术研发人员：余梓彤，谢怡萍，杨静，郝超，解为成，沈琳琳，
申请(专利权)人：大湾区大学筹，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。