【技术实现步骤摘要】
本专利技术涉及计算机图像处理，更具体地说，它涉及一种居家场景多维度气血状态评估方法及相关设备。
技术介绍
1、气血既是构成人体的最基本物质，也是维持人体生命活动的物质基础。气血状态是人体健康状态辨识中的重要指标之一。望诊是中医四诊中的首要诊断方法，包括面诊和舌诊。根据《中医诊断学》的指出，面部血脉丰富、皮肤薄嫩，因此体内气血盛衰等变化最容易通过面部色泽变化表现出来。同时，舌象也被视为直接反映脏腑气血变化的另一关键途径，为医生提供了深入了解患者气血状况的重要信息。
2、由于当前气血状态辨识结果较多通过医生望闻问切得出，其判别结果具有较大的主观性，且医院等地受环境限制，无法持续动态的监测患者气血状态。因此，基于居家健康监测数据，在家庭场景下对患者进行持续动态的气血状态辨识具有重要意义。
3、中国专利技术专利（cn117423041b）公开了一种基于计算机视觉的面部视频判别中医气血系统，该系统包括视频采集模块、视频预处理模块、特征提取模块、气血辨识模块和模型升级模块；视频采集模块采集受试者面部视频；视频预处理模块将视频裁剪为视频帧；特征提取模块基于transformer构建气血特征提取模型，使用多头注意力机制、3d卷积等深度神经网络提取所述视频帧的气血特征；气血辨识模块获取最终辨识结果，并通过多任务学习提升模型表现；模型升级模块通过提高模型对难以分类样本的关注度，实现模型闭环优化。但是该申请的技术方案基于面部视频，一方面辨识算法特征提取维度单一，识别准确率上限较低，另一方面其对视频拍摄环境和设备要求较高，难以直
技术实现思路
1、针对现有技术存在的不足，本专利技术的目的在于提供一种居家场景多维度气血状态评估方法及相关设备，以克服现有的技术中存在的患者采集数据受环境因素影响较大的缺点。
2、本专利技术的上述技术目的是通过以下技术方案得以实现的：一种居家场景多维度气血状态评估方法，包括：
3、对预处理后的面部图像进行特征提取生成面色特征矩阵，对预处理后的舌象图像进行特征提取生成舌象特征矩阵，对预处理后的面部视频进行特征提取生成rppg特征矩阵；基于所述面色特征矩阵生成面色权重矩阵；基于所述舌象特征矩阵生成舌象权重矩阵；基于所述rppg特征矩阵生成rppg权重矩阵；将所述面色权重矩阵、所述舌象权重矩阵以及所述rppg权重矩阵进行特征融合得到融合权重矩阵，利用所述融合权重矩阵生成融合图结构；
4、将所述融合图结构输入到融合模型的双线性聚合器中进行双线性聚合处理，生成包含各个特征矩阵的关系的第一图结构表示；将所述融合图结构输入到融合模型的图注意力网络中进行编码处理，生成包含各个特征矩阵之间的加权和聚合信息的第二图结构表示；将所述第一图结构表示和所述第二图结构表示输入到融合模型的自适应模块中进行融合操作，生成各个气血状态的概率值。
5、在一个实施例中，所述对预处理后的面部图像进行特征提取生成面色特征矩阵，对预处理后的舌象图像进行特征提取生成舌象特征矩阵，对预处理后的面部视频进行特征提取生成rppg特征矩阵，具体包括：
6、对采集到的面部视频进行预处理生成仅包含人脸的增强视频，对所述增强视频进行特征提取生成rppg特征矩阵；
7、对采集到的面部图像进行预处理生成面部增强图像，对所述面部增强图像进行特征提取生成面色特征矩阵；
8、对采集到的舌象图像进行预处理生成舌象增强图像，对所述舌象增强图像进行特征提取生成舌象特征矩阵。
9、在一个实施例中，所述对采集到的面部视频进行预处理生成仅包含人脸区域的增强视频，具体包括：
10、对所述面部视频进行分帧处理，得到若干帧图像；
11、在将每一个所述帧图像的颜色空间转换到rgb格式后，采用mtcnn模型检测每一个帧图像中的面部区域和非面部区域；
12、将每一个帧图像中的非面部区域转换为黑色，生成增强帧图像；
13、将所有的增强帧图像转换为仅包含人脸的增强视频。
14、在一个实施例中，所述将每一个帧图像中的非面部区域转换为黑色，生成增强帧图像；将所有的增强帧图像转换为仅包含人脸的增强视频，具体包括：通过设定阈值为0.8，将每一个帧图像中的非面部区域转变为黑色，生成增强帧图像；利用opencv的视频编码器将所有的增强帧图像转换为仅包含人脸的增强视频。
15、在一个实施例中，所述对所述增强视频进行特征提取生成rppg特征矩阵，具体包括：
16、将所述增强视频编码为特征张量；
17、将所述特征张量分割为八个局部区域；分别从八个所述局部区域提取rppg信号；
18、对八个所述rppg信号进行时域分析和频域分析后，生成rppg特征矩阵。
19、在一个实施例中，所述对采集到的面部图像进行预处理生成面部增强图像，具体包括：
20、将所述面部图像的尺寸调整为预定尺寸；
21、对调整尺寸后的面部图像进行降噪处理和校正处理得到面部降噪图像；其中所述降噪处理用于去除面部图像的高频噪声，所述校正处理用于消除光照差异导致的数据噪声；
22、对面部降噪图像进行人脸检测，根据检测结果对面部降噪图像进行裁切得到面部增强图像。
23、在一个实施例中，所述对所述面部增强图像进行特征提取生成面色特征矩阵，具体包括：
24、提取所述面部增强图像中的特征点，基于所述特征点将所述面部增强图像划分为若干面部感兴趣区域；所述面部感兴趣区域包括：庭区域、阙区域、颧左区域、颧右区域、明堂区域、颊左区域、颊右区域以及颏区域；
25、分别提取各个面部感兴趣区域的颜色特征，构建面色特征矩阵。
26、在一个实施例中，所述对采集到的舌象图像进行预处理生成舌象增强图像，具体包括：
27、将所述舌象图像的尺寸调整为预定尺寸；
28、对调整尺寸后的舌象图像进行中值滤波生成舌象降噪图像；
29、对所述舌象降噪图像的像素值进行归一化处理，生成舌象增强图像。
30、在一个实施例中，所述对所述舌象增强图像进行特征提取生成舌象特征矩阵，具体包括：
31、对所述舌象增强图像进行目标识别，基于目标识别的输出结果对舌象增强图像进行裁切；
32、基于裁切后的舌象增强图像，分别提取舌色特征、苔色特征、胖瘦舌特征、齿痕舌特征以及裂纹舌特征，并构建舌象特征向量。
33、在一个实施例中，所述基于所述面色特征矩阵生成面色权重矩阵，具体包括：使用高斯函数分别计算面色特征矩阵中任意两个第一节点之间的第一欧几里得距离，利用所述第一欧几里得距离生成面色权重矩阵；
34、所述基于所述舌象特征矩阵生成舌象权重矩阵，具体包括：使用高斯函数分别计算舌象特征矩阵中任意两个第二节点之间的第二欧几里得距离，利用所述第二欧几里得距离生成舌象权重矩阵；
35、所述基于所述rppg特征矩阵本文档来自技高网...
【技术保护点】
1.一种居家场景多维度气血状态评估方法，其特征在于，包括：
2.根据权利要求1所述的一种居家场景多维度气血状态评估方法，其特征在于，所述对预处理后的面部图像进行特征提取生成面色特征矩阵，对预处理后的舌象图像进行特征提取生成舌象特征矩阵，对预处理后的面部视频的进行特征提取生成rPPG特征矩阵，具体包括：
3.根据权利要求1所述的一种居家场景多维度气血状态评估方法，其特征在于，所述将所述融合图结构输入到融合模型的双线性聚合器中进行双线性聚合处理，生成包含各个特征矩阵的关系的第一图结构表示，具体包括，采用如下公式生成第一图结构表示：
4.根据权利要求1所述的一种居家场景多维度气血状态评估方法，其特征在于，所述将所述融合图结构输入到融合模型的图注意力网络中进行编码处理，生成包含各个特征矩阵之间的加权和聚合信息的第二图结构表示，具体包括：
5.根据权利要求4所述的一种居家场景多维度气血状态评估方法，其特征在于，所述对所述融合图结构进行卷积，具体包括：采用如下公式对所述融合图结构进行卷积：
6.根据权利要求5所述的一种居家场景多维度
7.根据权利要求1所述的一种居家场景多维度气血状态评估方法，其特征在于，将所述第一图结构表示和所述第二图结构表示输入到融合模型的自适应模块中进行融合操作，生成各个气血状态的概率值，具体包括：
8.一种居家场景多维度气血状态评估装置，其特征在于，包括：
9.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7中任意一项所述的居家场景多维度气血状态评估方法。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的居家场景多维度气血状态评估方法。
...【技术特征摘要】
1.一种居家场景多维度气血状态评估方法，其特征在于，包括：
2.根据权利要求1所述的一种居家场景多维度气血状态评估方法，其特征在于，所述对预处理后的面部图像进行特征提取生成面色特征矩阵，对预处理后的舌象图像进行特征提取生成舌象特征矩阵，对预处理后的面部视频的进行特征提取生成rppg特征矩阵，具体包括：
3.根据权利要求1所述的一种居家场景多维度气血状态评估方法，其特征在于，所述将所述融合图结构输入到融合模型的双线性聚合器中进行双线性聚合处理，生成包含各个特征矩阵的关系的第一图结构表示，具体包括，采用如下公式生成第一图结构表示：
4.根据权利要求1所述的一种居家场景多维度气血状态评估方法，其特征在于，所述将所述融合图结构输入到融合模型的图注意力网络中进行编码处理，生成包含各个特征矩阵之间的加权和聚合信息的第二图结构表示，具体包括：
5.根据权利要求4所述的一种居家场景多维度气血状态评估方法，其特征在于，所述对所述融合图结构进行卷积，...
【专利技术属性】
技术研发人员：温川飙，朱红霞，杨涛，许雅馨，李子奇，屈旭，
申请(专利权)人：成都中医药大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。