【技术实现步骤摘要】
本专利技术属于多模态数据融合，涉及一种基于多模态数据融合的摔倒检测方法及系统。
技术介绍
1、随着全球人口老龄化问题的加剧，老年人的健康和安全问题越来越受到关注。由于身体机能的衰退，老年人在日常活动中容易摔倒，这不仅会导致身体伤害，甚至可能危及生命。因此，如何有效监测老年人的活动状态，及时对摔倒事件进行检测和报警，成为一个亟待解决的技术难题。目前，市场上主要包括基于姿态传感器的摔倒检测方法和基于计算机视觉的摔倒检测方法。
2、基于姿态传感器的方法通过在身体的某些部位佩戴姿态传感器，实时监测老年人的身体姿态。当传感器检测到异常的加速度或姿态变化时，会判断是否发生摔倒并发出警报。这种方法的优点在于实时性强、易于部署，但由于采集到的数据单一，日常活动中的突然加速或姿态变化例如弯腰捡东西或突然转身，会被误认为是摔倒。另外，由于传感器灵敏度不足或老年人摔倒时动作较慢，可能产生漏报，导致未能检测到摔倒事件。因此，基于姿态传感器的摔倒检测方法容易产生误报和漏报。
3、基于计算机视觉的方法利用摄像头捕捉视频数据，通过深度学习算法分析老年人的活动轨迹和姿态变化，识别摔倒事件。这种方法的优势在于无需用户佩戴设备，可以覆盖较大的监控范围。然而，计算机视觉方法也面临显著的挑战。摄像头的部署成本较高，覆盖范围有限。摄像头监控可能引起隐私保护方面的担忧，特别是在家庭、医院等公共场所。此外，视频分析对光线条件要求较高，环境光线变化可能会影响检测的准确性。视频数据处理需要强大的计算能力，这在实时监控和分析中可能成为瓶颈，影响系统的实时性
4、多模态数据融合技术是通过综合处理和分析来自不同模态(如视觉、声音、加速度等)的数据，利用每种数据源的优势互补，提高检测的准确性和鲁棒性，以获得更全面的检测结果。
5、然而，现有的多模态数据融合技术在捕捉特征间复杂关系方面存在不足，影响最终检测的准确性。
技术实现思路
1、为解决以上现有技术问题，本专利技术采用一种基于多模态数据融合的摔倒检测方法，包括：采集多模态数据，将多模态数据输入训练好的摔倒检测模型，得到检测结果；
2、摔倒检测模型的训练过程包括：
3、s1、采集多模态数据，并根据多模态数据提取多模态特征；
4、s2、对多模态特征进行初步特征融合，得到初步融合特征；
5、s3、根据初步融合特征计算加权置信shapley值，根据加权置信shapley值对初步融合特征进行加权融合，得到加权融合特征；
6、s4、利用transformer模型对加权融合特征进行处理，得到深度融合特征；
7、s5、根据深度融合特征得到分类结果；
8、s6、根据分类结果、加权后的初步融合特征以及深度融合特征计算损失函数值，根据损失函数值更新模型参数，当损失函数值最小时，完成模型训练。
9、多模态数据包括：音频数据和加速度数据；提取多模态特征包括：利用wav2vec2.0模型根据音频数据提取音频特征，利用lstm模型根据加速度数据提取加速度特征。
10、对多模态特征进行初步特征融合包括：通过线性变换和自适应归一化的方法将多模态特征对齐到同一特征空间，将对齐后的多模态特征进行初步特征融合，得到初步融合特征。
11、根据初步融合特征计算加权置信shapley值包括：
12、计算初步融合特征中的每个模态特征的证据置信函数，根据证据置信函数和初步融合特征计算每个模态特征的置信shapley值，计算每个模态特征的置信shapley值之间的散度，根据置信shapley值之间的散度计算shapley相似度矩阵，根据shapley相似度矩阵计算置信shapley可靠度，根据置信shapley可靠度计算加权置信shapley值，根据加权置信shapley值对初步融合特征进行加权处理，得到加权融合特征。
13、计算每个模态特征的证据置信函数包括：
14、
15、其中，i为初步融合特征中的模态特征的索引，mi(f)为基本概率分配，表示模态特征i对子集f的支持度，e为证据置信函数的输入集合，f为集合e的子集，beli(e)为模态特征i的证据置信函数。
16、计算每个模态特征的置信shapley值xi包括：
17、
18、其中，m为所有模态特征的数量，γk为一个组合系数，i表示模态特征的索引，s表示不包含模态特征i的子集，k表示子集s的大小，tsi为模态特征i的集合，ts表示所有模态特征的集合，beli()为模态特征i的证据置信函数。
19、计算置信shapley可靠度reli包括：
20、
21、其中，relt为所有模态特征的总可靠度，m为所有模态特征的数量，i、j为模态特征的索引，η(xi,xj)为shapley相似度矩阵，xi为模态特征i的置信shapley值。
22、计算加权置信shapley值包括：根据置信shapley可靠度reli计算权重向量wi，根据权重向量wi对模态特征的置信shapley值进行加权结合，得到加权置信shapley值
23、损失函数为：
24、l＝lce+λlconsistency
25、其中，lce为分类损失，lconsistency为加权融合特征和深度融合特征的一致性损失，λ为调节参数。
26、一种基于摔倒检测方法的系统，包括：轻量化特征提取模块、特征对齐与自适应融合模块、协同transformer模块以及单任务优化模块；所述轻量化特征提取模块用于从采集的多模态数据中提取多模态特征；所述特征对齐与自适应融合模块用于对提取的多模态特征进行对齐后融合以生成初步融合特征；所述协同transformer模块用于对初步融合特征进行进一步融合以生成深度融合特征；所述单任务优化模块用于对深度融合特征进行分类以生成分类结果。
27、有益效果：
28、1、本专利技术利用wav2vec 2.0和lstm模型分别提取音频和加速度特征，能够有效捕捉音频数据中的细节信息和加速度数据中的动态变化特征，为后续的特征融合提供丰富的信息；2、本专利技术在计算shapley值时通过引入置信度和可靠度计算，使得融合过程能够更好地处理不确定性和冲突信息，提高了结果的稳健性；3、本专利技术在计算shapley值时引入js散度和相似度矩阵，能够更加精确地处理特征之间的冗余信息，减少其负面影响，从而提高融合结果的可靠性和准确性；4、本专利技术通过结合分类损失和一致性损失设计了一个多模态融合分类任务的损失函数，提高了模型的分类准确性。；5、本专利技术通过transformer模型的注意力机制和交叉注意力机制有效地捕捉两种模态之间的相互关系，从而得到更加准确的融合结果。
本文档来自技高网...【技术保护点】
1.一种基于多模态数据融合的摔倒检测方法，其特征在于，包括：采集多模态数据，将多模态数据输入训练好的摔倒检测模型，得到检测结果；
2.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，多模态数据包括：音频数据和加速度数据；提取多模态特征包括：利用wav2vec 2.0模型根据音频数据提取音频特征，利用LSTM模型根据加速度数据提取加速度特征。
3.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，对多模态特征进行初步特征融合包括：通过线性变换和自适应归一化的方法将多模态特征对齐到同一特征空间，将对齐后的多模态特征进行初步特征融合，得到初步融合特征。
4.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，根据初步融合特征计算加权置信shapley值包括：
5.根据权利要求4所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，计算每个模态特征的证据置信函数包括：
6.根据权利要求4所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，计算每个模态特征的置信Sh
7.根据权利要求4所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，计算置信shapley可靠度Reli包括：
8.根据权利要求4所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，计算加权置信shapley值包括：根据置信shapley可靠度Reli计算权重向量wi，根据权重向量wi对模态特征的置信Shapley值进行加权结合，得到加权置信shapley值
9.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，损失函数为：
10.一种基于权利要求1～9所述的摔倒检测方法的系统，其特征在于，包括：轻量化特征提取模块、特征对齐与自适应融合模块、协同Transformer模块以及单任务优化模块；所述轻量化特征提取模块用于从采集的多模态数据中提取多模态特征；所述特征对齐与自适应融合模块用于对提取的多模态特征进行对齐后融合以生成初步融合特征；所述协同Transformer模块用于对初步融合特征进行进一步融合以生成深度融合特征；所述单任务优化模块用于对深度融合特征进行分类以生成分类结果。
...【技术特征摘要】
1.一种基于多模态数据融合的摔倒检测方法，其特征在于，包括：采集多模态数据，将多模态数据输入训练好的摔倒检测模型，得到检测结果；
2.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，多模态数据包括：音频数据和加速度数据；提取多模态特征包括：利用wav2vec 2.0模型根据音频数据提取音频特征，利用lstm模型根据加速度数据提取加速度特征。
3.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，对多模态特征进行初步特征融合包括：通过线性变换和自适应归一化的方法将多模态特征对齐到同一特征空间，将对齐后的多模态特征进行初步特征融合，得到初步融合特征。
4.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，根据初步融合特征计算加权置信shapley值包括：
5.根据权利要求4所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，计算每个模态特征的证据置信函数包括：
6.根据权利要求4所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，计算每个模态特征的置信sh...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。