一种基于深度学习的六步洗手评估方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的六步洗手评估方法及装置，所述方法包括：对洗手视频进行帧分解以及光流提取后进行特征编码得到特征图；将经过特征编码的特征图送入第一预测网络得到第一预测结果；将第一预测结果输入多个级联的第二预测网络得到洗手步骤分割结果；将获得的洗手步骤分割结果与原始特征结合得到属于每一步骤的特征，将每一步骤的特征送入其对应的关键动作打分器中进行打分；得到每一步骤的分数后，将每一步骤的分数相加得到总得分，总得分与预设的标准得分进行比较得出评估结果；本发明专利技术的优点在于：评估结果较为准确。评估结果较为准确。评估结果较为准确。

【技术实现步骤摘要】
一种基于深度学习的六步洗手评估方法及装置


[0001]本专利技术涉及图像识别领域，更具体涉及一种基于深度学习的六步洗手评估方法及装置。

技术介绍

[0002]2005年，世界卫生组织将10月15日定为“世界洗手日”。但遗憾的是，生活中能洗好手的人并不多，相当一部分人并没有养成良好的洗手习惯。传染性病毒患者喷出的飞沫不仅会扩散到空气中还会粘在手上，存活很长时间。如果他们再次用手接触其他人或其他东西，他们将有很大的可能性感染其他人。所以手是这些病毒传播疾病的重要媒介。研究表明，科学洗手可以减少20％的患病风险。因此，对洗手过程有一个正确的评估是非常重要的。通过评估，医务人员可以纠正自己的洗手行为，以尽可能降低疾病传播的风险。
[0003]目前的六步洗手法评估方法多是使用额外的传感器来对六步洗手法的准确性进行评估，这导致了额外的成本。近年来，评估行动质量的动作评估引起了广泛关注。它在现实世界的许多领域都有重要的应用，比如体育和医疗。以往的动作评估模型往往直接对一个视频进行评估，计算出一个分数，例如中国专利公开号CN112906453A，公开的智能识别并实时反馈的洗手监测系统。然而，这些方法会忽略长动作中的许多细节，而长动作通常涉及几个短步骤，因此降低了长动作评估的性能。世界卫生组织(世卫组织)规定的六步洗手法是一个标准的长行动，包括六个步骤。六步洗手法评估任务中有两个主要问题。首先，每个视频包含六个步骤中的一些或全部，因此现有的动作评估模型无法知道哪些帧属于哪个步骤，这给准确评估整个视频带来了很大的挑战。第二，在每个步骤中，有几个关键的动作来决定质量，因此，并不是所有的行动对六步洗手法评估都是有用的，无用的动作容易对评估结果造成干扰，导致评估不够准确。

技术实现思路

[0004]本专利技术所要解决的技术问题在于现有技术六步洗手评估的方法准确性不高的问题。
[0005]本专利技术通过以下技术手段实现解决上述技术问题的：一种基于深度学习的六步洗手评估方法，所述方法包括：
[0006]步骤一：对洗手视频进行帧分解以及光流提取后进行特征编码得到特征图；
[0007]步骤二：将经过特征编码的特征图送入第一预测网络得到第一预测结果，第一阶段的预测网络包括顺次连接的一个降维卷积层，一个空洞残差层，以及一个预测卷积层；
[0008]步骤三：将第一预测结果输入多个级联的第二预测网络得到更加准确的洗手步骤分割结果，所述第二预测网络相比第一预测网络，在其降维卷积层之前加入了线性Transformer；
[0009]步骤四：将获得的洗手步骤分割结果与原始特征结合得到属于每一步骤的特征，将每一步骤的特征送入其对应的关键动作打分器中进行打分；
[0010]步骤五：得到每一步骤的分数后，将每一步骤的分数相加得到总得分，总得分与预设的标准得分进行比较得出评估结果。
[0011]本专利技术不是对整个视频进行处理，而是对洗手视频进行帧分解以及光流提取后进行特征编码得到特征图，后续对特征图进行进一步处理，不会忽略长动作中的许多细节，提高了洗手动作评估的性能，并且提取特征图的方式只关注几个关键的动作，并不是关注视频中所有的动作，避免无用的动作容易对评估结果造成干扰，提高评估的准确性。其次，将经过特征编码的特征图送入第一预测网络得到一个初步的第一预测结果，然后将第一预测结果输入多个级联的第二预测网络得到洗手步骤分割结果，从而能够知道哪些帧属于哪个步骤，有利于准确评估整个视频。
[0012]进一步地，所述步骤一包括：
[0013]对洗手视频进行帧分解以及光流提取并送入预训练好的I3D网络中的特征提取模块进行特征提取得到1024维的RGB数据和光流数据，之后将这两个数据特征进行连接，得到2048维的特征图。
[0014]更进一步地，所述步骤二包括：
[0015]降维卷积层用于将输入的2048维度特征图降至256维度特征，空洞残差层包括空洞卷积和残差链接，用于在特征上建立帧之间的关系，预测卷积层用于预测最终的分类结果。
[0016]更进一步地，所述步骤三包括：
[0017]将第一预测结果输入第二预测网络，经过线性Transformer进行帧间关系的进一步建模，利用Transformer的自注意力模块来建模帧间的全局关系，然后经过降维卷积层、空洞残差层和预测卷积层进行进一步的修正，最后获得最终的洗手步骤分割结果。
[0018]更进一步地，所述步骤四包括：
[0019]关键动作打分器包括一个全局平均池化层，2个全连接层和2个Sigmoid层，全局平均池化层输出分别连接一个全连接层，2个全连接层的输出各连接一个Sigmoid层，每一步骤的特征输入全局平均池化层，全局平均池化层和2个全连接层用于对所获得的每一步骤的特征进行降维，Sigmoid层用来对每一步骤降维后的特征进行打分。
[0020]本专利技术还提供一种基于深度学习的六步洗手法评估装置，包括；
[0021]视频采集单元，用于采集洗手人员的洗手过程视频；
[0022]存储器，用于存储视频采集单元拍摄到的洗手过程视频；
[0023]数据读取单元，用于在检测到存储器中存在未被评估的洗手过程视频时，从存储器中读取洗手人员的洗手过程视频并送入处理器中；
[0024]处理器，用于执行上述六步洗手法评估方法。
[0025]进一步地，所述视频采集单元设置于洗手池上，还用于当有洗手人员在该洗手池上洗手时，拍摄洗手人员的洗手过程视频，当洗手人员结束洗手过程后，将拍摄到的洗手过程的视频传输到存储器中进行存储。
[0026]进一步地，所述评估装置还包括显示单元，用于显示处理器返回的评估结果。
[0027]本专利技术的优点在于：本专利技术不是对整个视频进行处理，而是对洗手视频进行帧分解以及光流提取后进行特征编码得到特征图，后续对特征图进行进一步处理，不会忽略长动作中的许多细节，提高了洗手动作评估的性能，并且提取特征图的方式只关注几个关键
的动作，并不是关注视频中所有的动作，避免无用的动作容易对评估结果造成干扰，提高评估的准确性。其次，将经过特征编码的特征图送入第一预测网络得到一个初步的第一预测结果，然后将第一预测结果输入多个级联的第二预测网络得到洗手步骤分割结果，从而能够知道哪些帧属于哪个步骤，有利于准确评估整个视频。
附图说明
[0028]图1为本专利技术实施例所提供的一种基于深度学习的六步洗手评估方法的网络模型示意图；
[0029]图2为本专利技术实施例所提供的一种基于深度学习的六步洗手评估方法的洗手步骤分解示意图；
[0030]图3为本专利技术实施例所提供的一种基于深度学习的六步洗手评估方法中视频采集单元与洗手台以及洗手人员位置示意图；
[0031]图4为本专利技术实施例所提供的一种基于深度学习的六步洗手评估方法与现有技术方法评估结果对比；
[0032]图5为本专利技术实施例所提供的一种基于深度学习的六步洗手法评估装置示意图。
具体实施方式
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的六步洗手评估方法，其特征在于，所述方法包括：步骤一：对洗手视频进行帧分解以及光流提取后进行特征编码得到特征图；步骤二：将经过特征编码的特征图送入第一预测网络得到第一预测结果，第一阶段的预测网络包括顺次连接的一个降维卷积层，一个空洞残差层，以及一个预测卷积层；步骤三：将第一预测结果输入多个级联的第二预测网络得到洗手步骤分割结果，所述第二预测网络相比第一预测网络，在其降维卷积层之前加入了线性Transformer；步骤四：将获得的洗手步骤分割结果与原始特征结合得到属于每一步骤的特征，将每一步骤的特征送入其对应的关键动作打分器中进行打分；步骤五：得到每一步骤的分数后，将每一步骤的分数相加得到总得分，总得分与预设的标准得分进行比较得出评估结果。2.根据权利要求1所述的一种基于深度学习的六步洗手评估方法，其特征在于，所述步骤一包括：对洗手视频进行帧分解以及光流提取并送入预训练好的I3D网络中的特征提取模块进行特征提取得到1024维的RGB数据和光流数据，之后将这两个数据特征进行连接，得到2048维的特征图。3.根据权利要求2所述的一种基于深度学习的六步洗手评估方法，其特征在于，所述步骤二包括：降维卷积层用于将输入的2048维度特征图降至256维度特征，空洞残差层包括空洞卷积和残差链接，用于在特征上建立帧之间的关系，预测卷积层用于预测最终的分类结果。4.根据权利要求3所述的一种基于深度学习的六步洗手评估方法，其特征在于，所述步骤三包括：将第一预测结果输入第二预测网络，经过线性Transformer进行...

【专利技术属性】
技术研发人员：李成龙，朱启文，刘图彪，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：