【技术实现步骤摘要】
本专利技术属于深度学习及防护服穿戴引导的，具体涉及一种基于双分支框架的防护服穿戴指导方法、系统及介质。
技术介绍
1、在很多场景下穿戴防护服是必要的，比如在传染病风险中作业，如在海关、医院、实验室等环境下。在这些场景中，防护服是一种重要的防护工具，能够有效减少身体接触到危险物质的风险，保障工作者的健康和安全。穿戴防护服能够有效地隔离医护人员与病毒之间的接触，降低感染的风险。防护服穿戴过程中通常包括帽子、口罩、护目镜、手套、防护服等防护用品，能够覆盖身体的大部分区域，有效避免飞沫、血液、体液等接触传播途径。然而，防护服穿戴过程中具有较高的复杂性，主要体现在以下方面：
2、1)穿戴程序复杂：防护服的穿戴需要按照一定的程序进行，包括手卫生、穿戴帽子、口罩、遮面板、手套等，每个步骤都需要严格按照标准操作，否则会影响防护效果；
3、2)穿戴要求高：防护服的穿戴需要专业培训和指导，对穿戴者的要求较高，包括身体协调性、操作技能、心理素质等；
4、3)穿戴过程易受污染：穿戴防护服的过程容易受到周围环境的污染，如灰尘、微生物等，需要严格控制环境卫生，避免污染防护服。
5、现有防护服引导系统可以通过模型对防护服穿戴动作进行指导，但其仅可以实现对穿戴动作是否正确的判断，当模型发生异常时，难以对这种异常进行纠错，并且其难以实现复杂环境下的进一步指导，降低了模型的可用性。
技术实现思路
1、本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于双分支框
2、为了达到上述目的，本专利技术采用以下技术方案：
3、一方面，提供一种基于双分支框架的防护服穿戴指导方法，所述方法包括下述步骤：
4、构建双分支框架；所述双分支框架包括粗粒度分支一、细粒度分支二、topk细化模块及流程指导模块；
5、将摄像头接入双分支框架，实时采集工作人员的防护服穿戴动作视频；
6、双分支框架根据摄像头帧率获取视采样间距，并采样视频帧片段；
7、将视频帧片段同时输入粗粒度分支一和细粒度分支二中进行判断，其中：粗粒度分支一对视频帧片段进行防护服穿戴动作类别判断；细粒度分支二根据预设需执行的动作判断视频帧片段中防护服穿戴动作的正确性；
8、若细粒度分支二判断结果为正确，则和粗粒度分支一输出的动作类别一起传输至topk细化模块中，判断当前视频帧片段中正在执行的防护服穿戴动作是否存在粗粒度分支一输出的动作类别中；如果存在，就判断细粒度分支二判断结果是正确的；如果不存在，就判断细粒度分支二判断结果是错误的，反馈错误信息；细粒度分支二根据错误信息利用粗粒度分支一的输出进行自我纠错；
9、若细粒度分支二判断结果为错误，则和粗粒度分支一输出的动作类别一起传输至流程指导模块中，获取错误防护服穿戴动作的前后顺序和当前应执行的正确防护服穿戴动作的前后顺序，并对工作人员进行提示及指导。
10、作为优选的技术方案，所述双分支框架中，粗粒度分支一分别与topk细化模块及流程指导模块进行连接；细粒度分支二分别与topk细化模块及流程指导模块进行连接；
11、所述粗粒度分支一和细粒度分支二基于时序建模的二维残差神经网络进行构建。
12、作为优选的技术方案，所述粗粒度分支一对视频帧片段进行防护服穿戴动作类别判断，具体为：
13、将多个视频帧片段输入粗粒度分支一中，使用残差块通过卷积、残差连接和非线性变换操作来提取特征输出特征图；
14、对每个残差块的输出特征图执行时序维度的时间偏移和通道混洗，使得特征提取的过程中对输入多个视频帧片段的时序信息进行建模，提取深层特征；
15、将提取的深层特征通过池化和全连接层，输出一个类别编码，取最大类别编码值对应的防护服穿戴动作作为当前的防护服穿戴动作类别；
16、所述类别编码的维数和防护服穿戴过程所有动作的数量相同。
17、作为优选的技术方案，所述细粒度分支二根据预设需执行的动作判断视频帧片段中防护服穿戴动作的正确性，具体为：
18、从预先定义的防护服穿戴动作列表中获取预设的当前需执行的防护服穿戴动作，将其类别编码值设置为维度二；
19、将多个视频帧片段输入细粒度分支二中，使用残差块通过卷积、残差连接和非线性变换操作来提取特征输出特征图；
20、对每个残差块的输出特征图执行时序维度的时间偏移和通道混洗，使得特征提取的过程中对输入多个视频帧片段的时序信息进行建模，提取深层特征；
21、将提取的深层特征通过池化和全连接层，输出一个最大类别编码值；
22、如果最大类别编码值是维度一，则判断当前正确执行的防护服穿戴动作是错误的；
23、如果最大类别编码值是维度二，则判断当前正在执行的防护服穿戴动作是正确的。
24、作为优选的技术方案，所述topk细化模块使用粗粒度分支一对细粒度分支二输出进行判断的过程为：
25、若细粒度分支二判断当前正在执行的防护服穿戴动作正确，topk细化模块取粗粒度分支一输出的类别编码的前k个类别作为正确类别区间；
26、判断细粒度分支二当前正在执行的防护服穿戴动作是否存在于正确类别区间中；
27、如果存在，则确认细粒度分支二的判断结果正确；若不存在，则确认细粒度分支二的判断结果错误，同时将错误信息反馈至细粒度分支二；
28、所述细粒度分支二接收到错误信息后，利用粗粒度分支一的输出重新进行训练，进行自我纠错。
29、作为优选的技术方案，所述流程指导模块具体为：
30、若细粒度分支二判断当前正在执行的防护服穿戴动作错误，流程指导模块提取出粗粒度分支一输出的具有最大置信度的动作类别，并将该动作类别作为当前正在执行的错误防护服穿戴动作；
31、根据预先定义的防护服穿戴动作列表，对该错误防护服穿戴动作的前后顺序和当前应执行的正确防护服穿戴动作的前后顺序进行判断，获取当前应执行的具体防护服穿戴动作；
32、通过语音播报和\或影像演示提示工作人员当前正在执行的错误防护服穿戴动作和当前应执行的具体防护服穿戴动作。
33、另一方面，提供一种基于双分支框架的防护服穿戴指导系统，应用于所述的一种基于双分支框架的防护服穿戴指导方法，包括模型构建模块、视频采集模块、片段采样模块及动作判断模块；
34、所述模型构建模块用于构建双分支框架；所述双分支框架包括粗粒度分支一、细粒度分支二、topk细化模块及流程指导模块；
35、所述视频采集模块用于将摄像头接入双分支框架，实时采集工作人员的防护服穿戴动作视频；
36、所述片段采样模块用于双分支框架根据摄像头帧率获取视采样间距，并采样视频帧片段；<本文档来自技高网...
【技术保护点】
1.一种基于双分支框架的防护服穿戴指导方法，其特征在于，所述方法包括下述步骤：
2.根据权利要求1所述的一种基于双分支框架的防护服穿戴指导方法，其特征在于，所述双分支框架中，粗粒度分支一分别与topK细化模块及流程指导模块进行连接；细粒度分支二分别与topK细化模块及流程指导模块进行连接；
3.根据权利要求2所述的一种基于双分支框架的防护服穿戴指导方法，其特征在于，所述粗粒度分支一对视频帧片段进行防护服穿戴动作类别判断，具体为：
4.根据权利要求3所述的一种基于双分支框架的防护服穿戴指导方法，其特征在于，所述细粒度分支二根据预设需执行的动作判断视频帧片段中防护服穿戴动作的正确性，具体为：
5.根据权利要求4所述的一种基于双分支框架的防护服穿戴指导方法，其特征在于，所述topK细化模块使用粗粒度分支一对细粒度分支二输出进行判断的过程为：
6.根据权利要求4所述的一种基于双分支框架的防护服穿戴指导方法，其特征在于，所述流程指导模块具体为：
7.一种基于双分支框架的防护服穿戴指导系统，其特征在于，应用于权利要求1-
8.一种电子设备，其特征在于，所述电子设备包括：
9.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的一种基于双分支框架的防护服穿戴指导方法。
...【技术特征摘要】
1.一种基于双分支框架的防护服穿戴指导方法，其特征在于，所述方法包括下述步骤：
2.根据权利要求1所述的一种基于双分支框架的防护服穿戴指导方法，其特征在于，所述双分支框架中，粗粒度分支一分别与topk细化模块及流程指导模块进行连接；细粒度分支二分别与topk细化模块及流程指导模块进行连接；
3.根据权利要求2所述的一种基于双分支框架的防护服穿戴指导方法，其特征在于，所述粗粒度分支一对视频帧片段进行防护服穿戴动作类别判断，具体为：
4.根据权利要求3所述的一种基于双分支框架的防护服穿戴指导方法，其特征在于，所述细粒度分支二根据预设需执行的动作判断视频帧片段中防护服穿戴动作的正确性，具体为：
5.根据权利要求4所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。