基于计算机视觉的洗手及消毒流程规范性自动检测方法技术

本发明专利技术提供一种基于计算机视觉的洗手及消毒流程规范性自动检测方法，包括如下步骤：S1：将摄像头固定于能够保证完整拍摄到水池区域的位置；S2：对待处理图像进行流程规范性自动检测：检测水龙头是否出水；检测手是否正在水中冲洗及手在水中冲洗的时间；检测是否采集了洗手液；检测手在搓洗过程中是否产生了足够的泡沫；检测双手在搓洗过程中是否有相互搓洗的动作；检测双手在搓洗过程中是否有十指交叉相互搓洗的动作；检测双手在搓洗过程中是否有搓洗左右手背的动作；S3：将S2中的各项规范性检测结果显示在显示界面。本发明专利技术解决了微生物学采样检测洗手是否合格的方法成本高周期长结果易受干扰的问题。

Normative automatic detection method of hand washing and disinfection process based on computer vision

【技术实现步骤摘要】
基于计算机视觉的洗手及消毒流程规范性自动检测方法
本专利技术涉及计算机视觉
，具体而言，尤其涉及一种基于计算机视觉的洗手及消毒流程规范性自动检测方法。
技术介绍
目前判断洗手是否合格的方法主要是对手部进行微生物学采样检测致病菌：洗前涂抹荧光物质，洗后通过荧光灯照射采集手部图片判断是否洗净，进而判断洗手是否合格，该方法存在的问题包括：1)成本高，需要制作操作台，荧光灯、摄像头等设备；2)缺点是检测周期长；3)检测结果易受其它因素干扰。
技术实现思路
根据上述提出现有的微生物学采样检测洗手是否合格的方法成本高周期长结果易受干扰的技术问题，而提供一种基于计算机视觉的洗手及消毒流程规范性自动检测方法。本专利技术主要利用计算机视觉的方法对洗手及消毒过程中的各个流程依次进行检测并将各步骤的检测结果实时的反映到显示界面上，从而起到实施监督洗手过程规范性的作用。本专利技术采用的技术手段如下：基于计算机视觉的洗手及消毒流程规范性自动检测方法，包括如下步骤：S1：将摄像头固定于能够保证完整拍摄到水池区域的位置，水池区域内包括水龙头出水口、排水口和洗手液按压头且摄像头能拍摄到由出水口至排水口的完整水流；S2：将摄像头拍摄的视频中每隔4帧取一帧图像作为待处理图像进行流程规范性自动检测：(1)流动水洗手规范性检测：①检测水龙头是否出水；②检测手是否正在水中冲洗及手在水中冲洗的时间；(2)洗手液使用规范性检测：①检测是否采集了洗手液；②检测手在搓洗过程中是否产生了足够的泡沫；(3)洗手动作规范性检测：①检测双手在搓洗过程中是否有相互搓洗的动作；②检测双手在搓洗过程中是否有十指交叉相互搓洗的动作；③检测双手在搓洗过程中是否有搓洗左右手背的动作；S3：将S2中的各项规范性检测结果显示在显示界面。进一步地，S1中，固定好摄像头后，将摄像头拍摄的视频中的第一帧图像作为参考帧图像，参考帧图像中没有人且水龙头关闭；打开水龙头，截取摄像头拍摄的视频中的一帧图像，手动选取图像中的6个ROI区域并分别确定各区域的坐标数据，用于进行S2中的流程规范性自动检测，6个ROI区域具体包括：a1：出水口水流的位置区域，选定区域宽度大于出水口水流宽度；a2：位于整个水流的中下部分的在水流中冲手的区域；a3：水流落入排水口的位置区域，选定区域宽度为水流宽度的4倍；a4：洗手液按压头区域；a5：泡沫检测区域，选定区域包括洗手过程中双手的活动区域；a6：洗手姿势判断区域，选定区域大于泡沫检测区域，用于判断洗手过程中左右手背搓洗情况。进一步地，检测水龙头是否出水具体包括如下步骤：(1)根据a1区域的坐标数据提取参考帧图像和待处理图像的a1区域；(2)采用水流垂直边缘检测方法检测待处理图像中是否存在垂直边缘，若存在垂直边缘，对应的检测结果为水龙头出水，否则对应的检测结果为水龙头未出水；根据检测结果更新显示界面上的显示内容，当检测结果为水龙头出水时，对当前待处理图像继续进行S2中其他规范性检测；否则结束对当前待处理图像的规范性检测。进一步地，当待处理图像对应的水龙头是否出水的检测结果为水龙头出水时，检测手是否正在水中冲洗及手在水中冲洗的时间，具体包括如下步骤：(1)根据a2区域的坐标数据提取待处理图像的a2区域；(2)对a2区域图像进行色彩增强，再对增强后的图像用肤色检测算法区分出a2区域二值图像中的手的部分和非手部分，其中，手的部分的像素值为1，非手部分的像素值为0；(3)判断a2区域二值图像中手的部分的最小列是否处于第一列；若处于，则表示手处在水流落下的区域，记rflow1＝1；否则，记rflow1＝0；(4)根据a3区域的坐标数据提取参考帧图像和待处理图像的a3区域，并采用水流垂直边缘检测方法检测a3区域图像中是否存在垂直边缘，若存在垂直边缘，则说明排水孔位置有水流垂直落下，记rflow2＝1，否则，记rflow2＝0；(5)当rflow1＝1且rflow2＝0时，对应检测结果为手正在水中冲洗，记Rwash＝1；否则，检测结果为手未在水中冲洗，记Rwash＝0；根据检测结果更新显示界面上的显示内容；(6)根据(5)中的检测结果Rwash，计算并在显示界面显示手在水中冲洗的时间T′：T′＝T+Rwash/fps其中，T为当前待处理图像之前的视频中手在水中的累计时间，fps为摄像头每秒采集图像帧的数量。进一步地，采用的水流垂直边缘检测方法包括：(1)对参考帧图像和待处理图像的ROI区域图像进行灰度化并做差分取绝对值，得到差分图像；(2)对差分图像进行倾斜矫正；(3)对倾斜矫正后的差分图像使用SOBEL算子进行垂直边缘检测及二值化处理，得到二值图像；(4)统计二值图像中相邻2列的像素点像素值总和的最大值其中，Pij表示第i列j行的像素值，H表示二值图像的高，W表示二值图像的宽，a＝{1,2,...,W-1}；(5)将E与阈值Ⅰ进行比较，其中，阈值Ⅰ为ROI区域图像高度的70％至85％；若E大于阈值Ⅰ，则表示存在垂直边缘，否则不存在垂直边缘。进一步地，当待处理图像对应的水龙头是否出水的检测结果为水龙头出水时，检测是否采集了洗手液，具体包括如下步骤：(1)根据a4区域的坐标数据提取待处理图像的a4区域；(2)对a4区域图像进行色彩增强，再对增强后的图像用肤色检测算法区分出a4区域二值图像中的手的部分和非手部分，其中，手的部分的像素值为1，非手部分的像素值为0；(3)采用下列公式计算a4区域二值图像中手的部分所占比例：其中，Psij表示a4区域二值图像中第i行j列的像素值，Hs表示a4区域图像的高，Ws表示a4区域图像的宽；(4)比较Ssoap与阈值Ⅱ的大小，其中，阈值Ⅱ为0.8：①若Ssoap＞阈值Ⅱ，则表示当前待处理图像中手处于a4区域；进一步对先前各帧图像是否完成了洗手液采集进行具体判断：若在当前待处理图像进行检测之前有连续N1帧图像的检测结果均为正在采集洗手液，其中N1为预设值，则记Rsoap＝1，对应的检测结果为已完成采集洗手液但手未离开；若当前待处理图像的前一帧的检测结果为采集洗手液的动作未开始，则记Rsoap＝2，对应的检测结果为正在采集洗手液；②若Ssoap≤阈值Ⅱ，则表示当前待处理图像中手不在a4区域；进一步判断当前待处理图像检测前各帧图像的是否采集了洗手液的检测结果：若当前待处理图像的前一帧的检测结果为已完成采集洗手液但手未离开，则记Rsoap＝3，对应的检测结果为完成洗手液采集且手已离开；若当前待处理图像的前一帧的检测结果为采集洗手液的动作未开始，则记Rsoap＝4，对应的检测结果为采集洗手液的动作未开始；(5)根据检测结果更新显示界面上的显示内容。进一步地，当当前待处理图像对应的是否采集了洗手液的检测结果为Rsoap＝3时，检测手在搓洗过程中是否产生了足够的泡沫，具体包括如下步骤：根据手在水中冲洗的时间，判断冲手时间是否足够；若足够，则继续进行检测；若不足，则保持显示界面上的检测结果不变并结束对当前待处理图像的检测；(1)根据a5区域的坐标数据提取待处理图像的a5区域；(2)根据由场景的光照条件预设的阈值Ⅲ区分待处理图像的灰度直方图中的泡沫部分和非泡沫部分，将a5区域图像转化为二值图像后，泡沫部分的像素值为1，非泡沫部分的像素值为0；(3)采用下列本文档来自技高网...

【技术保护点】
1.基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于，包括如下步骤：S1：将摄像头固定于能够保证完整拍摄到水池区域的位置，水池区域内包括水龙头出水口、排水口和洗手液按压头且摄像头能拍摄到由出水口至排水口的完整水流；S2：将摄像头拍摄的视频中每隔4帧取一帧图像作为待处理图像进行流程规范性自动检测：(1)流动水洗手规范性检测：①检测水龙头是否出水；②检测手是否正在水中冲洗及手在水中冲洗的时间；(2)洗手液使用规范性检测：①检测是否采集了洗手液；②检测手在搓洗过程中是否产生了足够的泡沫；(3)洗手动作规范性检测：①检测双手在搓洗过程中是否有相互搓洗的动作；②检测双手在搓洗过程中是否有十指交叉相互搓洗的动作；③检测双手在搓洗过程中是否有搓洗左右手背的动作；S3：将S2中的各项规范性检测结果显示在显示界面。

【技术特征摘要】
1.基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于，包括如下步骤：S1：将摄像头固定于能够保证完整拍摄到水池区域的位置，水池区域内包括水龙头出水口、排水口和洗手液按压头且摄像头能拍摄到由出水口至排水口的完整水流；S2：将摄像头拍摄的视频中每隔4帧取一帧图像作为待处理图像进行流程规范性自动检测：(1)流动水洗手规范性检测：①检测水龙头是否出水；②检测手是否正在水中冲洗及手在水中冲洗的时间；(2)洗手液使用规范性检测：①检测是否采集了洗手液；②检测手在搓洗过程中是否产生了足够的泡沫；(3)洗手动作规范性检测：①检测双手在搓洗过程中是否有相互搓洗的动作；②检测双手在搓洗过程中是否有十指交叉相互搓洗的动作；③检测双手在搓洗过程中是否有搓洗左右手背的动作；S3：将S2中的各项规范性检测结果显示在显示界面。2.根据权利要求1所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：S1中，固定好摄像头后，将摄像头拍摄的视频中的第一帧图像作为参考帧图像，参考帧图像中没有人且水龙头关闭；打开水龙头，截取摄像头拍摄的视频中的一帧图像，手动选取图像中的6个ROI区域并分别确定各区域的坐标数据，用于进行S2中的流程规范性自动检测，6个ROI区域具体包括：a1：出水口水流的位置区域，选定区域宽度大于出水口水流宽度；a2：位于整个水流的中下部分的在水流中冲手的区域；a3：水流落入排水口的位置区域，选定区域宽度为水流宽度的4倍；a4：洗手液按压头区域；a5：泡沫检测区域，选定区域包括洗手过程中双手的活动区域；a6：洗手姿势判断区域，选定区域大于泡沫检测区域，用于判断洗手过程中左右手背搓洗情况。3.根据权利要求2所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：检测水龙头是否出水具体包括如下步骤：(1)根据a1区域的坐标数据提取参考帧图像和待处理图像的a1区域；(2)采用水流垂直边缘检测方法检测待处理图像中是否存在垂直边缘，若存在垂直边缘，对应的检测结果为水龙头出水，否则对应的检测结果为水龙头未出水；根据检测结果更新显示界面上的显示内容，当检测结果为水龙头出水时，对当前待处理图像继续进行S2中其他规范性检测；否则结束对当前待处理图像的规范性检测。4.根据权利要求2所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：当待处理图像对应的水龙头是否出水的检测结果为水龙头出水时，检测手是否正在水中冲洗及手在水中冲洗的时间，具体包括如下步骤：(1)根据a2区域的坐标数据提取待处理图像的a2区域；(2)对a2区域图像进行色彩增强，再对增强后的图像用肤色检测算法区分出a2区域二值图像中的手的部分和非手部分，其中，手的部分的像素值为1，非手部分的像素值为0；(3)判断a2区域二值图像中手的部分的最小列是否处于第一列；若处于，则表示手处在水流落下的区域，rflow1＝1；否则rflow1＝0；(4)根据a3区域的坐标数据提取参考帧图像和待处理图像的a3区域，并采用水流垂直边缘检测方法检测a3区域图像中是否存在垂直边缘，若存在垂直边缘，则说明排水孔位置有水流垂直落下，则结果rflow2＝1，否则rflow2＝0；(5)当rflow1＝1且rflow2＝0时，对应检测结果为手正在水中冲洗Rwash＝1；否则，检测结果为手未在水中冲洗Rwash＝0；根据检测结果更新显示界面上的显示内容；(6)根据(5)中的检测结果Rwash，计算并在显示界面显示手在水中冲洗的时间T′：T′＝T+Rwash/fps其中，T为当前待处理图像之前的视频中手在水中的累计时间，fps为摄像头每秒采集图像帧的数量。5.根据权利要求3或4所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于，采用的水流垂直边缘检测方法包括：(1)对参考帧图像和待处理图像的ROI区域图像进行灰度化并做差分取绝对值，得到差分图像；(2)对差分图像进行倾斜矫正；(3)对倾斜矫正后的差分图像使用SOBEL算子进行垂直边缘检测及二值化处理，得到二值图像；(4)统计二值图像中相邻2列的像素点像素值总和的最大值其中，Pij表示第i列j行的像素值，H表示二值图像的高，W表示二值图像的宽，a＝{1,2,...,W-1}；(5)将E与阈值Ⅰ进行比较，其中，阈值Ⅰ为ROI区域图像高度的70％至85％；若E大于阈值Ⅰ，则表示存在垂直边缘，否则不存在垂直边缘。6.根据权利要求2所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：当待处理图像对应的水龙头是否出水的检测结果为水龙头出水时，检测是否采集了洗手液，具体包括如下步骤：(1)根据a4区域的坐标数据提取待处理图像的a4区域；(2)对a4区域图像进行色彩增强，再对增强后的图像用肤色检测算法区分出a4区域二值图像中的手的部分和非手部分，其中，手的部分的像素值为1，非手部分的像素值为0；(3)采用下列公式计算a4区域二值图像中手的部分所占比例：其中，Psij表示a4区域二值图像中第i行j列的像素值，Hs表示a4区域图像的高，Ws表示a4区域图像的宽；(4)比较Ssoap与阈值Ⅱ的大小，其中，阈值Ⅱ为0.8：①若Ssoap＞阈值Ⅱ，则表示当前待处理图像中手处于a4区域；进一步判断当前待处理图像检测前各帧图像的是否采集了洗手液的检测结果：若在当前待处理图像进行检测之前有连续N1帧图像的检测结果均为正在采集洗手液，其中N1为预设值，则Rsoap＝1，对应的检测结果为已完成采集洗手液但手未离开；若当前待处理图像的前一帧的检测结果为采集洗手液的动作未开始，则Rsoap＝2，对应的检测结果为正在采集洗手液；②若Ssoap≤阈值Ⅱ，则表示当前待处理图像中手不在a4区域；进一步判断当前待处理图像检测前各帧图像的是否采集了洗手液的检测结果：若当前待处理图像的前一帧的检测结果为已完成采集洗手液但手未离开，则Rsoap＝3，对应的检测结果为完成洗手液采集且手已离开；若当前待处理图像的前一帧的检测结果为采集洗手液的动作未开始，则Rsoap＝4，对应的检测结果为采集洗手液的动作未开始；(5)根据检测结果更新显示界面上的显示内容。7.根据权利要求6所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：当当前待处理图像对应的是否采集了洗手液的检测结果为Rsoap＝3时，检测手在搓洗过程中是否产生了足够的泡沫，具体包括如下步骤：根据手在水中冲洗的时间，判断冲手时间是否足够；若足够，则继续进行检测；若不足，则保持显示界面上的检测结果不变并结束对当前待处理图像的检测；(1)根据a5区域的坐标数据提取待处理图像的a5区域；(2)根据由场景的光照条件预设的阈值Ⅲ区分待处理图像的灰度直方图中的泡沫部分和非泡沫部分，将a5区域图像转化为二值图像后，泡沫部分的像素值为1，非泡沫部分的像素值为0；(3)采用下列公式计算a5区域二值图像中泡沫部分所占比例：其中，Pfij表示a5区域二值图像中第i行j列的像素值，Hf表示a5区域图像的高，Wf表示a5区域图像的宽；(4)比较Sfoam与预设的阈值Ⅳ的大小，并将比较结果保存：①若Sfoam＞阈值Ⅳ，则表示当前待处理图像中泡沫量达到要求；②若Sfoam≤阈值Ⅳ，则表示当前待处理图像中泡沫量未达到要求；(5)统计当前待处理图像及之前的N2帧图像对应的是否产生了足够的泡沫检测结果，其中N2为预设值；若统计的所有检测结果中泡沫量达到要求的数量大于阈值Ⅴ，对应的检测结果为产生了足够...

【专利技术属性】
技术研发人员：王新年，卢圣卿，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁,21