System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种人脸检测方法、人脸识别方法、行为识别方法及系统技术方案_技高网

一种人脸检测方法、人脸识别方法、行为识别方法及系统技术方案

技术编号:43329599 阅读:0 留言:0更新日期:2024-11-15 20:27
本发明专利技术公开了一种人脸检测方法、人脸识别方法、行为识别方法及系统,本发明专利技术系统包括图像采集模块:利用嵌入式摄像头实时采集考场内的图像;轻量型人脸检测模块:采用优化后的卷积神经网络,对图像进行快速人脸检测和定位;人脸识别模块:构建包含注意力机制的Mobi‑FaceNeXt网络;行为识别模块:设计出基于CNN、单阶段多人姿态估计Baseline算法的行为识别模块通过分析检测到的人脸和其周围环境,识别考生的行为;报警模块:在检测到异常行为时,实时发出警报并记录相关图像和视频。本发明专利技术具有高效、低功耗、实时性强的特点,可广泛应用图像处理、考场监考等技术领域。

【技术实现步骤摘要】

本专利技术涉及图像处理,尤其涉及一种人脸检测方法、人脸识别方法、行为识别方法及系统


技术介绍

1、随着教育水平的不断提高和考试制度的完善,考场监控系统在保证考试公平性和安全性方面扮演着越来越重要的角色,然而,现有的考场监控系统普遍存在以下问题:人工监控仍然是主流,实现监考的必要手段依旧是现场巡回,身份识别效率低下,检测精度不高、实时性差,网络信号屏蔽。这些问题以及监考模式不仅使得的监考成本大,且很容易影响考生的现场状态。当前日常使用的人工智能都是通过联网来实现的,比如手机的语音识别功能,都是通过网络将信息传输到后台服务器,经过运算再把文字传输给手机。在这种模式下,使用的场景是受到限制的,在没有网络的环境里以及后台服务器的升级都可能导致终端无法使用某些功能。因此嵌入式人工智能就显得越发重要了,嵌入式人工智能是指设备无需联网、凭借设备本身的计算能力来进行本地计算,完全不依赖于云端的服务器。


技术实现思路

1、本专利技术实施例的主要目的在于提出一种高效且低功耗的人脸检测方法、人脸识别方法、行为识别方法及系统,能够降低成本、提高效率且保证可靠性。

2、为实现上述目的,本专利技术实施例的一方面提出了一种人脸检测方法,包括以下步骤:

3、获取待检测图像;

4、将所述待检测图像传输到人脸检测网络模型进行人脸检测,输出人脸检测结果;

5、其中,所述人脸检测网络模型的检测过程包括:

6、在yolo5-dface轻量级人脸检测模型中加入空洞卷积结构和残差连接进行检测处理;

7、根据所述检测处理的结果进行人脸的姿态优选,确定所述人脸检测结果。

8、在一些实施例中,所述在yolo5-dface轻量级人脸检测模型中加入空洞卷积结构和残差连接进行检测处理,包括以下步骤:

9、增设四个不同扩张率的空洞卷积,对所述待检测图像的特征信息进行提取,并通过一个残差连接操作,完成输入图像与卷积后图像之间的信息融合,输出特征图;

10、分别对所述特征图进行不同尺度的最大池化操作,保留卷积区域中最大的像素点;

11、对最大池化操作的输出进行特征拼接操作,并与cbs卷积块的输入特征融合;

12、对融合后的特征进行卷积复原,完成所述检测处理。

13、在一些实施例中,所述根据所述检测处理的结果进行人脸的姿态优选,确定所述人脸检测结果,包括以下步骤:

14、根据所述检测处理的结果,选择yolo5-dface网络回归的五个关键点作为姿态优选的参考点;

15、通过对比左眼,右眼,鼻尖,左嘴角,右嘴角这五个点的相对位置,判断出检测到的人脸姿态,剔除偏转角度较大的人脸,保留满足预设条件的小角度人脸。

16、在一些实施例中,所述通过对比左眼,右眼,鼻尖,左嘴角,右嘴角这五个点的相对位置,判断出检测到的人脸姿态,剔除偏转角度较大的人脸,保留满足预设条件的小角度人脸,包括以下步骤:

17、将人脸的五个关键点以x,y进行标识,左眼(x1,y1),右眼(x2,y2),鼻尖(x3,y3),左嘴角(x4,y4),右嘴角(x5,y5),根据人脸的五个关键点,计算人脸姿态的左右偏转和上下偏转的程度;

18、通过双眼与嘴角的距离计算人脸的偏转位置,通过计算人脸的左眼与左嘴角,以及右眼与右嘴角到鼻尖之间的距离比值来确定人脸左右偏转的姿态;

19、其中,左右偏转的程度的计算公式为:

20、上下偏转的程度的计算公式为:

21、本专利技术实施例的另一方面还提供了一种人脸识别方法,包括:

22、获取针对待检测图像的人脸检测结果;其中,所述人脸检测结果根据如前面所述的人脸检测方法得到;

23、采用快速下采样策略对所述人脸检测结果进行下采样处理,减小所述人脸检测结果中的输入特征图;

24、构建新型倒残差结构的人脸特征提取网络对所述下采样处理的结果进行处理,其中,所述新型倒残差结构的构建过程为:将倒残差结构中的卷积核大小改为7×7;将多头自注意力模块设置的通道数量减少;在较浅的网络层采用prelu激活函数,并在较深的网络层采用hardswi sh激活函数替换所述prelu激活函数;

25、将兼顾通道信息和空间位置的坐标注意力机制应用到所述人脸特征提取网络进行人脸特征提取处理;

26、将坐标注意力机制与新型倒残差结构相结合,根据坐标注意力的插入位置构建三种网络结构,分别是深度结构,深度逐点结构和最后逐点结构;

27、基于magface loss和center loss组成一个新的联合损失函数,根据所述联合随时函数进行人脸识别,获得人脸识别结果。

28、在一些实施例中,所述坐标注意力机制的应用过程包括以下步骤:

29、利用两个全局池化操作,分别沿着水平方向和垂直方向,对每个通道进行水平和垂直的编码;

30、将水平方向和垂直方向的池化层进行拼接操作,级联输出,然后对级联输出的结果进行1×1卷积变换操作,以进行两个方向上的信息交互,接着使用bn操作和hardswish非线性激活函数操作;

31、将得到的张量分成两个单独的张量,并分别进行卷积和sigmoid操作,以产生具有相同通道数的水平和垂直方向的注意力向量。

32、本专利技术实施例的另一方面还提供了一种行为识别方法,包括:

33、将待识别图像经过骨干网络模型提取出特征;

34、输出特征经过多个检测头进一步处理,组合多个检测头输出的人体中心点坐标和人体关键点偏移量,得到最终的人体关键点坐标;其中,所述检测头嵌入有基于人体部位的特征对齐模块。

35、结合人脸识别结果和所述人体关键点坐标,生成行为识别方法;其中,所述人脸识别结果根据如前面所述的人脸检测方法得到。

36、在一些实施例中,所述基于人体部位的特征对齐模块的应用过程包括以下步骤:

37、使用人体中心点的位置pcenter处的特征向量预测该人体部位附近的位置到人体中心点的偏移量upart,并计算出该人体部位的位置ppart;

38、使用ppart处的特征向量预测某个关键点到该人体部位附近的位置的偏移量ukeypoint,并计算出该关键点的位置pkeypoint;

39、根据人体中心点的位置pcenter、人体部位的位置ppart、关键点的位置pkeypoint,计算出该关键点的坐标。

40、本专利技术实施例的另一方面还提供了一种考场监控系统,包括:

41、图像采集模块,用于采集待检测图像;

42、轻量型人脸检测模块,用于实现如前面所述的人脸检测方法;

43、人脸识别模块,用于实现如前面所述的人脸识别方法;

44、行为识别模块,用于实现如前面所述的行为识别方法;

45、报警模块,用于根据人脸识别结果、行为识别结果本文档来自技高网...

【技术保护点】

1.一种人脸检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种人脸检测方法,其特征在于,所述在YOLO5-Dface轻量级人脸检测模型中加入空洞卷积结构和残差连接进行检测处理,包括以下步骤:

3.根据权利要求1所述的一种人脸检测方法,其特征在于,所述根据所述检测处理的结果进行人脸的姿态优选,确定所述人脸检测结果,包括以下步骤:

4.根据权利要求3所述的一种人脸检测方法,其特征在于,所述通过对比左眼,右眼,鼻尖,左嘴角,右嘴角这五个点的相对位置,判断出检测到的人脸姿态,剔除偏转角度较大的人脸,保留满足预设条件的小角度人脸,包括以下步骤:

5.一种人脸识别方法,其特征在于,包括:

6.根据权利要求5所述的一种人脸识别方法,其特征在于,所述坐标注意力机制的应用过程包括以下步骤:

7.一种行为识别方法,其特征在于,包括:

8.根据权利要求7所述的一种人脸识别方法,其特征在于,所述基于人体部位的特征对齐模块的应用过程包括以下步骤:

9.一种考场监控系统,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1-8中任一项所述的方法。

...

【技术特征摘要】

1.一种人脸检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种人脸检测方法,其特征在于,所述在yolo5-dface轻量级人脸检测模型中加入空洞卷积结构和残差连接进行检测处理,包括以下步骤:

3.根据权利要求1所述的一种人脸检测方法,其特征在于,所述根据所述检测处理的结果进行人脸的姿态优选,确定所述人脸检测结果,包括以下步骤:

4.根据权利要求3所述的一种人脸检测方法,其特征在于,所述通过对比左眼,右眼,鼻尖,左嘴角,右嘴角这五个点的相对位置,判断出检测到的人脸姿态,剔除偏转角度较大的人脸,保留满足预设条件...

【专利技术属性】
技术研发人员:白鹏飞肖帅彭保蔡太伟
申请(专利权)人:华南师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1