一种基于嵌入式人工智能芯片的人脸识别安防报警方法技术

本发明专利技术属于智能识别技术领域，公开了一种基于嵌入式人工智能芯片的人脸识别安防报警方法，基于嵌入式人工智能芯片可进行视频获取、传输、保存、人脸定位、人脸识别以及报警信息和视频信息的发送；具体通过视频数据采集模块采集视频信息，数据中转模块中转上传数据，识别判断模块通过本地开发板进行人脸识别来判断是否有人入侵，识别后判断并启动报警，报警信息下发至用户，使用户及时获得报警结果并进行处理。本发明专利技术直接对传输的视频进行实时人脸识别，不需要发送数据给第三方服务器来识别，所以能做到实时监控报警、证据保存以及用户能直接使用手机APP进行实时画面的播放显示。

A security alarm method of face recognition based on embedded artificial intelligence chip

The invention belongs to the field of intelligent recognition technology, and discloses a face recognition and security alarm method based on the embedded artificial intelligence chip. Based on the embedded artificial intelligence chip, video acquisition, transmission, storage, face location, face recognition, alarm information and video information can be sent; specifically, video information can be collected through the video data acquisition module, and data transfer module Transfer the uploaded data, and the recognition and judgment module judges whether there is any intrusion through face recognition on the local development board. After recognition, it judges and starts the alarm, and the alarm information is sent to the user, so that the user can obtain the alarm result and process it in time. The invention directly carries out real-time face recognition for the transmitted video, and does not need to send data to a third-party server for recognition, so it can achieve real-time monitoring alarm, evidence saving and the user can directly use the mobile app to play and display the real-time picture.

【技术实现步骤摘要】
一种基于嵌入式人工智能芯片的人脸识别安防报警方法
本专利技术属于智能识别
，尤其涉及一种基于嵌入式人工智能芯片的人脸识别安防报警方法。具体涉及一种基于嵌入式人工智能芯片的可进行视频获取、传输、保存；人脸定位、人脸识别以及报警信息、视频信息发送的人脸识别安防报警方法。
技术介绍
目前，最接近的现有技术：安防问题一直是一个生活中突出的问题，无论是门禁还是监控方式都存在着一些不能解决的问题，如：实时报警，证据视频保存，机器主动识别等。在当今这个大的环境下，无论是家庭安防、店铺安防，还是公司安防都存在着诸多的问题，虽然市面上可见的安防产品层出不穷，但是实时监控报警手段却不太理想，有的只能做监控，有的需要触碰红线，也有一部分是做门禁，但这些都不够灵活，在对付那些有经验的入侵者时很难做到安全防护。现有技术不能及时报警且不能将入侵证据长效保存，而且人脸识别流程不完善，几乎所有能人脸识别的产品都是发送数据给第三方服务器来识别，而不是产品本身识别，这样就产生了一些问题(如延时、安全、数据丢失等)；而偏智能化的一些产品成本普遍较高。综上所述，现有技术存在的问题是：(1)现有技术不能将入侵证据长效保存。(2)现有技术人脸识别流程不完善，存在延时、安全、数据丢失等问题。(3)现有技术大多以依赖第三方服务器资源来做人脸识别，这导致识别过程需要经过网络通道，则必然存在延时长，数据丢失等问题，实时性能不好。(4)现有技术不能实现智能提取入侵证据并保存，只能保存所采集的监控视频，这就使得在查找证据时较为麻烦。(5)现有技术不能做到将入侵的视频证据实时推送至用户端方便用户进行查看和及时报警。(6)现有的报警方法无法做到实时判断并根据判断结果进行实时报警，需要借助外界多级判别才能确定结果，往往错过了破案的最佳时间。解决上述技术问题的难度：如何改变传统的通过将视频数据上传至设备生产商的服务器来识别入侵人脸再向用户移动端反馈数据，而在高集成性的嵌入式开发板上进行实时人脸定位，运用深度学习中的人脸识别模型，与用户人脸数据库中自行添加的人脸数据进行识别对比，识别的同时向用户提供报警和证据保存，方便用户获取识别信息和提取入侵证据，用户可在手机端播放视频、提示报警。解决上述技术问题的意义：基于上述技术问题，本方法实现了监控现场实时人脸识别，识别结果主动反馈至用户端报警以及证据多端存储的一体化。用户可自行添加或删除人脸数据库中的人脸数据，保证了用户的使用自主性，同时对识别结果可做到及时感知和判断，增加了安防私密性和可靠性。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于嵌入式人工智能芯片的人脸识别安防报警系统及方法。本专利技术是这样实现的，一种基于嵌入式人工智能芯片的人脸识别安防报警系统及方法，所述基于嵌入式人工智能芯片的人脸识别安防报警的方法包括以下步骤：步骤一，采用Python语言驱动OpenCV函数库调用USB摄像头，将摄像头采集到的图像数据自动转换成Python语言中的numpy数组，图像数组的大小固定为Length*Weight(640*480)，然后将获得到的图像数组传递给实时检测模块，直接将视频信息读取到计算机内存中保存，等待识别和发送；同时利用互联网，采用TCP/IP协议，与远端主机建立连接发送数据，将视频信息存储在局域网内的另一台电脑或者是局域网外的服务器的存储资源上，并进行人脸数据库初始化(人脸特征向量提取)：在程序初始化时，先将需要识别的人脸作为标准识别对象，将其这些标准识别对象的人脸图像经过深度学习模型(MobileFaceNet)的卷积特征向量提取，得到人脸特征值D1*D1*C，D1表示每次的输出特征向量的大小，C表示输出特征向量的维度；经过多次这种特征向量提取步骤获得总的特征向量：(此处将Dk*Dk简化为Fk，C就是其通道数n)最后将这个特征向量由卷积神经网络的全连接层转换为一维向量{(X0，Y0)，(X1，Y1)，(X2，Y2)…(Xn，Yn)}然后将所有特征向量保存到程序的存储单元。；步骤二，采用深度学习的方式，以计算机(JetsonNano开发板)做矩阵卷积运算方式实现人脸定位；采用深度学习的方式，计算机(JetsonNano开发板)以深度学习训练好的人脸识别模型作为基础，调用模型进行人脸识别，并将识别结果作为第三部分的报警结果来源；其中，检测单元将视频采集到的图像获取后，将640*480的数组经过深度学习模型(MTCNN)的卷积定位运算，获取到人脸的位置BoundingBox(_X0，_Y0)、Length、High，分别人脸框中心，人脸框的长度，人脸框的高度；然后通过OpenCV库将人脸框里的图像剪切下来，用于识别；识别之前已经获取了一张L*W大小的图像，将这个L*W固定为112*112大小，作为识别人脸的图像；将得到的112*112图像经过上述人脸特征向量提取步骤，既可以得到当前检测图像的人脸特征向量{Xnow，Ynow}。将获取的当前图像人脸特征向量与初始化的人脸数据库的向量做欧式距离比较，距离为计算后得到一组距离值{D0，D1，D2，D3…，Dn}，然后取其中最小值Dmin作为判断标志，由于深度学习模型在训练的时候是以Dk≤1.24来进行训练的，所以Dmin≤1.24时记录对应的人脸标签作为识别结果，若Dmin＞1.24就判断为陌生人记为“Unknow”标签。步骤三，手机APP进行警报等级判断，同时进行证据存储，并将报警信息上传服务器；同时利用开源的MQTT协议，将分析结果在报警模块中启动报警等级，向用户手机APP推送报警信息；其中，由步骤二得到Dmin判断的结果标签以后，由于一张图像中可能包含多个人脸，故在每次判断获取标签的同时，记录所获得的标签是否为陌生人；分级报警实现步骤如下：定义一种数据结构，该数据结构仅含有存储陌生人数量(记为Un_num)和认识人数量(记为Kn_num)，当检测模块识别到为认识人时Kn_num＝Kn_num+1,否则Un_num＝Un_num+1，识别完以后，根据Kn_num与Un_num值与0的关系分级报警，当Kn_num为0时，系统启动一级别报警，当Un_num，Kn_num都不为0时启动二级报警，当Un_num为0时不报警(三级报警)。步骤四，将视频数据传输到远端另存、视频上传外网服务器；其中，将识别得到的结果通过互联网将这些图像数据传输到局域网下的另一台主机，发送的时候需要将图像编码，原始编码为普通的十进制浮点数据，将其转换为二进制字节流以后以TCP/IP传输协议传送到另一台主机上，由另一台主机将传输过来的数据保存下来。步骤五，用户端手机APP可以采用拉取RTMP视频流的方式显示实时监控画面，同时将MQTT的消息及时获取即可达到实时报警功能；报警同时也可短信报警通知。其中，采用MQTT消息传输协议传送消息到用户手机提醒用户家庭人员情况，同时采用RTMP实时视频传输协议将实时视频显示到用户手机。本文档来自技高网...

【技术保护点】
1.一种基于嵌入式人工智能芯片的人脸识别安防报警的方法，其特征在于，所述基于嵌入式人工智能芯片的人脸识别安防报警的方法包括以下步骤：/n步骤一，调用opencv库获取摄像头视频内容，将视频信息保存，采用TCP/IP协议，与远端主机建立连接并将识别的视频信息发送；/n步骤二，采用深度学习方法，进行图像的矩阵卷积运算实现人脸定位，并以人脸识别模型进行人脸识别，将识别结果作报警结果来源；/n步骤三，APP进行警报等级判断，同时进行证据存储，并将报警信息上传；利用开源的MQTT协议，启动报警等级，向用户APP推送报警信息；/n步骤四，将视频数据传输到远端主机进行另存、视频上传外网服务器；/n步骤五，用户端手机APP采用拉取RTMP视频流的方式显示实时监控画面，同时将MQTT的消息及时获取，实时报警通知。/n

【技术特征摘要】
1.一种基于嵌入式人工智能芯片的人脸识别安防报警的方法，其特征在于，所述基于嵌入式人工智能芯片的人脸识别安防报警的方法包括以下步骤：
步骤一，调用opencv库获取摄像头视频内容，将视频信息保存，采用TCP/IP协议，与远端主机建立连接并将识别的视频信息发送；
步骤二，采用深度学习方法，进行图像的矩阵卷积运算实现人脸定位，并以人脸识别模型进行人脸识别，将识别结果作报警结果来源；
步骤三，APP进行警报等级判断，同时进行证据存储，并将报警信息上传；利用开源的MQTT协议，启动报警等级，向用户APP推送报警信息；
步骤四，将视频数据传输到远端主机进行另存、视频上传外网服务器；
步骤五，用户端手机APP采用拉取RTMP视频流的方式显示实时监控画面，同时将MQTT的消息及时获取，实时报警通知。


2.如权利要求1所述基于嵌入式人工智能芯片的人脸识别安防报警的方法，其特征在于，步骤一具体包括：
采用Python语言驱动OpenCV函数库调用USB摄像头，将摄像头采集到的图像数据自动转换成Python语言中的numpy数组，图像数组的大小固定为Length*Weight(640*480)，然后将获得到的图像数组传递给实时检测模块，直接将视频信息读取到计算机内存中保存，等待识别和发送；
同时利用互联网，采用TCP/IP协议，与远端主机建立连接发送数据，将视频信息存储在局域网内的另一台电脑或者是局域网外的服务器的存储资源上，并进行人脸数据库初始化。


3.如权利要求2所述基于嵌入式人工智能芯片的人脸识别安防报警的方法，其特征在于，所述人脸数据库初始化，包括：
先将需要识别的人脸作为标准识别对象，将其这些标准识别对象的人脸图像经过深度学习模型的卷积特征向量提取，得到人脸特征值D1*D1*C，D1表示每次的输出特征向量的大小，C表示输出特征向量的维度；经过多次这种特征向量提取步骤获得总的特征向量：其中，Dk*Dk简化为Fk，C为通道数n；
将这个特征向量由卷积神经网络的全连接层转换为一维向量{(X0，Y0)，(X1，Y1)，(X2，Y2)…(Xn，Yn)}；
再将所有特征向量保存到程序的存储单元，将这些人脸特征向量记作已知人脸。


4.如权利要求1所述基于嵌入式人工智能芯片的人脸识别安防报警的方法，其特征在于，步骤二具体包括：
检测单元将视频采集到的图像获取后，将640*480的数组经过深度学习模型(MTCNN)的卷积定位运算，获取到人脸的位置BoundingBox(_X0，_Y0)、Length、High，分别人脸框中心，人脸框的长度，人脸框的高度；
然后通过OpenCV库将人...

【专利技术属性】
技术研发人员：熊杰，马博，涂俊峰，刘华祠，刘建，杜峰，马兰芳，
申请(专利权)人：长江大学，
类型：发明
国别省市：湖北;42