一种嵌入式人脸检测终端制造技术

本发明专利技术公开了一种嵌入式人脸检测系统，它包括CMOS图像传感器、图像处理主芯片、LCD显示屏和加载于图像处理主芯片上的软件部分，CMOS图像传感器将采集到的图像变量传输给图像处理主芯片，图像处理主芯片通过图像预处理模块将原始图像变为适合算法识别的图像，对图像进行滤波后对当前图像进行扫描并输出人脸在缩放后图像中的位置，用矩形对角点的坐标表示，确定人脸在原始图像中的矩形位置，通过人脸标记模块在原始图片相应位置画圆，得到最终需要输出的图像；最后将该图像更新到Qt的图像槽中，刷新LCD显示屏的界面即可实现该次人脸检测结果的显示。本发明专利技术可在一帧图像中准确、快速的人脸检测和标记，算法简单快捷，工作效率高，性能稳定可靠。

【技术实现步骤摘要】
一种嵌入式人脸检测终端
本专利技术涉及人脸识别
，具体的说是一种嵌入式人脸检测终端。
技术介绍
人脸识别是将输入的人脸图像与已知库中的模板进行比较并确定身份的一种技术，由于人脸是人们区分不同人的重要途径，是最主要的安防信息来源之一，在视频监控、签到系统、人机交互等领域得到广泛的应用。人脸识别包括两种方法，一种是基于二维亮度图像的识别方法，另一类是基于三维人脸的识别方法。这两种方法由于受到光线亮度、待识别人脸位置、姿态的干扰，识别时间较长，辨别率较低，不利于安防工作的快速开展。
技术实现思路
本专利技术的目的是提供一种嵌入式人脸检测终端，能够通过预先设定好的程序实现实时人脸的检测和标记，提高工作效率。为实现上述目的，本专利技术所采取的技术方案为：一种嵌入式人脸检测系统，它包括CMOS图像传感器、图像处理主芯片、LCD显示屏和加载于图像处理主芯片上的软件部分，其特征在于：所述COMS图像传感器通过DVP并行信号进行图像输出给图像处理主芯片，图像处理主芯片包括NanoPi2开发板，采用ArmCotex-A9架构，内存为1GDDR3，同时NanoPi2开发板上集成了通讯模块，支持LCD显示屏的同步输出；图像处理主芯片上嵌入的软件部分载体为为Ubuntu16.04系统，使用的编程语言为C++；软件部分包括图像的输入和预处理模块、人脸检测模块以及界面设计和可视化输出模块，采用的开源C++库包括opencv、dlib，人脸检测模块包括PICO、MTCNN、SIMD以及opencv和dlib自带的人脸检测模块，各模块之间可方便地进行切换，人脸检测部分的代码均经过arm指令集的加速和优化；图像的输入和预处理模块采用opencv函数，包括图像获取、尺寸归一化以及降噪部分；可视化输出模块包括图片中人脸的标记和标记结果显示，人脸的标记采用圆形标记，圆形标记的尺寸以将检测到的人脸覆盖的矩形区域的尺寸为标准，标记结果显示部分基于Qt设计，采用Qt中的定时器模块运行人脸检测程序；CMOS图像传感器将采集到的一帧图像进行数字化处理，结果存入程序中的图像变量，内容为一个三维矩阵；CMOS图像传感器将图像变量传输给图像处理主芯片，图像处理主芯片通过图像预处理模块将原始图像变为适合算法识别的图像，采用最邻近算法将原始图像放缩为64×64尺寸的图像，然后采用高斯平滑滤波的方法对图像进行滤波，再根据用户选定的算法对当前图像进行扫描并输出人脸在缩放后图像中的位置，用矩形对角点的坐标表示，然后根据缩放比例确定人脸在原始图像中的矩形位置，通过人脸标记模块在原始图片相应位置画圆，得到最终需要输出的图像；最后将该图像更新到Qt的图像槽中，刷新LCD显示屏的界面即可实现该次人脸检测结果的显示，同时检测到的人脸的数量、裁剪后的人脸图片以及人脸位置通过通讯模块传到上位机进行数据的记录，上位机通过通讯模块修改程序中的部分参数，以达到最佳的识别效果。优选的，本终端通过计算整幅图像对应灰度图的均值感知的外界光照情况，当灰度图的均值低于设定的阈值时，自动接通LED补光电路进行补光，保证整个系统运行的稳定性。优选的，所述人脸检测部分的代码均经过arm指令集的加速和优化是指矩阵乘法运算速度的优化。优选的，所述尺寸归一化为利用最邻近插值方法将原图像放缩为32×32尺寸。优选的，所述LCD显示屏尺寸为19.4cm×13cm，有效显示区域尺寸为15.4cm×9cm，分辨率为1024×768，支持RGB输出。优选的，所述NanoPi2开发板上集成的通讯模块包括802.11无线网卡模块和蓝牙4.0模块。优选的，所述CMOS图像传感器的型号为CAM500B，像素为500万，通过DVP并行信号进行图像输出。软件部分对整幅图像对应灰度均值的具体计算方法为：（1）将RGB图像转化为灰度图像，转换公式为：（1）其中red、green、blue分别为某个像素点处红、绿、蓝通道的像素值，计算结果gray即为灰度图像对应位置的像素值；（2）求灰度图像的均值（2）（3）若m小于阈值TH（推荐为100左右），则接通LED灯的电源。本终端中可视化输出部分跑包括图片中人脸的标记和标记结果显示部分。基于人脸接近于圆形这一先验知识，人脸标记部分采用圆形标记，该圆形的尺寸以将检测到的人脸矩形区域刚好覆盖为最佳。圆形区域的位置和尺寸确定方法为：（3）（4）（5）其中（x1，y1）为检测到的矩形人脸区域的左上角点的坐标，width与height分别为矩形的长度（横向）和宽度（纵向），计算结果中（x0，y0）为圆形中心的坐标，r为圆的半径，圆心和半径可以唯一确定一个圆。标记结果显示部分基于Qt设计，采用Qt中的定时器模块运行人脸检测程序，具体方案为：创建Qt定时器对象，设定定时间隔（推荐为10ms左右），设置定时器触发函数，该函数在定时器每隔设定的时间执行一次。根据主频数可将定时任务转化为计数任务，具体转化方法为：（6）其中G为主频数，T为定时时间，n为计数终值。从0开始，每检测到芯片发出一个上升沿技术一次，到n即执行触发函数一次，同时将计数器清零，进入下一次计数循环。触发函数中运行上述人脸检测程序，每隔T时间执行一次人脸检测，即可完成实时人脸检测。为了操作的简便性，软件程序被放入Ubuntu系统的开机自启动过程中执行，即上电完成自检后即可自动运行软件程序。本专利技术的有益效果为：（1）本专利技术通过图像获取、图像的处理、显示和通讯传输，最终实现了在一帧图像中准确、快速的人脸检测和标记，算法简单快捷，工作效率高，性能稳定可靠；（2）本专利技术采用NanoPi2开发板作为主芯片，该芯片功能丰富，计算能力强，同时支持LCD输出功能，性价比高；（3）本专利技术的通讯模块采用板载式的802.11无线网卡模块以及蓝牙4.0模块，减少额外的费用和多余的外观尺寸。（4）本专利技术内置了多种人脸检测算法，用户可在实际应用中测试各算法针对具体问题的效果，选择效果最优的算法作为最终的选定算法。（5）本专利技术中的图像预处理模块对摄像头直接采集到的图像进行预处理，降低了系统对摄像头的要求，在配置像素较低的摄像头时也能取得良好的效果。附图说明图1是本专利技术的硬件结构示意图；图2是本专利技术的软件程序流程示意图；图3是本专利技术的运行过程示意图。具体实施方式下面结合附图对本专利技术做进一步详细的说明。一种嵌入式人脸检测系统，它包括CMOS图像传感器、图像处理主芯片、LCD显示屏和加载于图像处理主芯片上的软件部分，COMS图像传感器通过DVP并行信号进行图像输出给图像处理主芯片，图像处理主芯片包括NanoPi2开发板，采用ArmCotex-A9架构，内存为1GDDR3，同时NanoPi2开发板上集成了通讯模块，支持LCD显示屏的同步输出；图像处理主芯片上嵌入的软件部分载体为为Ubuntu16.04系统，使用的编程语言为C++；软件部分包括图像的输入和预处理模块、人脸检测模块以及界面设计和可视化输出模块，采用的开源C++库包括opencv、dlib，人脸检测模块包括PICO、MTCNN、SIMD以及opencv和dlib自带的人脸检测模块，各模块之间可方便地进行切换，人脸检测部分的代码均经过arm指令集的加速和优化；图像的输入和预处理模块采用opencv函数，包括图像获取、尺寸本文档来自技高网...

【技术保护点】
1.一种嵌入式人脸检测系统，它包括CMOS图像传感器、图像处理主芯片、LCD显示屏和加载于图像处理主芯片上的软件部分，其特征在于：所述COMS图像传感器通过DVP并行信号进行图像输出给图像处理主芯片，图像处理主芯片包括NanoPi2开发板，采用Arm Cotex‑A9架构，内存为1G DDR3，同时NanoPi2开发板上集成了通讯模块，支持LCD显示屏的同步输出；图像处理主芯片上嵌入的软件部分载体为为Ubuntu16.04 系统，使用的编程语言为C++；软件部分包括图像的输入和预处理模块、人脸检测模块以及界面设计和可视化输出模块，采用的开源C++库包括opencv、dlib，人脸检测模块包括PICO、MTCNN、SIMD以及opencv和dlib自带的人脸检测模块，各模块之间可方便地进行切换，人脸检测部分的代码均经过arm指令集的加速和优化；图像的输入和预处理模块采用opencv函数，包括图像获取、尺寸归一化以及降噪部分；可视化输出模块包括图片中人脸的标记和标记结果显示，人脸的标记采用圆形标记，圆形标记的尺寸以将检测到的人脸覆盖的矩形区域的尺寸为标准，标记结果显示部分基于Qt设计，采用Qt中的定时器模块运行人脸检测程序；CMOS图像传感器将采集到的一帧图像进行数字化处理，结果存入程序中的图像变量，内容为一个三维矩阵；CMOS图像传感器将图像变量传输给图像处理主芯片，图像处理主芯片通过图像预处理模块将原始图像变为适合算法识别的图像，采用最邻近算法将原始图像放缩为64×64尺寸的图像，然后采用高斯平滑滤波的方法对图像进行滤波，再根据用户选定的算法对当前图像进行扫描并输出人脸在缩放后图像中的位置，用矩形对角点的坐标表示，然后根据缩放比例确定人脸在原始图像中的矩形位置，通过人脸标记模块在原始图片相应位置画圆，得到最终需要输出的图像；最后将该图像更新到Qt的图像槽中，刷新LCD显示屏的界面即可实现该次人脸检测结果的显示，同时检测到的人脸的数量、裁剪后的人脸图片以及人脸位置通过通讯模块传到上位机进行数据的记录，上位机通过通讯模块修改程序中的部分参数，以达到最佳的识别效果。...

【技术特征摘要】
1.一种嵌入式人脸检测系统，它包括CMOS图像传感器、图像处理主芯片、LCD显示屏和加载于图像处理主芯片上的软件部分，其特征在于：所述COMS图像传感器通过DVP并行信号进行图像输出给图像处理主芯片，图像处理主芯片包括NanoPi2开发板，采用ArmCotex-A9架构，内存为1GDDR3，同时NanoPi2开发板上集成了通讯模块，支持LCD显示屏的同步输出；图像处理主芯片上嵌入的软件部分载体为为Ubuntu16.04系统，使用的编程语言为C++；软件部分包括图像的输入和预处理模块、人脸检测模块以及界面设计和可视化输出模块，采用的开源C++库包括opencv、dlib，人脸检测模块包括PICO、MTCNN、SIMD以及opencv和dlib自带的人脸检测模块，各模块之间可方便地进行切换，人脸检测部分的代码均经过arm指令集的加速和优化；图像的输入和预处理模块采用opencv函数，包括图像获取、尺寸归一化以及降噪部分；可视化输出模块包括图片中人脸的标记和标记结果显示，人脸的标记采用圆形标记，圆形标记的尺寸以将检测到的人脸覆盖的矩形区域的尺寸为标准，标记结果显示部分基于Qt设计，采用Qt中的定时器模块运行人脸检测程序；CMOS图像传感器将采集到的一帧图像进行数字化处理，结果存入程序中的图像变量，内容为一个三维矩阵；CMOS图像传感器将图像变量传输给图像处理主芯片，图像处理主芯片通过图像预处理模块将原始图像变为适合算法识别的图像，采用最邻近算法将原始图像放缩为64×64尺寸的图像，然后采用高斯平滑滤波的方法对图像进行滤波，再根据用户选定的算法对当前图像进行扫...

【专利技术属性】
技术研发人员：马宏宾，宋利，于博洋，
申请(专利权)人：郑州目盼智能科技有限公司，
类型：发明
国别省市：河南,41