一种智能监视方法与装置制造方法及图纸

本发明专利技术公开了一种智能监视方法与装置，由电源及充放电模块、摄像头模块、存储和数据通讯模块、音频模块，以及核心模块；电源及充放电模块中包含电池模组、电压转换模块、电源电路及电源管理单元PMU，核心模块中包括处理器和内存，所述处理器中包含语音识别功能、专注力分析功能和电源控制开关功能的代码。专注力分析功能用于对监控人员的注意力进行评估，实现作业的实时监督功能，语音识别功能用于语音控制。制。制。

【技术实现步骤摘要】
一种智能监视方法与装置


[0001]本专利技术属于计算机视觉


技术介绍

[0002]专注力是一切学习的基础，也是孩子适应环境的基本能力之一。专注力影响着孩子的成绩，也影响着孩子的自信心，更影响着孩子的未来发展。研究表明：成绩好的孩子往往有着更高的专注度；对于成人，专注力同样重要：我们处在一个高效率，快节奏的信息时代，信息爆炸和高强度的工作使得人们缺乏专注力。往往表现为：3分钟热度，做事容易半途而废；心不在焉，长沉浸于幻想中，企图以虚构方式应付挫折，获得满足；往往缺乏思考，独立判断，容易被其他人杂乱的信息广告等诱导决定；专注力低引发记忆力健忘，抗干扰能力低。
[0003]但是市场上并没有一个准确的算法与装置检测、识别用户的专注度，也没有一个装置能够系统的帮助人们锻炼专注度。本专利技术为了解决这个问题。

技术实现思路

[0004]为了解决上述问题，本专利技术公开了一种智能专注度检测方法与装置，本专利技术所采用的技术方案如下：
[0005]一种智能专注度检测装置，由电源及充放电模块、摄像头模块、存储和数据通讯模块、音频模块，以及核心模块；
[0006]电源及充放电模块中包含电池模组5、电压转换模块、电源电路及电源管理单元PMU，电池模组5通过电压转换模块与电源电路连接，通过电源电路对其他模块供电，电源管理单元PMU与电源电路连接，通过电源电路对供电电压进行管理；
[0007]摄像头模块主要包含MIPI或DVP接口和摄像头模组3两部分，摄像头模组3通过MIPI或DVP接口与核心模块相连；
[0008]音频模块主要包含扬声器1、麦克风7和编译码器Codec组成；扬声器1和麦克风7分别通过编译码器Codec与核心模块相连；
[0009]存储和数据通讯模块包含通信接口、存储器接口、数据线接口和存储器；存储器通过存储器接口与核心模块通信连接；通过通信接口实现联网和数据通信功能，数据线接口用于连接是数据线，进行设备与外部的信息交换。
[0010]通信接口可以是WiFi接口、蓝牙接口和/或串口。
[0011]核心模块中包括处理器和内存，所述处理器中包含语音识别功能、专注度检测功能和电源控制开关功能的代码。
[0012]所述的专注度检测功能中包含表情识别模块、人脸识别模块和姿态识别模块，
[0013]其中，表情识别模块根据摄像头模组3获取的图像信息，通过神经网络将表情进行分类，如：高兴、悲伤、愤怒、厌恶、恐惧、惊讶、平静等，优选7个以上维度数据。
[0014]人脸识别模块根据摄像头模组3获取的图像信息，通过目标检测算法提取出面部
关键点信息和人脸框信息，面部关键点优选10个以上点，人脸框信息数据至少4个维度。
[0015]姿态识别模块根据摄像头模组3获取的图像信息，通过神经网络对目标分类姿态进行识别和分类；获得姿态种类优选至少包括：摇摆、旋转和俯仰3个种类，即3个维度的姿态种类数据。
[0016]专注度检测功能模块以表情识别模块、人脸识别模块和姿态识别模块的结果作为输入数据，通过将上述数据进行拟合和处理，输出三个结果，专注、分心和严重分心。
[0017]具体地，专注度检测功能的处理模型由输入模块、输入层、全连接层和输出层组成，所述的输入模块由表情识别子模块、人脸识别子模块和姿态识别子模块组成，
[0018]表情识别子模块采用卷积神经网络模型，该卷积神经网络包括1个输入层、第一卷积层C1、第二卷积层C2和第三卷积层C3、第一全连接层FC4和第二全连接层FC5，和1个输出层。
[0019]人脸识别子模块采用bounding boxes预测模型；处理步骤如下：
[0020]1.由原始图片和PNet生成预测的bounding boxes；
[0021]2.输入原始图片和PNet生成的bounding box，通过RNet，生成校正后的bounding box；
[0022]3.输入元素图片和RNet生成的bounding box，通过ONet，生成校正后的bounding box和人脸面部轮廓关键点。
[0023]姿态识别子模块利用人体检测模型识别视频流中的人体所在位置，输出包围人体矩形框，并裁对齐成规定尺寸，进入卷积神经网络；模型输入是一个48*48*3大小的图片，通过32个3*3*3的卷积核和3*3(stride＝2)的max pooling后转换为32个23*23的特征图；通过64个3*3*32的卷积核和3*3(stride＝2)的max pooling后转换为64个10*10的特征图；通过64个3*3*64的卷积核和3*3(stride＝2)的max pooling后转换为64个4*4的特征图；通过128个2*2*64的卷积核转换为128个3*3的特征图；通过全链接操作转换为256大小的全链接层，计算网络预测的各个关节点的响应图，定位各关节位置，所述的关节点具体顺序依次为头部，颈部，右肩，右肘，右腕，左肩，左肘，左腕，右臀，右膝，右脚踝，左臀，左膝，左脚踝，最终合成人体骨架结构信息。加载已训练好的多分类支持向量机分类器模型；用所有的子分类器进行测试并计算骨架信息预测类别及概率值，最终得到对应的人体状态结果，包括摇摆，旋转，俯仰等状态。
[0024]进一步的，将每个模块数据输入对应的前馈神经网络进行拟合，再对不同的表情识别子模块、人脸识别子模块和姿态识别子模块的输出结果乘以权重值，同时对时间上的维度进行权重的积累，形成专注度预测函数值将专注度评价状态分成：重度分心、分心、轻度分心、轻度专注、专注和深度专注6个状态。对应标注好的数据求损失函数，这里的损失函数采用的是：均方误差损失。
[0025]通过对模型的训练拟合，最终形成精度高，相应快的模型权重。形成成熟的专注度算法。本算法可以实时识别用户的专注状态。
[0026]本专利技术的有益效果：
[0027]1、通过使用本专利技术，用户在学习时，本装置可以自动识别用户的面部表情，如果用户注意力分散可以进行及时提醒，帮助用户养成学习注意力集中好习惯。
[0028]2、通过使用本专利技术，用户在学习时，如果坐姿不端正，本专利技术可以进行提醒并纠
正，帮助用户养成良好坐姿，养成良好的学习习惯。
[0029]3、通过使用本专利技术，用户在学习时，父母可以通过远程指令，通过摄像头得到用户当前学习实时照片，进行监督，满足了父母监督用户学习与陪伴用户学习的需求。
[0030]语音消息：设备可以给APP发语音，10s。用户可以将语音信息通过设备录音，由app客户端与服务器发给父母客户端，
[0031]通过专注度，学习时长可以获得积分，通过积分积累可以在虚拟商城购买虚拟人物配饰。勋章系统。
[0032]统计时长，专注度时长，根据搜集的信息进行用户学习报告，給用户专业的评估指导。
[0033]4、通过本使用本专利技术，用户在学习时，如果有遇到学习上不懂的问题，可以通过本专利技术的语音交互系统，对本机器人提问，通过解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能监视装置，其特征在于，该装置由电源及充放电模块、摄像头模块、存储和数据通讯模块、音频模块，以及核心模块组成；电源及充放电模块中包含电池模组(6)、电压转换模块、电源电路及电源管理单元PMU，电池模组(6)通过电压转换模块与电源电路连接，通过电源电路对其他模块供电，电源管理单元PMU与电源电路连接，通过电源电路对供电电压进行管理；摄像头模块主要包含摄像头接口和摄像头模组(3)两部分，摄像头模组(3)通过MIPI或DVP接口与核心模块相连；音频模块主要包含扬声器(1)、麦克风(7)和编译码器Codec组成；扬声器(1)和麦克风(7)分别通过编译码器Codec与核心模块相连；存储和数据通讯模块包含通信接口、存储器接口、数据线接口和存储器；存储器通过存储器接口与核心模块通信连接；通过通信接口实现联网和数据通信功能，数据线接口用于连接是数据线，进行设备与外部的信息交换；核心模块中包括处理器和内存，所述处理器中包含语音识别功能、专注力分析功能和电源控制开关功能的代码。2.根据权利要求1所述的智能监视装置，其特征在于，通信接口是WiFi接口、蓝牙接口和OTG数据接口。3.根据权利要求1所述的智能监视装置，其特征在于，所述的专注力分析功能中包含表情识别模块、人脸识别模块和姿态识别模块；其中，表情识别模块根据摄像头模组(3)获取的图像信息，通过神经网络将表情进行分类，人脸识别模块根据摄像头模组(3)获取的图像信息，通过目标检测算法提取出面部关键点信息和人脸框信息；姿态识别模块根据摄像头模组(3)获取的图像信息，通过神经网络对目标分类姿态进行识别和分类；专注力分析功能模块以表情识别模块、人脸识别模块和姿态识别模块的结果作为输入数据，通过将上述数据进行拟合和处理，输出三个结果，专注、分心和严重分心。4.根据权利要求3所述的智能监视装置，其特征在于，将专注度评价状态分成：重度分心、分心、轻度分心、轻度专注、专注和深度专注6个状态，以输出层的结果作为实时状态，结合上一专注度评价状态和上一专注度评价状态持续的时间专注度分类表格，根据查表得出当前的专注度评价状态。5.根据权利要求3或4所述的智能监视装置，其特征在于，表情识别子模块所识别的表情至少应当包括：高兴、悲伤、愤怒、厌恶、恐惧、惊讶和平静7个种类，即7个维度的表情数据。6.根据权利要求5所述的智能监视装置，其特征在于，表情识别子模块采用卷积神经网络模型，该卷积神经网络包括1个输入层、第一卷积层C1、第二卷积层C2和第三卷积层C3、第一全连接层FC4和第二全连接层FC5，和1个输出层。7.根据权利要求3或4所述的智能监视装置，其特征在于，人脸识别子模块识别的面部关键点至少应当包括10个点的数据，即10个维度的面部关键点数据；识别出的人脸框信息数据至少4个维度。
8.根据权利要求7所述的智能监视装置，其特征在于，人脸识别子模块采用bounding bo...

【专利技术属性】
技术研发人员：张叶，常旭岭，许佳佳，
申请(专利权)人：长春市长光芯忆科技有限公司，
类型：发明
国别省市：