基于微表情和动作识别的智能培训方法、装置及存储介质制造方法及图纸

本发明专利技术涉及一种生物识别技术，揭露了一种基于微表情和动作识别的智能培训方法、装置及计算机可读存储介质，该方法包括：基于培训过程中学员的微表情和微动作建立微表情和微动作样本集；基于所述微表情和微动作样本集分析构建学习状态识别模型；基于人脸识别确定参加培训的每一学员的真实信息；采集所述参加培训的每一学员在培训过程中的照片和视频流，所述照片和视频流包括所述参加培训的每一学员在培训过程中的微表情和微动作；上传所述照片和视频流至所述学习状态识别模型；通过所述学习状态识别模型分析所述照片和视频流，获取所述参加培训的每一学员的学习状态结果；基于所述参加培训的每一学员的学习状态结果生成个人及整体培训班分析报告。

Intelligent training method, device and storage medium based on micro expression and action recognition

【技术实现步骤摘要】
基于微表情和动作识别的智能培训方法、装置及存储介质
本专利技术涉及人工智能领域，尤其涉及一种基于微表情和微动作识别的基于微表情和动作识别的智能培训方法、装置及计算机可读存储介质。
技术介绍
人工智能(ArtificialIntelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。现有的培训教学体系大多依赖讲师和助教的人工管理，人工管理模式只能通过人工模式判断学员的学习状态，不够智能，不能很好的确定学员的学习兴趣方向，也不能实现对学员的千人千面个性化培训和教学，且暂无基于微表情微动作识别的AI助教机器人或者方法；因此，有必要提供一种基于微表情和微动作识别的基于微表情和动作识别的智能培训方法。
技术实现思路
本专利技术提供一种基于微表情和动作识别的智能培训方法、装置及计算机可读存储介质，其主要目的在于判断学员的学习状态，从而确定学员的学习兴趣方向，优化调整培训课程内容；协助学校、机构等在学员培训、授课等环节提高效率。为实现上述目的，本专利技术提供一种基于微表情和动作识别的智能培训方法，所述基于微表情和动作识别的智能培训方法包括：基于培训过程中学员的微表情和微动作建立微表情和微动作样本集；基于所述微表情和微动作样本集分析构建学习状态识别模型；基于人脸识别确定参加培训的每一学员的真实信息；采集所述参加培训的每一学员在培训过程中的照片和视频流，所述照片和视频流包括所述参加培训的每一学员在培训过程中的微表情和微动作；上传所述照片和视频流至所述学习状态识别模型；通过所述学习状态识别模型分析所述照片和视频流，获取所述参加培训的每一学员的学习状态结果；基于所述参加培训的每一学员的学习状态结果生成个人及整体培训班分析报告。可选地，所述上传所述照片和视频流至所述学习状态识别模型的步骤包括：从所述照片和视频流中提取融合面部表情及肢体动作的特征向量后输入到所述学习状态识别模型中。可选地，所述从所述照片和视频流中提取融合面部表情及肢体动作的特征向量的步骤包括：采用基于Gabor滤波的特征检测方法，从所述视频流中提取脸部三维纹理特征；设定一个兴趣点初选阈值条件及一个兴趣点下限值，再采用非极大值抑制算法搜索所述视频流中的脸部三维纹理特征满足所述兴趣点初选阈值条件的局部极大值点，并从搜索出的局部极大值点中，将所有的脸部三维纹理特征大于兴趣点下限值的局部极大值点选为最终的时空兴趣点，选取各个时空兴趣点的脸部三维纹理特征构建一个面部表情时空特征矩阵；采用三维正交平面局部二进制模式算子从视频中提取人体肢体动作三维纹理特征构建一个肢体动作时空特征矩阵；对面部表情时空特征矩阵及肢体动作时空特征矩阵中的脸部三维纹理特征、人体肢体动作三维纹理特征，采用PCA算法进行降维，从而得到面部表情时空特征矩阵的主成分特征矩阵及肢体动作时空特征矩阵的主成分特征矩阵；采用基于典型相关分析的融合算法，对面部表情时空特征矩阵的主成分特征矩阵及肢体动作时空特征矩阵的主成分特征矩阵实施融合，得到融合后的特征向量。可选地，所述通过所述学习状态识别模型分析所述照片和视频流，获取所述参加培训的每一学员的学习状态结果的步骤包括：利用分类器对提取的特征向量实施分类分析，将分好类别的特征向量与预先建立的信息数据库中的状态信息相比对，所述信息数据库存放有多组积极、中性和消极三种学习状态的标准的特征向量，将所述信息数据库中的状态信息与分好类别的特征向量相匹配，从而得到学习状态分析结果。可选地，所述采集所述参加培训的每一学员在培训过程中的照片和视频流的步骤包括：在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；从所述正面图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量。本专利技术还提供一种电子装置，所述电子装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的人工智能培训程序，所述人工智能培训程序被所述处理器执行时实现如下步骤：基于培训过程中学员的微表情和微动作建立微表情和微动作样本集；基于所述微表情和微动作样本集分析构建学习状态识别模型；基于人脸识别确定参加培训的每一学员的真实信息；采集所述参加培训的每一学员在培训过程中的照片和视频流，所述照片和视频流包括所述参加培训的每一学员在培训过程中的微表情和微动作；上传所述照片和视频流至所述学习状态识别模型；通过所述学习状态识别模型分析所述照片和视频流，获取所述参加培训的每一学员的学习状态结果；基于所述参加培训的每一学员的学习状态结果生成个人及整体培训班分析报告。可选地，所述上传所述照片和视频流至所述学习状态识别模型的步骤包括：从所述照片和视频流中提取融合面部表情及肢体动作的特征向量后输入到所述学习状态识别模型中。可选地，所述从所述照片和视频流中提取融合面部表情及肢体动作的特征向量的步骤包括：采用基于Gabor滤波的特征检测方法，从所述视频流中提取脸部三维纹理特征；设定一个兴趣点初选阈值条件及一个兴趣点下限值，再采用非极大值抑制算法搜索所述视频流中的脸部三维纹理特征满足所述兴趣点初选阈值条件的局部极大值点，并从搜索出的局部极大值点中，将所有的脸部三维纹理特征大于兴趣点下限值的局部极大值点选为最终的时空兴趣点，选取各个时空兴趣点的脸部三维纹理特征构建一个面部表情时空特征矩阵；采用三维正交平面局部二进制模式算子从视频中提取人体肢体动作三维纹理特征构建一个肢体动作时空特征矩阵；对面部表情时空特征矩阵及肢体动作时空特征矩阵中的脸部三维纹理特征、人体肢体动作三维纹理特征，采用PCA算法进行降维，从而得到面部表情时空特征矩阵的主成分特征矩阵及肢体动作时空特征矩阵的主成分特征矩阵；采用基于典型相关分析的融合算法，对面部表情时空特征矩阵的主成分特征矩阵及肢体动作时空特征矩阵的主成分特征矩阵实施融合，得到融合后的特征向量。可选地，所述通过所述学习状态识别模型分析所述照片和视频流，获取所述参加培训的每一学员的学习状态结果的步骤包括：利用分类器对提取的特征向量实施分类分析，将分好类别的特征向量与预先建立的信息数据库中的状态信息相比对，所述信息数据库存放有多组积极、中性和消极三种学习状态的标准的特征向量，将所述信息数据库中的状态信息与分好类别的特征向量相匹配，从而得到学习状态分析结果。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人工智能培训程序，所述人工智能培训程序可被一个或者多个处理器执行，以实现上述的基于微表情和动作识别的智能培训方法的步骤。...

【技术保护点】
1.一种基于微表情和动作识别的智能培训方法，应用于电子装置中，其特征在于：所述基于微表情和动作识别的智能培训方法包括：/n基于培训过程中学员的微表情和微动作建立微表情和微动作样本集；/n基于所述微表情和微动作样本集分析构建学习状态识别模型；/n基于人脸识别确定参加培训的每一学员的真实信息；/n采集所述参加培训的每一学员在培训过程中的照片和视频流，所述照片和视频流包括所述参加培训的每一学员在培训过程中的微表情和微动作；/n上传所述照片和视频流至所述学习状态识别模型；/n通过所述学习状态识别模型分析所述照片和视频流，获取所述参加培训的每一学员的学习状态结果；/n基于所述参加培训的每一学员的学习状态结果生成个人及整体培训班分析报告。/n

【技术特征摘要】
1.一种基于微表情和动作识别的智能培训方法，应用于电子装置中，其特征在于：所述基于微表情和动作识别的智能培训方法包括：
基于培训过程中学员的微表情和微动作建立微表情和微动作样本集；
基于所述微表情和微动作样本集分析构建学习状态识别模型；
基于人脸识别确定参加培训的每一学员的真实信息；
采集所述参加培训的每一学员在培训过程中的照片和视频流，所述照片和视频流包括所述参加培训的每一学员在培训过程中的微表情和微动作；
上传所述照片和视频流至所述学习状态识别模型；
通过所述学习状态识别模型分析所述照片和视频流，获取所述参加培训的每一学员的学习状态结果；
基于所述参加培训的每一学员的学习状态结果生成个人及整体培训班分析报告。


2.如权利要求1所述的基于微表情和动作识别的智能培训方法，其特征在于，所述上传所述照片和视频流至所述学习状态识别模型的步骤包括：
从所述照片和视频流中提取融合面部表情及肢体动作的特征向量后输入到所述学习状态识别模型中。


3.如权利要求2所述的基于微表情和动作识别的智能培训方法，其特征在于，所述从所述照片和视频流中提取融合面部表情及肢体动作的特征向量的步骤包括：
采用基于Gabor滤波的特征检测方法，从所述视频流中提取脸部三维纹理特征；
设定一个兴趣点初选阈值条件及一个兴趣点下限值，再采用非极大值抑制算法搜索所述视频流中的脸部三维纹理特征满足所述兴趣点初选阈值条件的局部极大值点，并从搜索出的局部极大值点中，将所有的脸部三维纹理特征大于兴趣点下限值的局部极大值点选为最终的时空兴趣点，选取各个时空兴趣点的脸部三维纹理特征构建一个面部表情时空特征矩阵；
采用三维正交平面局部二进制模式算子从视频中提取人体肢体动作三维纹理特征构建一个肢体动作时空特征矩阵；
对面部表情时空特征矩阵及肢体动作时空特征矩阵中的脸部三维纹理特征、人体肢体动作三维纹理特征，采用PCA算法进行降维，从而得到面部表情时空特征矩阵的主成分特征矩阵及肢体动作时空特征矩阵的主成分特征矩阵；
采用基于典型相关分析的融合算法，对面部表情时空特征矩阵的主成分特征矩阵及肢体动作时空特征矩阵的主成分特征矩阵实施融合，得到融合后的特征向量。


4.如权利要求3所述的基于微表情和动作识别的智能培训方法，其特征在于，所述通过所述学习状态识别模型分析所述照片和视频流，获取所述参加培训的每一学员的学习状态结果的步骤包括：
利用分类器对提取的特征向量实施分类分析，将分好类别的特征向量与预先建立的信息数据库中的状态信息相比对，所述信息数据库存放有多组积极、中性和消极三种学习状态的标准的特征向量，将所述信息数据库中的状态信息与分好类别的特征向量相匹配，从而得到学习状态分析结果。


5.如权利要求1所述的基于微表情和动作识别的智能培训方法，其特征在于，所述采集所述参加培训的每一学员在培训过程中的照片和视频流的步骤包括：
在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；
从所述正面图像中提取面部表...

【专利技术属性】
技术研发人员：欧光礼，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44