一种视频中人物的表情识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种视频中人物的表情识别方法、装置、设备及存储介质，涉及视频内容分析技术领域。其中，方法包括：从待处理视频中获取多个第一图像；灰度化所述第一图像，获得第二图像；通过人脸检测模型，获得所述第二图像上的人脸区域；根据所述人脸区域，从多个第二图像中，筛选出包含正脸的第三图像；通过人脸识别模型，获取所述第三图像的人脸区域对应的人物信息；通过表情识别模型，获取所述第三图像的人物信息对应的表情信息。本发明专利技术大大提高了其大大提高了现有技术中分析视频、标注视频的效率，并且稳定可靠，不受人为因素影响，具有很好的实际意义。

【技术实现步骤摘要】
一种视频中人物的表情识别方法、装置、设备及存储介质
本专利技术涉及视频内容分析
，具体而言，涉及一种视频中人物的表情识别方法、装置、设备及存储介质。
技术介绍
随着互联网大发展的时代到来，视频流媒体数据总量不断扩大，流媒体市场正在向着整合资源，优化输出效果的高质量方向发展。流媒体蕴含着大量的重要信息，但目前对视频流的数据挖掘程度只是冰山一角。其中，人物的表情的变化，可以反映出视频整体的剧情走向，若充分挖掘视频流信息，进行有效标注，则有助于电影或自媒体等视频流行业的发展带来广阔市场前景。尤其是为视频推荐算法提供可靠的推荐基础。目前，流媒体数据的标记均是人工完成的，面对几何式增长的视频流数据，传统方式效率过于低下。同时，目前对于视频流信息分析的研究工作主要集中于真实人的语音和文本两个方向，针对视频中的人物情感识别挖掘方法尚不成熟。有鉴于此，申请人在研究了现有的技术后特提出本申请。
技术实现思路
本专利技术提供了一种视频中人物的表情识别方法、装置、设备及存储介质，以改善相关技术中的无法高效的对流媒体数据进行标记问题。第一方面，本专利技术实施例提供了一种视频中人物的表情识别方法，其包括：从待处理视频中获取多个第一图像；灰度化所述第一图像，获得第二图像；通过人脸检测模型，获得所述第二图像上的人脸区域；根据所述人脸区域，从多个第二图像中，筛选出包含正脸的第三图像；通过人脸识别模型，获取所述第三图像的人脸区域对应的人物信息；通过表情识别模型，获取所述第三图像的人物信息对应的表情信息。可选地，从待处理视频中获取多个第一图像，具体为：遍历所述待处理视频，获取多个关键帧；根据所述关键帧，获得两个关键帧间四分位点的特定帧为所述第一图像；其中，两个关键帧在所述待处理视频中的序号分别为i，j，特定帧的序号为可选地，所述表情识别方法包括：根据所述人脸区域、所述人物信息，以及所述表情信息，获得目标视频；所述根据所述人脸区域、所述人物信息，以及所述表情信息，获得目标视频，包括：将所述人脸区域、所述人物信息，以及所述表情信息标注在所述特定帧；扩展所述特定帧的标注信息至相邻的所述关键帧；根据所述待处理视频、标注后的所述特定帧，以及标注后的所述关键帧，重组目标视频。可选地，所述表情识别方法包括：构建人脸检测模型；构建人脸检测模型，包括：获取多个第一样本；其中，所述第一样本为灰度图像，多个所述第一样本包括包含人正脸的正样本M张，以及不包含人脸的负样本N张，M：N＝1：3；分别计算每个第一样本的积分图；其中，所述积分图的表达式为：SATk(x,y)＝∑x′≤x,y′≤yk(x′,y′)，k(x,y)为第k个第一样本的像素值，k(x′,y′)表示第k个第一样本上坐标为(x′,y′)的像素值；根据所述积分图，基于预设大小的特征检测窗口，计算出Haar图像特征；根据所述Haar图像特征，训练Adaboost级联分类器，获得所述人脸检测模型；可选地，通过人脸检测模型，获得所述第二图像上的人脸区域，具体为：通过所述人脸检测模型，得到所述第二图像上的人脸位置坐标；其中，所述人脸位置坐标为(x0,y0,x1,y1,kn)，(x0,y0)为人脸左上角的位置坐标，(x1,y1)为人脸右下角的位置坐标，kn为第k张第二图像上的第n个人脸位置坐标；可选地，根据所述人脸区域，从多个第二图像中，筛选出包含正脸的第三图像，具体为：当时，保留对应的人脸区域，否则删除对应的人脸区域；当所述第二图像不具有的人脸区域时，删除对应的第二图像。可选地，所述表情识别方法包括：构建人脸识别模型；所述构建人脸识别模型，包括：获取多个第二样本；其中，所述第二样本为灰度图像，多个所述第二样本分别包含待处理视频中的不同人物的正脸；基于LBP圆形算子，计算各第二样本的LBP特征图；将所述LBP特征图分成多个区域，并计算各区域特征图像的直方图；将所述直方图按区域的空间顺序依次排列成一行，以获得不同人物对应的基准LBP特征向量；可选地，通过人脸识别模型，获取所述第三图像的人脸区域对应的人物信息，具体为：获取所述第三图像的所述人脸区域的LBP特征向量；根据相似性度量函数，分别计算所述LBP特征向量和多个基准LBP特征向量的相似度；当相似度大于0.8时，输出当前基准LBP特征向量对应的人物信息。可选地，所述表情识别方法包括：构建表情识别模型；所述构建表情识别模型，包括：获取多个第三样本；其中，所述第三样本是灰度图像，多个所述第三样本分别为7类人脸表情图像各50张，7类人脸表情分别为中性的、开心、伤心、惊讶、恐惧、生气，以及厌恶；将多个所述第三样本重整为一维向量并打乱顺序；根据多个所述第三样本的一维向量，训练Xception深度学习模型，以小批次梯度下降法进行优化，以分别获得多个所述第三样本对应的7类人脸表情的预测概率；基于0.1的神经元遗弃率，训练迭代所述Xception深度学习模型多次，获得表情识别模型；可选地，通过表情识别模型，获取所述第三图像的人脸区域对应的表情信息，具体为：将所述第三图像的人脸区域的图像重整为一维向量；根据所述表情识别模型，基于所述第三图像的一维向量，输出对应的表情信息。可选地，分别计算每个第一样本的积分图，具体为：采用增量的方式计算所述积分图；其中，计算公式为：SATk(x′,y′)＝SATk(x′,y′-1)+AATk(x′-1,y′)-SATk(x′-1,y′-1)+k(x′,y′)，k(x′,y′)表示第k个第一样本上坐标为(x′,y′)的像素点的像素值。增量计算的初始边界为：SAT(-1,y′)＝AAT(x′,-1)＝SAT(-1,-1)＝0。第二方面，本专利技术实施例提供一种视频中人物的表情识别装置，包括：第一图像获取模块，用于从待处理视频中获取多个第一图像；灰度化模块，用于灰度化所述第一图像，获得第二图像；人脸检测模块，用于通过人脸检测模型，获得所述第二图像上的人脸区域；正脸筛选模块，用于根据所述人脸区域，从多个第二图像中，筛选出包含正脸的第三图像；人脸识别模块，用于通过人脸识别模型，获取所述第三图像的人脸区域对应的人物信息；表情识别模块，用于通过表情识别模型，获取所述第三图像的人物信息对应的表情信息。可选地，表情识别装置还包括：人脸检测模型构建模块、人脸识别模型构建模块，以及表情识别模型构建模块；可选地，人脸检测模型构建模块，包括：第一样本获取单元，用于获取多个第一样本；其中，所述第一样本为灰度图像，多个所述第一样本包括包含人正脸的正样本M张，以及不包含人脸的负样本N张，M：N＝1：3；积分图计算单元，用于分别计算每个第一本文档来自技高网...

【技术保护点】
1.一种视频中人物的表情识别方法，其特征在于，包括：/n从待处理视频中获取多个第一图像；/n灰度化所述第一图像，获得第二图像；/n通过人脸检测模型，获得所述第二图像上的人脸区域；/n根据所述人脸区域，从多个第二图像中，筛选出包含正脸的第三图像；/n通过人脸识别模型，获取所述第三图像的人脸区域对应的人物信息；/n通过表情识别模型，获取所述第三图像的人物信息对应的表情信息。/n

【技术特征摘要】
1.一种视频中人物的表情识别方法，其特征在于，包括：
从待处理视频中获取多个第一图像；
灰度化所述第一图像，获得第二图像；
通过人脸检测模型，获得所述第二图像上的人脸区域；
根据所述人脸区域，从多个第二图像中，筛选出包含正脸的第三图像；
通过人脸识别模型，获取所述第三图像的人脸区域对应的人物信息；
通过表情识别模型，获取所述第三图像的人物信息对应的表情信息。


2.根据权利要求1所述的一种视频中人物的表情识别方法，其特征在于，
从待处理视频中获取多个第一图像，具体为：
遍历所述待处理视频，获取多个关键帧；
根据所述关键帧，获得两个关键帧间四分位点的特定帧为所述第一图像；其中，两个关键帧在所述待处理视频中的序号分别为i，j，特定帧的序号为
所述视频中人物的表情识别方法，还包括：根据所述人脸区域、所述人物信息，以及所述表情信息，获得目标视频；
所述根据所述人脸区域、所述人物信息，以及所述表情信息，获得目标视频，包括：
将所述人脸区域、所述人物信息，以及所述表情信息标注在所述特定帧；
扩展所述特定帧的标注信息至相邻的所述关键帧；
根据所述待处理视频、标注后的所述特定帧，以及标注后的所述关键帧，重组目标视频。


3.根据权利要求1所述的一种视频中人物的表情识别方法，其特征在于，所述表情识别方法包括：构建人脸检测模型；
构建人脸检测模型，包括：
获取多个第一样本；其中，所述第一样本为灰度图像，多个所述第一样本包括包含人正脸的正样本M张，以及不包含人脸的负样本N张，M∶N＝1∶3：
分别计算每个第一样本的积分图；其中，所述积分图的表达式为：SATk(x，y)＝∑x′≤x，y′≤yk(x′，y′)，k(x，y)为第k个第一样本的像素值，k(x′，y′)表示第k个第一样本上坐标为(x′，y′)的像素值；
根据所述积分图，基于预设大小的特征检测窗口，计算出Haar图像特征；
根据所述Haar图像特征，训练Adaboost级联分类器，获得所述人脸检测模型；
通过人脸检测模型，获得所述第二图像上的人脸区域，具体为：
通过所述人脸检测模型，得到所述第二图像上的人脸位置坐标；其中，所述人脸位置坐标为(x0，y0，x1，y1，kn)，(x0，y0)为人脸左上角的位置坐标，(x1，y1)为人脸右下角的位置坐标，kn为第k张第二图像上的第n个人脸位置坐标；
根据所述人脸区域，从多个第二图像中，筛选出包含正脸的第三图像，具体为：
当时，保留对应的人脸区域，否则删除对应的人脸区域；
当所述第二图像不具有的人脸区域时，删除对应的第二图像。


4.根据权利要求1所述的一种视频中人物的表情识别方法，其特征在于，所述表情识别方法包括：构建人脸识别模型；
所述构建人脸识别模型，包括：
获取多个第二样本；其中，所述第二样本为灰度图像，多个所述第二样本分别包含待处理视频中的不同人物的正脸；
基于LBP圆形算子，计算各第二样本的LBP特征图；
将所述LBP特征图分成多个区域，并计算各区域特征图像的直方图；
将所述直方图按区域的空间顺序依次排列成一行，以获得不同人物对应的基准LBP特征向量；
通过人脸识别模型，获取所述第三图像的人脸区域对应的人物信息，具体为：
获取所述第三图像的所述人脸区域的LBP特征向量；
根据相似性度量函数，分别计算所述LBP特征向量和多个基准LBP特征向量的相似度；
当相似度大于0.8时，输出当前基准LBP特征向量对应的人物信息。


5.根据权利要求1所述的一种视频中人物的表情识别方法，其特征在于，所述表情识别方法包括：构建表情识别模型；
所述构建表情识别模型，包括：
获取多个第三样本；其中，所述第三样本是灰度图像，多个所述第三样本分别为7类人脸表情图像各50张，7类人脸表情分别为中性的、开心、伤心、惊讶、恐惧、生气，以及厌恶；
将多个所述第三样本重整为一维向量并打乱顺序；
根据多个所述第三样本的一维向量，训练Xception深度学习模型，以小批次梯度下降法进行优化，以分别获得多个所述第三样本对应的7类人脸表情的预测概率；
基于0.1的神经元遗弃率，训练迭代所述Xception深度学习模型多次，获得表情识别模型；
通过表情识别模型，获取所述第三图像的人脸区域对应的表情信息，具体为：
将所述第三图像的人脸区域的图像重整为一维向量；
根据所述表情识别模型，基于所述第三图像的一维向量，输出对应的表情信息。


6.根据权利要求3所述的一种视频中人物的表情识别方法，其特征在于，分别计算每个第一样本的积分图，具体为：
采用增量的方式计算所述积分图；其中，计算公式为：SATk(x′，y′)＝SATk(x′，y′-1)+SATk(x′-1，y′)-SATk(x′-1，y′-1)+k(x′，y′)，k(x′，y′)表示第k个第一样本上坐标为(x′，y′)的像素点的像素值。增量计算的初始边界为：SAT(-1，y′)＝...

【专利技术属性】
技术研发人员：贺惠新，范帅迪，崔子栋，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建;35