本申请涉及网络直播技术领域中一种视频图像识别方法、特效添加方法及装置、设备、介质，所述视频图像识别方法包括：获取直播视频流的图像帧，检测出包含人脸的图像帧中的多个关键点；基于人脸眉心对应的第一关键点和人脸鼻尖对应的第二关键点确定出第一距离，基于所述第二关键点和人脸下巴尖对应的第三关键点确定出第二距离；基于所述第一距离和所述第二距离确定出点头幅度系数；当所述点头幅度系数满足预设条件时，识别出所述直播视频流中存在点头动作。本申请能够以轻量化的运算实现高效精准地识别视频图像中的点头动作。精准地识别视频图像中的点头动作。精准地识别视频图像中的点头动作。
【技术实现步骤摘要】
视频图像识别方法、特效添加方法及装置、设备、介质
[0001]本申请涉及网络直播
，尤其涉及一种直播间特效添加方法、一种视频图像识别方法及其相应的装置、电子设备、计算机可读存储介质。
技术介绍
[0002]网络直播场景中，主播用户向直播间推送视频流，实现才艺展示、信息分享、知识教育等应用目的，使主播用户通过这些活动参与社会劳动获取收益，促进整体社会效益。
[0003]目前传统技术实现的视频图像识别，通常采用专用神经网络模型识别出视频图像中的人物的点头动作，识别精度高，但计算量大，需要大量的运算资源。除此之外，需要采集大量预先标注的训练样本供该神经网络模型进行训练，以确保该神经网络模型训练至收敛状态后，该神经网络模型的识别精度达标，然而，这些训练样本的标注成本较高，采集难度较大，不符合成本效益。
[0004]鉴于传统技术的不足，本申请人长期从事相关领域的研究，为解决业内难题，故另辟蹊径。
技术实现思路
[0005]本申请的首要目的在于解决上述问题至少之一而提供一种视频图像识别方法、特效添加方法及相应的装置、电子设备、计算机可读存储介质。
[0006]为满足本申请的各个目的，本申请采用如下技术方案：
[0007]适应本申请的目的之一而提供的一种视频图像识别方法，包括如下步骤：
[0008]获取直播视频流的图像帧，检测出包含人脸的图像帧中的多个关键点；
[0009]基于人脸眉心对应的第一关键点和人脸鼻尖对应的第二关键点确定出第一距离，基于所述第二关键点和人脸下巴尖对应的第三关键点确定出第二距离；
[0010]基于所述第一距离和所述第二距离确定出点头幅度系数；
[0011]当所述点头幅度系数满足预设条件时，识别出所述直播视频流中存在点头动作。
[0012]进一步的实施例中，所述当所述点头幅度系数满足预设条件时，识别出所述直播视频流中存在点头动作，包括如下步骤：
[0013]获取连续多个所述图像帧中，各个图像帧所对应的所述点头幅度系数中的最大值和最小值；
[0014]计算出所述最大值与所述最小值的差值作为第一目标值；
[0015]确定所述第一目标值不小于第一阈值且任意一个所述图像帧所对应的点头幅度系数大于第二阈值时，识别出所述直播视频流中存在点头动作。
[0016]进一步的实施例中，所述当所述点头幅度系数满足预设条件时，识别出所述直播视频流中存在点头动作，包括如下步骤：
[0017]获取连续多张所述图像帧中，各个图像帧所对应的所述点头幅度系数中的最大值和最小值；
[0018]计算出所述最大值与所述最小值的差值作为第一目标值，以及所述最大值与所述最小值的比值作为第二目标值；
[0019]确定所述第一目标值不小于第一阈值且第二目标值大于第三阈值时，识别出所述直播视频流中存在点头动作。
[0020]进一步的实施例中，所述确定所述第一目标值不小于第一阈值且任意一个所述图像帧所对应的点头幅度系数大于第二阈值时，识别出所述直播视频流中存在点头动作之前，包括如下步骤：
[0021]采集多个视频流，每个视频流包含以单个幅度实施点头动作相对应的视频内容，确定出每个所述视频流的图像帧对应的点头幅度系数；
[0022]根据所述多个视频流的点头幅度系数的数值分布确定第四阈值；
[0023]计算出所述第二目标值的中值，以所述中值与所述第四阈值中的最大值作为所述第二阈值。
[0024]进一步的实施例中，所述识别出所述直播视频流中存在点头动作之后，包括如下步骤：
[0025]响应特效开启请求，采用目标检测模型识别出所述包含人脸的图像帧中的人脸，将所述人脸替换成第一数字图像；
[0026]响应点头动作识别事件，确定连续多次识别出所述直播视频流中存在点头动作，将所述第一数字图像替换成第二数字图像。
[0027]进一步的实施例中，所述识别出所述直播视频流中存在点头动作之后，包括如下步骤：
[0028]响应通知推送请求，推送福利发放通知给用户；
[0029]响应点头动作识别事件，根据确定连续多次识别出所述直播视频流中存在点头动作，确认所述福利发放通知，在直播间发放福利。
[0030]另一方面，适应本申请的目的之一而提供的直播间特效添加方法，包括：
[0031]获取直播视频流；
[0032]采用本申请的视频图形识别方法的任意一项实施例所述的方法识别出所述直播视频流中是否存在点头动作；
[0033]当检测到所述直播视频流中存在点头动作时，向所述直播视频流添加特效图像；
[0034]将添加特效图像后的直播视频流推送到直播间。
[0035]另一方面，适应本申请的目的之一而提供的一种视频图像识别装置，包括视频获取模块、距离确定模块、系数确定模块以及动作识别模块，其中，视频获取模块，用于获取直播视频流的图像帧，检测出包含人脸的图像帧中的多个关键点；距离确定模块，用于基于人脸眉心对应的第一关键点和人脸鼻尖对应的第二关键点确定出第一距离，基于所述第二关键点和人脸下巴尖对应的第三关键点确定出第二距离；系数确定模块，用于基于所述第一距离和所述第二距离确定出点头幅度系数；动作识别模块，用于当所述点头幅度系数满足预设条件时，识别出所述直播视频流中存在点头动作。
[0036]进一步的实施例中，所述动作识别模块，包括：第一最值确定子模块，用于获取连续多个所述图像帧中，各个图像帧所对应的所述点头幅度系数中的最大值和最小值；第一数值计算子模块，用于计算出所述最大值与所述最小值的差值作为第一目标值；第一阈值
判断子模块，用于确定所述第一目标值不小于第一阈值且任意一个所述图像帧所对应的点头幅度系数大于第二阈值时，识别出所述直播视频流中存在点头动作。
[0037]进一步的实施例中，所述动作识别模块，包括：第二最值确定子模块，用于获取连续多张所述图像帧中，各个图像帧所对应的所述点头幅度系数中的最大值和最小值；第二数值计算子模块，用于计算出所述最大值与所述最小值的差值作为第一目标值，以及所述最大值与所述最小值的比值作为第二目标值；第二阈值判断子模块，用于确定所述第一目标值不小于第一阈值且第二目标值大于第三阈值时，识别出所述直播视频流中存在点头动作。
[0038]进一步的实施例中，所述第一阈值判断子模块之前，包括：系数确定子模块，用于采集多个视频流，每个视频流包含以单个幅度实施点头动作相对应的视频内容，确定出每个所述视频流的图像帧对应的点头幅度系数；第一阈值确定子模块，用于根据所述多个视频流的点头幅度系数的数值分布确定第四阈值；第二阈值确定子模块，用于计算出所述第二目标值的中值，以所述中值与所述第四阈值中的最大值作为所述第二阈值。
[0039]进一步的实施例中，所述动作识别模块之后，包括：请求响应子模块，用于响应特效开启请求，采用目标检测模型识别出所述包含人脸的图像帧中的人脸，将所述人脸替换成第一数字图像；图像替换子模块，用于本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频图像识别方法，其特征在于，包括如下步骤：获取直播视频流的图像帧，检测出包含人脸的图像帧中的多个关键点；基于人脸眉心对应的第一关键点和人脸鼻尖对应的第二关键点确定出第一距离，基于所述第二关键点和人脸下巴尖对应的第三关键点确定出第二距离；基于所述第一距离和所述第二距离确定出点头幅度系数；当所述点头幅度系数满足预设条件时，识别出所述直播视频流中存在点头动作。2.根据权利要求1所述的视频图像识别方法，其特征在于，所述当所述点头幅度系数满足预设条件时，识别出所述直播视频流中存在点头动作，包括如下步骤：获取连续多个所述图像帧中，各个图像帧所对应的所述点头幅度系数中的最大值和最小值；计算出所述最大值与所述最小值的差值作为第一目标值；确定所述第一目标值不小于第一阈值且任意一个所述图像帧所对应的点头幅度系数大于第二阈值时，识别出所述直播视频流中存在点头动作。3.根据权利要求1所述的视频图像识别方法，其特征在于，所述当所述点头幅度系数满足预设条件时，识别出所述直播视频流中存在点头动作，包括如下步骤：获取连续多张所述图像帧中，各个图像帧所对应的所述点头幅度系数中的最大值和最小值；计算出所述最大值与所述最小值的差值作为第一目标值，以及所述最大值与所述最小值的比值作为第二目标值；确定所述第一目标值不小于第一阈值且第二目标值大于第三阈值时，识别出所述直播视频流中存在点头动作。4.根据权利要求2所述的视频图像识别方法，其特征在于，所述确定所述第一目标值不小于第一阈值且任意一个所述图像帧所对应的点头幅度系数大于第二阈值时，识别出所述直播视频流中存在点头动作之前，包括如下步骤：采集多个视频流，每个视频流包含以单个幅度实施点头动作相对应的视频内容，确定出每个所述视频流的图像帧对应的点头幅度系数；根据所述多个视频流的点头幅度系数的数值分布确定第四阈值；计算出所述第二目标值的中值，以所述中值与所述第四阈值中的最大值作为所述第二阈值。5.根据权...
【专利技术属性】
技术研发人员：何兆华，张涛，陈增海，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。