动作识别方法及装置制造方法及图纸

本申请提供一种动作识别方法及装置，能够基于图像对图像中的目标物体的动作信息和光流信息进行识别，并根据动作信息和光流信息共同确定目标物体的动作，在对学生起立和坐下动作进行识别时具有较高的准确度，减少了录播设备因误检导致的拍摄模式的错误切换，从而能够提高录播设备的使用效果和所录制的视频数据的观看体验。的观看体验。的观看体验。

【技术实现步骤摘要】
动作识别方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种动作识别方法及装置。

技术介绍

[0002]随着电子技术的不断发展，以及对教育的不断重视，通过电子设备实现的信息化教学成为了一种新的发展趋势，信息化教学最常见的一种方式是通过录播设备等装置，对教室内教师的授课过程进行录制，使得不在教室内的学生能够通过直播或录制的音频、视频数据观看授课内容。
[0003]录播设备所需要具有的一个重要功能是对学生的动作进行识别，主要涉及教室内学生起立和坐下的两个动作。则当学生起立回答问题时，录播设备能够识别出学生的动作是起立，可以采集该学生局部的特写视频数据，随后当学生回答完问题坐下，录播设备还能够识别出学生的动作是坐下，即可停止采集学生的特写视频数据，切换为采集教室整体的视频数据。
[0004]采用现有技术，录播设备对于学生起立、坐下的动作识别的准确率均较低，使得录播设备无法更加精准地采集学生起立回答问题的视频数据，降低录播设备的使用效果和录播设备所录制视频数据的观看体验。

技术实现思路

[0005]本申请提供一种动作识别方法及装置，以解决录播设备对于学生起立、坐下的动作识别的准确率均较低的问题，从而提高录播设备的使用效果和所录制的视频数据的观看体验。
[0006]本申请第一方面提供一种动作识别方法，包括获取包括目标物体的第一图像；确定所述第一图像中所述目标物体的动作信息；计算所述第一图像中所述目标物体的光流类型；其中，所述光流类型包括：运动类型、静止类型或者无光流类型；根据所述动作信息和所述光流类型，确定所述目标物体的动作。
[0007]在本申请第一方面一实施例中，所述目标物体为教室内的学生；所述目标物体的动作包括：起立和坐下。
[0008]在本申请第一方面一实施例中，所述确定所述第一图像中所述目标物体的动作信息，包括：将所述第一图像输入机器学习模型，得到所述机器学习模型所输出的所述目标物体的动作信息，以及所述第一图像中所述目标物体的特征区域。
[0009]在本申请第一方面一实施例中，所述机器学习模型包括：空间注意力模块，用于提取所述第一图像中，所述目标物体边缘与周围物体的空间关联特征；跨阶段部分模块CSP，用于提供所述机器学习模型的基础网络Backbone，提取所述第一图像的Backbone特征；特征金字塔网络模块FPN，用于将所述CSP提取的Backbone特征与Backbone网络的第一深层特征相融合，得到多尺度特征；路径增强网络模块PAN，用于将FPN得到的多尺度特征与所述Backbone网络的第二深层特征相融合；检测头模块Yolo，用于根据所述FPN和PAN融合后的
特征，学习并解析出所述第一图像中，目标物体的动作信息、所述特征区域以及置信度信息。
[0010]在本申请第一方面一实施例中，所述计算所述第一图像中所述目标物体的光流类型，包括：确定所述第一图像中所述目标物体的特征区域内，多个特征点的光流长度和光流方向；根据所述第一图像中多个特征点的光流长度和光流方向，以及第二图像中多个特征点的光流长度和光流方向，确定所述目标物体的光流类型；其中，所述第二图像为所述第一图像前一帧的图像。
[0011]在本申请第一方面一实施例中，所述根据所述第一图像中多个特征点的光流长度和光流方向，以及第二图像中多个特征点的光流长度和光流方向，确定所述目标物体的光流类型，包括：从所述多个特征点中，确定在所述第一图像和在所述第二图像中水平方向上光流长度之差，小于竖直方向上光流长度之差，且竖直方向上光流值之差小于第一预设阈值的负数的第一特征点；从所述多个特征点中，确定在所述第一图像和在所述第二图像中水平方向上光流长度之差，小于竖直方向上光流长度之差，且竖直方向上光流值之差大于第一预设阈值的第二特征点；从所述多个特征点中，确定在所述第一图像和在所述第二图像中竖直方向上光流长度之差，小于水平方向上光流长度之差，且水平方向上光流值之差大于第一预设阈值的第三特征点；当所述第一特征点、所述第二特征点和所述第三特征点的数量之和大于第二预设阈值，则确定所述目标物体的光流为运动类型、当所述第一特征点、所述第二特征点和所述第三特征点的数量之和小于所述第二预设阈值，则确定所述目标物体的光流为静止类型、当确定所述第一图像中不包括所述特征点时，则确定所述目标物体的光流为无光流类型。
[0012]在本申请第一方面一实施例中，所述根据所述动作信息和所述光流类型，确定所述目标物体的动作，包括：当所述第一图像中所述目标物体的动作信息指示所述目标物体的动作为起立，且所述第一图像中所述目标物体的光流信息为运动类型、所述第二图像中所述目标物体的动作为坐下时，则确定所述第一图像中所述目标物体的动作为起立；当所述第一图像中所述目标图像的动作信息指示所述目标物体的动作为起立，且所述第一图像中所述目标物体的光流信息不是运动类型、所述第二图像中所述目标物体的动作为起立时，则确定所述第一图像中所述目标物体的动作为起立；当所述第一图像中所述目标物体的动作信息指示所述目标物体的动作为坐下，且所述第一图像中所述目标物体的光流信息为运动类型，则确定所述第一图像中所述目标物体的动作为起立；当所述第一图像中所述目标物体的动作信息指示所述目标物体的动作为坐下，且所述第一图像中所述目标物体的光流信息不是运动类型，则确定所述第一图像中所述目标物体的动作为坐下。
[0013]在本申请第一方面一实施例中，还包括：使用队列对所述目标物体的标识信息，以及连续的多帧图像中每张图像内所述目标物体的动作进行记录。
[0014]在本申请第一方面一实施例中，还包括：当确定所述目标物体的动作为起立，控制摄像装置切换为第一拍摄模式；当确定所述目标物体的动作为坐下，控制所述摄像装置切换为第二拍摄模式。
[0015]本申请第二方面提供一种动作识别装置，可用于执行如本申请第一方面提供的方法，该装置包括：获取模块，用于获取包括目标物体的第一图像；行为确定模块，用于确定所述第一图像中所述目标物体的动作信息；光流确定模块，用于计算所述第一图像中所述目
标物体的光流类型；其中，所述光流类型包括：运动类型、静止类型或者无光流类型；动作确定模块，用于根据所述动作信息和所述光流信息，确定所述目标物体的动作。
[0016]综上，本申请提供的动作识别方法及装置，能够基于图像对图像中的目标物体的动作信息和光流信息进行识别，并根据动作信息和光流信息共同确定目标物体的动作，在对学生起立和坐下动作进行识别时具有较高的准确度，减少了录播设备因误检导致的拍摄模式的错误切换，从而能够提高录播设备的使用效果和所录制的视频数据的观看体验。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：获取包括目标物体的第一图像；确定所述第一图像中所述目标物体的动作信息；计算所述第一图像中所述目标物体的光流类型；其中，所述光流类型包括：运动类型、静止类型或者无光流类型；根据所述动作信息和所述光流类型，确定所述目标物体的动作。2.根据权利要求1所述的方法，其特征在于，所述目标物体为教室内的学生；所述目标物体的动作包括：起立和坐下。3.根据权利要求2所述的方法，其特征在于，所述确定所述第一图像中所述目标物体的动作信息，包括：将所述第一图像输入机器学习模型，得到所述机器学习模型所输出的所述目标物体的动作信息，以及所述第一图像中所述目标物体的特征区域。4.根据权利要求3所述的方法，其特征在于，所述机器学习模型包括：空间注意力模块，用于提取所述第一图像中，所述目标物体边缘与周围物体的空间关联特征；跨阶段部分模块CSP，用于提供所述机器学习模型的基础网络Backbone，提取所述第一图像的Backbone特征；特征金字塔网络模块FPN，用于将所述CSP提取的Backbone特征与Backbone网络的第一深层特征相融合，得到多尺度特征；路径增强网络模块PAN，用于将FPN得到的多尺度特征与所述Backbone网络的第二深层特征相融合；检测头模块Yolo，用于根据所述FPN和PAN融合后的特征，学习并解析出所述第一图像中，目标物体的动作信息、所述特征区域以及置信度信息。5.根据权利要求3或4所述的方法，其特征在于，所述计算所述第一图像中所述目标物体的光流类型，包括：确定所述第一图像中所述目标物体的特征区域内，多个特征点的光流长度和光流方向；根据所述第一图像中多个特征点的光流长度和光流方向，以及第二图像中多个特征点的光流长度和光流方向，确定所述目标物体的光流类型；其中，所述第二图像为所述第一图像前一帧的图像。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一图像中多个特征点的光流长度和光流方向，以及第二图像中多个特征点的光流长度和光流方向，确定所述目标物体的光流类型，包括：从所述多个特征点中，确定在所述第一图像和在所述第二图像中水平方向上光流长度之差，小于竖直方向上光流长度之差，且竖直方向上光流值之差小于第一预设阈值的负数的第一特征点；从所述多个特征点中，确定在所述第一图像和在所述第二图像中水平方向上光流长度之差，小于竖直方向上光流长度之差，且竖直方向上光流值之差大于第一预设阈值的第...

【专利技术属性】
技术研发人员：王凯，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：