行为识别方法、存储介质和电子设备技术

本申请公开了一种行为识别方法、存储介质和电子设备，涉及图像识别技术领域。其中，该方法包括：获取多帧图像，其中，多帧图像中包含目标行为；对每帧图像进行图像分割，得到每帧图像的原始图像块；对每帧图像的原始图像块和每帧图像的目标图像块进行特征提取，得到每帧图像的图像特征，其中，目标图像块通过将每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块得到；对多帧图像的图像特征进行识别，得到目标行为的识别结果，其中，识别结果用于表征目标行为的行为类别。本申请解决了由于计算量较大，造成的识别效率低的技术问题。造成的识别效率低的技术问题。造成的识别效率低的技术问题。

【技术实现步骤摘要】
行为识别方法、存储介质和电子设备


[0001]本申请涉及图像识别
，具体而言，涉及一种行为识别方法、存储介质和电子设备。

技术介绍

[0002]随着计算机视觉技术和通信技术的发展，可以采集和传播大量的视频数据，对视频的行为识别的需求也水涨船高，并且具有广阔的前景，在行为识别领域，可以用于识别违规行为，例如在工业区中识别吸烟和打电话等违规行为，在视频平台中，观看视频时，为提高用户体验，可以在识别到违规行为后，对视频进行下架处理。
[0003]然后，利用计算机识别人体的行为并非一项简单的任务，视频由多帧连续图像组成，具有复杂的时空特性，在相关技术中，采用3D CNN(Convolutional Neural Networks，简称CNN)学习时空特征，但是时空特征的表达的计算量较大，耗时长，从而存在处理效率较低的技术问题。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种行为识别方法、存储介质和电子设备，以至少解决由于计算量较大，造成的识别效率低的技术问题。
[0006]根据本申请实施例的一个方面，提供了一种行为识别方法，包括：获取多帧图像，其中，多帧图像中包含目标行为；对每帧图像进行图像分割，得到每帧图像的原始图像块；对每帧图像的原始图像块和每帧图像的目标图像块进行特征提取，得到每帧图像的图像特征，其中，目标图像块通过将每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块得到；对多帧图像的图像特征进行识别，得到目标行为的识别结果，其中，识别结果用于表征目标行为的行为类别。
[0007]根据本申请实施例的另一方面，还提供了一种行为识别方法，包括：获取短视频，其中，短视频包括目标行为；对短视频进行视频分割，得到多帧图像；对每帧图像进行图像分割，得到每帧图像的原始图像块；对每帧图像的原始图像块和每帧图像的目标图像块进行特征提取，得到每帧图像的图像特征，其中，目标图像块通过将每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块得到；对多帧图像的图像特征进行识别，得到目标行为的识别结果，其中，识别结果用于表征目标行为的行为类别。
[0008]根据本申请实施例的另一方面，还提供了一种行为识别方法，包括：响应作用于操作界面上的输入指令，在操作界面上显示多帧图像，其中，多帧图像中包含目标行为；响应作用于操作界面上的识别指令，在操作界面上显示目标行为的识别结果，其中，识别结果通过对多帧图像的图像特征进行识别得到，每帧图像的图像特征通过对每帧图像的原始图像块和每帧图像的目标图像块进行特征提取得到，原始图像块通过对每帧图像进行图像分割得到，目标图像块通过将每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块
得到，识别结果用于表征目标行为的行为类别。
[0009]根据本申请实施例的另一方面，还提供了一种行为识别方法，包括：响应作用于操作界面上的输入指令，在操作界面上显示短视频，其中，短视频包括目标行为；响应作用于操作界面上的识别指令，在操作界面上显示目标行为的识别结果，其中，识别结果通过对多帧图像的图像特征进行识别得到，多帧图像通过对短视频进行视频分割得到，每帧图像的图像特征通过对每帧图像的原始图像块和每帧图像的目标图像块进行特征提取得到，原始图像块通过对每帧图像进行图像分割得到，目标图像块通过将每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块得到，识别结果用于表征目标行为的行为类别。
[0010]根据本申请实施例的另一方面，还提供了一种行为识别方法，包括：云服务器接收客户端发送的多帧图像，其中，多帧图像中包含目标行为；云服务器对每帧图像进行图像分割，得到每帧图像的原始图像块；云服务器对每帧图像的原始图像块和每帧图像的目标图像块进行特征提取，得到每帧图像的图像特征，其中，目标图像块通过将每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块得到；云服务器对多帧图像的图像特征进行识别，得到目标行为的识别结果，其中，识别结果用于表征目标行为的行为类别；云服务器输出识别结果至客户端。
[0011]根据本申请实施例的另一方面，还提供了一种行为识别方法，包括：云服务器接收客户端发送的短视频，其中，短视频包括目标行为；云服务器对短视频进行视频分割，得到多帧图像；云服务器对每帧图像进行图像分割，得到每帧图像的原始图像块；云服务器对每帧图像的原始图像块和每帧图像的目标图像块进行特征提取，得到每帧图像的图像特征，其中，目标图像块通过将每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块得到；云服务器对多帧图像的图像特征进行识别，得到目标行为的识别结果，其中，识别结果用于表征目标行为的行为类别；云服务器输出识别结果至客户端。
[0012]根据本申请实施例的另一方面，还提供了一种行为识别方法，包括：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示多帧图像，其中，多帧图像中包含目标行为；对每帧图像进行图像分割，得到每帧图像的原始图像块；对每帧图像的原始图像块和每帧图像的目标图像块进行特征提取，得到每帧图像的图像特征，其中，目标图像块通过将每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块得到；对多帧图像的图像特征进行识别，得到目标行为的识别结果，其中，识别结果用于表征目标行为的行为类别；驱动VR设备或AR设备在呈现画面上展示识别结果。
[0013]根据本申请实施例的另一方面，还提供了一种行为识别方法，包括：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示短视频，其中，短视频包括目标行为；对短视频进行视频分割，得到多帧图像；对每帧图像进行图像分割，得到每帧图像的原始图像块；对每帧图像的原始图像块和每帧图像的目标图像块进行特征提取，得到每帧图像的图像特征，其中，目标图像块通过将每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块得到；对多帧图像的图像特征进行识别，得到目标行为的识别结果，其中，识别结果用于表征目标行为的行为类别；驱动VR设备或AR设备在呈现画面上展示识别结果。
[0014]根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述任意一项行为识别方法。
[0015]根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储器中存储的程序，其中，程序运行时执行上述任意一项行为识别方法。
[0016]在本申请实施例中，通过获取多帧图像；对每帧图像进行图像分割，得到每帧图像的原始图像块；对每帧图像的原始图像块和每帧图像的目标图像块进行特征提取，得到每帧图像的图像特征；对多帧图像的图像特征进行识别，得到目标行为的识别结果。容易注意到的是，本申请可通过对原始图像块进行特征提取，以及经过简单的图像块替换后，对目标图像块进行特征提取，即可以得到多帧图像的图像特征，即时空特征，降低了获取图像特征的计算量，再对该图像特征进行识别，得到多帧图像中包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别方法，其特征在于，包括：获取多帧图像，其中，所述多帧图像中包含目标行为；对每帧图像进行图像分割，得到所述每帧图像的原始图像块；对所述每帧图像的原始图像块和所述每帧图像的目标图像块进行特征提取，得到所述每帧图像的图像特征，其中，所述目标图像块通过将所述每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块得到；对所述多帧图像的图像特征进行识别，得到所述目标行为的识别结果，其中，所述识别结果用于表征所述目标行为的行为类别。2.根据权利要求1所述的方法，其特征在于，对所述每帧图像的原始图像块和所述每帧图像的目标图像块进行特征提取，得到所述每帧图像的图像特征包括：对所述原始图像块进行特征提取，得到所述原始图像块的原始特征；利用特征提取模型对所述原始特征和所述目标图像块进行特征提取，得到所述图像特征，其中，所述目标图像块的目标特征基于所述原始图像块的原始特征确定，所述图像特征基于所述目标图像块的目标特征确定。3.根据权利要求2所述的方法，其特征在于，所述特征提取模型包括：依次连接的第一编码模块和第二编码模块，其中，利用特征提取模型对所述原始特征和所述目标图像块进行特征提取，得到所述图像特征，包括：利用所述第一编码模块对所述原始特征进行编码，得到所述目标特征；利用所述第二编码模块对所述目标特征进行编码，得到所述图像特征。4.根据权利要求3所述的方法，其特征在于，所述第一编码模块包括：图像块移动层和注意力机制层，其中，利用所述第一编码模块对所述原始特征进行编码，得到所述目标特征包括：利用所述图像块移动层按照预设规则对所述原始特征进行移动，得到所述目标图像块的第一特征；利用所述注意力机制层对所述目标图像块之间的第一特征进行聚合，得到所述目标图像块的目标特征。5.根据权利要求3所述的方法，其特征在于，所述第二编码模块包括：图像块还原层和全连接层，其中，利用所述第二编码模块对所述目标特征进行编码，得到所述图像特征包括：利用所述图像块还原层按照预设规则对所述目标特征进行移动，得到所述原始图像块的第二特征；所述全连接层用于对同一个原始图像块的第二特征进行特征提取，得到所述图像特征。6.一种行为识别方法，其特征在于，包括：获取短视频，其中，所述短视频包括目标行为；对所述短视频进行视频分割，得到多帧图像；对每帧图像进行图像分割，得到所述每帧图像的原始图像块；对所述每帧图像的原始图像块和所述每帧图像的目标图像块进行特征提取，得到所述每帧图像的图像特征，其中，所述目标图像块通过将所述每帧图像的部分原始图像块替换
为其他帧图像的其他原始图像块得到；对所述多帧图像的图像特征进行识别，得到所述目标行为的识别结果，其中，所述识别结果用于表征所述目标行为的行为类别。7.一种行为识别方法，其特征在于，包括：响应作用于操作界面上的输入指令，在所述操作界面上显示多帧图像，其中，所述多帧图像中包含目标行为；响应作用于所述操作界面上的识别指令，在所述操作界面上显示所述目标行为的识别结果，其中，所述识别结果通过对所述多帧图像的图像特征进行识别得到，每帧图像的图像特征通过对所述每帧图像的原始图像块和所述每帧图像的目标图像块进行特征提取得到，所述原始图像块通过对所述每帧图像进行图像分割得到，所述目标图像块通过将所述每帧图像的部分原始图像块替换为其他帧图像的其他原始图像块得到，所述识别结果用于表征所述目标行为的行为类别。8.一种行为识别方法，其特征在于，包括：响应作用于操作界面上的输入指令，在所述操作界面上显示短视频，其中，所述短视频包括目标行为；响应作用于所述操作界面上的识别指令，在所述操作界面上显示所述目标...

【专利技术属性】
技术研发人员：李超，项王盟，魏溪含，汪彪，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：