动作识别模型的训练方法、装置、设备、存储介质和产品制造方法及图纸

本申请提供了一种动作识别模型的训练方法、装置、设备、存储介质和产品，属于人工智能技术领域，能够应用于对多媒体资源的处理场景中。方法包括：获取多个样本视频；对样本视频中的目标对象进行分割，得到样本视频对应的多个动作部位，多个动作部位为目标对象的动作部位；确定多个动作部位之间的相对位置向量，得到样本视频对应的相对位置向量，相对位置向量用于表示多个动作部位之间的位置关系；基于多个样本视频分别对应的相对位置向量，对多个样本视频进行聚类，得到多个视频簇，视频簇包括至少一个样本视频，且同一视频簇中的样本视频的动作相同；基于多个视频簇，训练动作识别模型。该方法提高了动作识别模型的训练效率。该方法提高了动作识别模型的训练效率。该方法提高了动作识别模型的训练效率。

【技术实现步骤摘要】
动作识别模型的训练方法、装置、设备、存储介质和产品


[0001]本申请涉及人工智能
，特别涉及一种动作识别模型的训练方法、装置、设备、存储介质和产品。

技术介绍

[0002]随着人工智能技术的发展，动作识别模型的应用越来越广泛；例如，动作识别模型可以应用在智能教育场景；通过动作识别模型，对教师授课视频中的动作进行识别，从而基于识别得到的动作类别，对该教师进行人工智能(Artificial Intelligence，AI)评教。
[0003]相关技术中是采用有监督的深度学习算法来训练动作识别模型的，也即通过有标签的样本视频来训练动作识别模型。而样本视频中的动作标签是人标注的，由于样本视频的数据量很大，因此，人工标注样本视频的动作标签会花费较多时间，从而降低了动作识别模型的训练效率。

技术实现思路

[0004]本申请实施例提供了一种动作识别模型的训练方法、装置、设备、存储介质和产品，能够提高动作识别模型的训练效率。所述技术方案如下：
[0005]一方面，提供了一种动作识别模型的训练方法，所述方法包括：
[0006]获取多个样本视频；
[0007]对所述样本视频中的目标对象进行分割，得到所述样本视频对应的多个动作部位，所述多个动作部位为所述目标对象的动作部位，所述目标对象为做出动作的对象；
[0008]确定所述多个动作部位之间的相对位置向量，得到所述样本视频对应的相对位置向量，所述相对位置向量用于表示所述多个动作部位之间的位置关系；
[0009]基于所述多个样本视频分别对应的相对位置向量，对所述多个样本视频进行聚类，得到多个第一视频簇，所述第一视频簇包括至少一个样本视频，且同一第一视频簇中的样本视频的动作相同；
[0010]基于所述多个第一视频簇，训练动作识别模型。
[0011]另一方面，提供了一种动作识别模型的训练装置，所述装置包括：
[0012]第一获取模块，用于获取多个样本视频；
[0013]分割模块，用于对所述样本视频中的目标对象进行分割，得到所述样本视频对应的多个动作部位，所述多个动作部位为所述目标对象的动作部位，所述目标对象为做出动作的对象；
[0014]确定模块，用于确定所述多个动作部位之间的相对位置向量，得到所述样本视频对应的相对位置向量，所述相对位置向量用于表示所述多个动作部位之间的位置关系；
[0015]聚类模块，用于基于所述多个样本视频分别对应的相对位置向量，对所述多个样本视频进行聚类，得到多个第一视频簇，所述第一视频簇包括至少一个样本视频，且同一第一视频簇中的样本视频的动作相同；
[0016]训练模块，用于基于所述多个第一视频簇，训练动作识别模型。
[0017]在一些实施例中，所述确定模块，用于基于所述样本视频对应的多个动作部位的部位信息，确定所述多个动作部位中的第一动作部位和多个第二动作部位，所述第一动作部位为所述目标对象的基准动作部位；确定所述多个第二动作部位相对于所述第一动作部位的相对位置向量，得到所述样本视频对应的相对位置向量。
[0018]在一些实施例中，所述确定模块，用于分别确定第一中心位置和第二中心位置，所述第一中心位置为所述第一动作部位的中心位置，所述第二中心位置为所述第二动作部位的中心位置；将所述第一中心位置与所述第二中心位置之间的向量确定为所述第二动作部位相对于所述第一动作部位的相对位置向量；将所述多个第二动作部位相对于所述第一动作部位的相对位置向量，组成所述样本视频对应的相对位置向量。
[0019]在一些实施例中，所述确定模块，用于分别确定第一中心位置和多个边界位置，所述第一中心位置为所述第一动作部位的中心位置，所述多个边界位置分别为所述第二动作部位的边界位置；确定所述第一中心位置分别与所述多个边界位置之间的向量；将所述第一中心位置分别与所述多个边界位置之间的向量进行拼接，得到所述第二动作部位相对于所述第一动作部位的相对位置向量；将所述多个第二动作部位相对于所述第一动作部位的相对位置向量，组成所述样本视频对应的相对位置向量。
[0020]在一些实施例中，所述样本视频包括多个视频帧，所述样本视频对应的相对位置向量包括所述多个视频帧分别对应的相对位置向量；所述聚类模块，用于将同一视频帧对应的多个相对位置向量进行拼接，得到所述同一视频帧对应的第一相对位置向量；将同一样本视频的多个同一视频帧对应的第一相对位置向量进行拼接，得到所述样本视频对应的第二相对位置向量；基于所述多个样本视频分别对应的第二相对位置向量，对所述多个样本视频进行聚类，得到所述多个第一视频簇。
[0021]在一些实施例中，所述聚类模块，用于基于所述多个样本视频分别对应的第二相对位置向量，确定任意两个第二相对位置向量之间的距离；在所述距离不大于预设距离的情况下，将所述两个第二相对位置向量对应的两个样本视频聚合到同一第一视频簇中。
[0022]在一些实施例中，所述装置还包括：
[0023]第二获取模块，用于获取目标视频，所述目标视频为待识别动作类别的视频；
[0024]输入输出模块，用于将所述目标视频输入所述动作识别模型，输出所述目标视频的动作类别和所述目标视频中目标对象的多个动作部位的相对位置向量，所述相对位置向量用于解释所述目标视频被识别为所述动作类别的原因。
[0025]在一些实施例中，所述训练模块，用于基于所述多个动作部位的部位信息，确定所述多个动作部位中的第一动作部位和多个第二动作部位，所述第一动作部位为所述目标对象的基准动作部位；从所述多个第二动作部位中确定目标动作部位，所述目标动作部位包含的像素点最少；基于所述多个样本视频的第一动作部位和目标动作部位，对所述多个样本视频进行聚类，得到多个第二视频簇，所述第二视频簇包括至少一个样本视频，且同一第二视频簇中的样本视频的动作相同；基于所述多个第一视频簇和所述多个第二视频簇，训练所述动作识别模型。
[0026]在一些实施例中，所述训练模块，用于确定任意两个样本视频的第一相似度和第二相似度，所述第一相似度为所述两个样本视频的第一动作部位之间的相似度，所述第二
相似度为所述两个样本视频的目标动作部位之间的相似度；基于所述第一相似度和所述第二相似度，确定所述两个样本视频之间的第三相似度；在所述第三相似度大于预设相似度的情况下，将所述两个样本视频聚合到同一第二视频簇中。
[0027]在一些实施例中，所述分割模块，用于从所述样本视频中提取多个视频帧；对所述视频帧中包括的目标对象进行分割，得到所述视频帧对应的多个动作部位；将所述多个视频帧分别对应的动作部位，组成所述样本视频对应的多个动作部位。
[0028]另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现本申请实施例中的动作识别模型的训练方法。
[0029]另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别模型的训练方法，其特征在于，所述方法包括：获取多个样本视频；对所述样本视频中的目标对象进行分割，得到所述样本视频对应的多个动作部位，所述多个动作部位为所述目标对象的动作部位，所述目标对象为做出动作的对象；确定所述多个动作部位之间的相对位置向量，得到所述样本视频对应的相对位置向量，所述相对位置向量用于表示所述多个动作部位之间的位置关系；基于所述多个样本视频分别对应的相对位置向量，对所述多个样本视频进行聚类，得到多个第一视频簇，所述第一视频簇包括至少一个样本视频，且同一第一视频簇中的样本视频的动作相同；基于所述多个第一视频簇，训练动作识别模型。2.根据权利要求1所述的方法，其特征在于，所述确定所述多个动作部位之间的相对位置向量，得到所述样本视频对应的相对位置向量，包括：基于所述样本视频对应的多个动作部位的部位信息，确定所述多个动作部位中的第一动作部位和多个第二动作部位，所述第一动作部位为所述目标对象的基准动作部位；确定所述多个第二动作部位相对于所述第一动作部位的相对位置向量，得到所述样本视频对应的相对位置向量。3.根据权利要求2所述的方法，其特征在于，所述确定所述多个第二动作部位相对于所述第一动作部位的相对位置向量，得到所述样本视频对应的相对位置向量，包括：分别确定第一中心位置和第二中心位置，所述第一中心位置为所述第一动作部位的中心位置，所述第二中心位置为所述第二动作部位的中心位置；将所述第一中心位置与所述第二中心位置之间的向量确定为所述第二动作部位相对于所述第一动作部位的相对位置向量；将所述多个第二动作部位相对于所述第一动作部位的相对位置向量，组成所述样本视频对应的相对位置向量。4.根据权利要求2所述的方法，其特征在于，所述确定所述多个第二动作部位相对于所述第一动作部位的相对位置向量，得到所述样本视频对应的相对位置向量，包括：分别确定第一中心位置和多个边界位置，所述第一中心位置为所述第一动作部位的中心位置，所述多个边界位置分别为所述第二动作部位的边界位置；确定所述第一中心位置分别与所述多个边界位置之间的向量；将所述第一中心位置分别与所述多个边界位置之间的向量进行拼接，得到所述第二动作部位相对于所述第一动作部位的相对位置向量；将所述多个第二动作部位相对于所述第一动作部位的相对位置向量，组成所述样本视频对应的相对位置向量。5.根据权利要求1所述的方法，其特征在于，所述样本视频包括多个视频帧，所述样本视频对应的相对位置向量包括所述多个视频帧分别对应的相对位置向量；所述基于所述多个样本视频分别对应的相对位置向量，对所述多个样本视频进行聚类，得到多个第一视频簇，包括：将同一视频帧对应的多个相对位置向量进行拼接，得到所述同一视频帧对应的第一相对位置向量；
将同一样本视频的多个同一视频帧对应的第一相对位置向量进行拼接，得到所述样本视频对应的第二相对位置向量；基于所述多个样本视频分别对应的第二相对位置向量，对所述多个样本视频进行聚类，得到所述多个第一视频簇。6.根据权利要求5所述的方法，其特征在于，所述基于所述多个样本视频分别对应的第二相对位置向量，对所述多个样本视频进行聚类，得到所述多个第一视频簇，包括：基于所述多个样本视频分别对应的第二相对位置向量，确定任意两个第二相对位置向量之间的距离；在所述距离不大于预设距离的情况下，将所述两个第二相对位置向量对应的两个样本视频聚合到同一第一视频簇中...

【专利技术属性】
技术研发人员：陈柯辛，武子熙，蒋昊青，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：