一种基于视频的动作检测方法及装置制造方法及图纸

本申请实施例提供了一种基于视频的动作检测方法及装置，涉及视频处理技术领域，其中，上述方法包括：检测待检测视频的视频帧中的肢体关键点；根据所述肢体关键点，获得对应的行为特征；基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。应用本申请实施例提供的方案在检测人们运动过程中动作是否规范时，降低了检测结果的主观性，提高了检测结果的准确率。

An action detection method and device based on video

The present application embodiment provides a video based action detection method and device, which involves the field of video processing, wherein the method includes: detecting a limb key point in a video frame to be detected; obtaining corresponding behavioral characteristics according to the key points of the limb; based on the behavior feature and global action described. The model is evaluated and the action completion degree is detected to obtain the global detection results, in which the global action evaluation model is used to detect the completion degree of the human motion relative to the standard action in the video. In the application of this application example, the scheme can reduce the subjectivity of the test results and improve the accuracy of the detection results when testing whether the movement is standardized.

【技术实现步骤摘要】
一种基于视频的动作检测方法及装置
本申请涉及视频处理
，特别是涉及一种基于视频的动作检测方法及装置。
技术介绍
运动是人们生活中必不可少的一部分，例如，人们为提高身体素质而进行的运动、运动员为提高成绩而进行的运动等等，然而人们在运动过程中不可避免的会存在动作不规范的情况，也就是，存在未完成标准动作所规定动作的情况。上述动作不规范的情况容易引起运动损伤，进而给人们的生活、工作带来影响。鉴于上述情况，需要检测人们在运动过程中的动作是否规范，以在发现人们动作不规范的情况下及时进行纠正。现有技术中，检测人们运动过程中动作是否规范时，通常是采用人为观察的方式进行检测，这与观察者的经验息息相关，进而导致现有技术中检测人们运动过程中动作是否规范时，检测结果主观性强、准确率低。
技术实现思路
本申请实施例的目的在于提供一种基于视频的动作检测方法及装置，以在检测人们运动过程中动作是否规范时，降低检测结果的主观性，提高检测结果的准确率。具体技术方案如下：第一方面，本申请实施例提供了一种基于视频的动作检测方法，所述方法包括：检测待检测视频的视频帧中的肢体关键点；根据所述肢体关键点，获得对应的行为特征；基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。本申请的一种实现方式中，所述基于所述行为特征及动作评估模型，进行动作完成度检测，获得全局检测结果，之后还包括：当所述全局检测结果为动作完成度在预设范围内时，基于所述行为特征及局部动作评估模型，进行各关节完成度检测，所述局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度。本申请的一种实现方式中，所述局部动作评估模型包括各关节分别对应的局部动作评估子模型；所述基于所述行为特征及局部动作评估模型，进行各关节完成度检测，包括：根据所述肢体关键点，获得各关节特征；基于所述各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测,获得各局部检测结果。本申请的一种实现方式中，所述基于视频的动作检测方法还包括：基于所述各局部检测结果，确定动作完成度在预设范围内的视频帧；生成动作提示信息，其中，所述动作提示信息包括：所述视频帧标识、对应的局部检测结果信息及全局检测结果信息。本申请的一种实现方式中，所述基于视频的动作检测方法还包括：获得样本视频中人体动作的完成度标注信息；检测所述样本视频的样本肢体关键点；根据所述样本肢体关键点，获得对应的样本行为特征；基于所述样本行为特征及所述全局动作评估模型，进行动作完成度检测，获得全局样本检测结果；基于所述完成度标注信息和所述全局样本检测结果，对所述全局动作评估模型进行训练。本申请的一种实现方式中，所述基于视频的动作检测方法还包括：获得样本视频中人体的各关节完成度标注信息；根据所述样本肢体关键点，获得各样本关节特征；基于所述各样本关节特征及所述局部动作评估模型，进行各关节完成度检测，获得各局部样本检测结果；基于所述各关节完成度标注信息和所述各局部样本检测结果，对所述局部动作评估模型进行训练。本申请的一种实现方式中，所述行为特征包括以下信息中的任意一种或任意组合：人体关节相对于人体的位置；人体关节的角度；人体的身体朝向；人体倾斜角度。第二方面，本申请实施例提供了一种基于视频的动作检测装置，所述装置包括：第一关键点检测模块，用于检测待检测视频的视频帧中的肢体关键点；第一行为特征获得模块，用于根据所述肢体关键点，获得对应的行为特征；第一完成度检测模块，用于基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。本申请的一种实现方式中，所述基于视频的动作检测装置还包括：第二完成度检测模块，用于在所述全局检测结果为动作完成度在预设范围内时，基于所述行为特征及局部动作评估模型，进行各关节完成度检测，所述局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度。本申请的一种实现方式中，所述局部动作评估模型包括各关节分别对应的局部动作评估子模型；所述第二完成度检测模块，包括：关节特征获得单元，用于根据所述肢体关键点，获得各关节特征；完成度检测单元，用于基于所述各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测,获得各局部检测结果。本申请的一种实现方式中，所述基于视频的动作检测装置还包括：视频帧确定模块，用于基于所述各局部检测结果，确定动作完成度在预设范围内的视频帧；提示信息生成模块，用于生成动作提示信息，其中，所述动作提示信息包括：所述视频帧标识、对应的局部检测结果信息及全局检测结果信息。本申请的一种实现方式中，所述基于视频的动作检测装置还包括：第一标注信息获得模块，用于获得样本视频中人体动作的完成度标注信息；第二关键点检测模块，用于检测所述样本视频的样本肢体关键点；第二行为特征获得模块，用于根据所述样本肢体关键点，获得对应的样本行为特征；第三完成度检测模块，用于基于所述样本行为特征及所述全局动作评估模型，进行动作完成度检测，获得全局样本检测结果；第一模型训练模块，用于基于所述完成度标注信息和所述全局样本检测结果，对所述全局动作评估模型进行训练。本申请的一种实现方式中，所述基于视频的动作检测装置还包括：第二标注信息获得模块，用于获得样本视频中人体的各关节完成度标注信息；关节特征获得模块，用于根据所述样本肢体关键点，获得各样本关节特征；第四完成度检测模块，用于基于所述各样本关节特征及所述局部动作评估模型，进行各关节完成度检测，获得各局部样本检测结果；第二模型训练模块，用于基于所述各关节完成度标注信息和所述各局部样本检测结果，对所述局部动作评估模型进行训练。本申请的一种实现方式中，所述行为特征包括以下信息中的任意一种或任意组合：人体关节相对于人体的位置；人体关节的角度；人体的身体朝向；人体倾斜角度。第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现本申请实施例提供的基于视频的动作检测方法步骤。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的基于视频的动作检测方法步骤。由以上可见，本申请实施例提供的方案中，检测到待检测视频的视频帧中的肢体关键点后，根据上述肢体关键点，获得对应的行为特征，然后基于行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。与现有技术对比，应用本申请实施例提供的方案进行动作检测时，摆脱了人为检测动作是否标准的方式，检测结果的准确性不再受限于观察者的经验，即可以降低检测结果的主观性，从而可以提高动作标准程度的检测准确率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本本文档来自技高网...

【技术保护点】
1.一种基于视频的动作检测方法，其特征在于，所述方法包括：检测待检测视频的视频帧中的肢体关键点；根据所述肢体关键点，获得对应的行为特征；基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。

【技术特征摘要】
1.一种基于视频的动作检测方法，其特征在于，所述方法包括：检测待检测视频的视频帧中的肢体关键点；根据所述肢体关键点，获得对应的行为特征；基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。2.根据权利要求1所述的方法，其特征在于，所述基于所述行为特征及动作评估模型，进行动作完成度检测，获得全局检测结果，之后还包括：当所述全局检测结果为动作完成度在预设范围内时，基于所述行为特征及局部动作评估模型，进行各关节完成度检测，所述局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度。3.根据权利要求2所述的方法，其特征在于，所述局部动作评估模型包括各关节分别对应的局部动作评估子模型；所述基于所述行为特征及局部动作评估模型，进行各关节完成度检测，包括：根据所述肢体关键点，获得各关节特征；基于所述各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测,获得各局部检测结果。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：基于所述各局部检测结果，确定动作完成度在预设范围内的视频帧；生成动作提示信息，其中，所述动作提示信息包括：所述视频帧标识、对应的局部检测结果信息及全局检测结果信息。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：获得样本视频中人体动作的完成度标注信息；检测所述样本视频的样本肢体关键点；根据所述样本肢体关键点，获得对应的样本行为特征；基于所述样本行为特征及所述全局动作评估模型，进行动作完成...

【专利技术属性】
技术研发人员：刘文韬，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11