基于群敏感对比回归的视频动作质量评价方法及系统技术方案

本发明专利技术公开了一种基于群敏感对比回归的视频动作质量评价方法及系统，其中，该方法包括：根据当前视频选择对应的示例视频和示例视频得分；利用深度学习模型分别对当前视频和示例视频进行时空特征提取，并构造合并特征；构建群敏感回归树网络，对合并特征进行回归，得到最终差异分数，并将最终差异分数与示例视频得分结合，得到当前视频分数。该方法通过建模目标动作与示例动作的差距，从而得到最后的目标动作得分，提高了模型的动作质量评价准确度。

【技术实现步骤摘要】
基于群敏感对比回归的视频动作质量评价方法及系统
本专利技术涉及计算机视觉及深度学习
，特别涉及一种基于群敏感对比回归的视频动作质量评价方法及系统。
技术介绍
视频动作质量评价(ActionQaulityAssessment,AQA)旨在评估特定动作的执行情况，近年来受到越来越多的关注，因为它在许多现实世界的应用中(包括体育和医疗保健)都起着至关重要的作用。与动作检测与识别等常规动作分析任务不同，AQA更具挑战性，因为它需要从包含相同类别动作的视频中预测细粒度得分。考虑到不同视频本身的差异与其动作得分之间的差异，我们认为解决此问题的关键是发现视频之间的差异并根据差异预测得分。近年来，大多数基于回归算法进行，其中分数是从单个视频直接预测的。尽管取得了一些可喜的成果，但AQA仍然面临两个挑战：首先，由于分数标签通常由人类法官注释(如，潜水比赛的分数是通过汇总来自不同法官的分数来计算的)，因此对法官的主观评估很难进行准确的分数预测；其次，用于AQA任务的视频之间的差异非常小，因为演员通常在相似的环境中执行相同的动作。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于群敏感对比回归的视频动作质量评价方法，该方法提高了模型的动作质量评价准确度。本专利技术的另一个目的在于提出一种基于群敏感对比回归的视频动作质量评价系统。为达到上述目的，本专利技术一方面实施例提出了基于群敏感对比回归的视频动作质量评价方法，包括以下步骤：步骤S1，根据当前视频选择对应的示例视频和示例视频得分；步骤S2，利用深度学习模型分别对所述当前视频和所述示例视频进行时空特征提取，并构造合并特征；步骤S3，构建群敏感回归树网络，对所述合并特征进行回归，得到最终差异分数，并将所述最终差异分数与所述示例视频得分结合，得到当前视频分数。本专利技术实施例的基于群敏感对比回归的视频动作质量评价方法，提出对比回归的学习方法，将动作质量评价问题建模成回归当前视频与示例视频分数差异的回归问题，提高了模型的动作质量评价准确度；同时构建了一种群敏感的回归树结构，将传统的分数回归转换为两个更简单的子问题：从粗到精细分类和小区间回归，提高了回归器的可解释性与评价能力。另外，根据本专利技术上述实施例的基于群敏感对比回归的视频动作质量评价方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述步骤S2包括：将所述当前视频和所述示例视频分别经过所述深度学习模型进行时空信息编码，并在特征维度对所述当前视频和所述示例视频进行拼接，并加入所述示例视频得分，一同构成所述合并特征。进一步地，在本专利技术的一个实施例中，所述群敏感回归树网络中每个叶子节点代表一个预设差异分数区间，且每个区间内的样本均衡。进一步地，在本专利技术的一个实施例中，所述群敏感回归树网络中对每个叶子节点进行群敏感分析，得到分类概率与组内相对位置。为达到上述目的，本专利技术另一方面实施例提出了基于群敏感对比回归的视频动作质量评价系统，包括：选择模块，用于根据当前视频选择对应的示例视频和示例视频得分；提取模块，用于利用深度学习模型分别对所述当前视频和所述示例视频进行时空特征提取，并构造合并特征；回归与分数结合模块，构建群敏感回归树网络，对所述合并特征进行回归，得到最终差异分数，并将所述最终差异分数与所述示例视频得分结合，得到当前视频分数。本专利技术实施例的基于群敏感对比回归的视频动作质量评价系统，提出对比回归的学习方法，将动作质量评价问题建模成回归当前视频与示例视频分数差异的回归问题，提高了模型的动作质量评价准确度；同时构建了一种群敏感的回归树结构，将传统的分数回归转换为两个更简单的子问题：从粗到精细分类和小区间回归，提高了回归器的可解释性与评价能力。另外，根据本专利技术上述实施例的基于群敏感对比回归的视频动作质量评价系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述提取模块具体用于：将所述当前视频和所述示例视频分别经过所述深度学习模型进行时空信息编码，并在特征维度对所述当前视频和所述示例视频进行拼接，并加入所述示例视频得分，一同构成所述合并特征。进一步地，在本专利技术的一个实施例中，所述群敏感回归树网络中每个叶子节点代表一个预设差异分数区间，且每个区间内的样本均衡。进一步地，在本专利技术的一个实施例中，所述群敏感回归树网络中对每个叶子节点进行群敏感分析，得到分类概率与组内相对位置。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于群敏感对比回归的视频动作质量评价方法流程图；图2为根据本专利技术一个实施例的基于群敏感对比回归的视频动作质量评价方法的具体工作流程图；图3为根据本专利技术一个实施例的群敏感回归树结构图；图4为根据本专利技术一个实施例的基于群敏感对比回归的视频动作质量评价系统结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。本专利技术将AQA问题重新建模为参考具有相同属性(如同种类运动或具有相同难度级别的视频)的其他视频来回归差异得分，而不是直接学习预测未知的分数。通过引入用于评分预测的示例，回归器将参考人类裁判给出的已知评分，并鼓励其根据当前视频和示例之间的细微差异来预测当前视频评分。下面参照附图描述根据本专利技术实施例提出的基于群敏感对比回归的视频动作质量评价方法及系统，首先将参照附图描述根据本专利技术实施例提出的基于群敏感对比回归的视频动作质量评价方法。图1是本专利技术一个实施例的基于群敏感对比回归的视频动作质量评价方法流程图。如图1所示，该基于群敏感对比回归的视频动作质量评价方法包括以下步骤：在步骤S1中，根据当前视频选择对应的示例视频和示例视频得分。具体地，获取当前输入视频，针对当前输入视频选择对应的示例视频和该示例视频的得分，为后面的计算做准备。在步骤S2中，利用深度学习模型分别对当前视频和示例视频进行时空特征提取，并构造合并特征。进一步地，在本专利技术的一个实施例中，步骤S2包括：将当前视频和示例视频分别经过深度学习模型进行时空信息编码，并在特征维度对当前视频和示例视频进行拼接，并加入示例视频得分，一同构成合并特征。具体地，如图2所示，为建模当前视频与目标视频之间的对比差异信息，本专利技术实施例分别将两段视频输入预训练的深度学习模型(如I3D)进行时空信息编码，提取当前输入视频的时空特征的f1，提取示例视频的时空特征f2(提取过程中当前输入视频和示例视频之本文档来自技高网...

【技术保护点】
1.一种基于群敏感对比回归的视频动作质量评价方法，其特征在于，包括以下步骤：/n步骤S1，根据当前视频选择对应的示例视频和示例视频得分；/n步骤S2，利用深度学习模型分别对所述当前视频和所述示例视频进行时空特征提取，并构造合并特征；以及/n步骤S3，构建群敏感回归树网络，对所述合并特征进行回归，得到最终差异分数，并将所述最终差异分数与所述示例视频得分结合，得到当前视频分数。/n

【技术特征摘要】
1.一种基于群敏感对比回归的视频动作质量评价方法，其特征在于，包括以下步骤：
步骤S1，根据当前视频选择对应的示例视频和示例视频得分；
步骤S2，利用深度学习模型分别对所述当前视频和所述示例视频进行时空特征提取，并构造合并特征；以及
步骤S3，构建群敏感回归树网络，对所述合并特征进行回归，得到最终差异分数，并将所述最终差异分数与所述示例视频得分结合，得到当前视频分数。


2.根据权利要求1所述的基于群敏感对比回归的视频动作质量评价方法，其特征在于，所述步骤S2包括：
将所述当前视频和所述示例视频分别经过所述深度学习模型进行时空信息编码，并在特征维度对所述当前视频和所述示例视频进行拼接，并加入所述示例视频得分，一同构成所述合并特征。


3.根据权利要求1所述的基于群敏感对比回归的视频动作质量评价方法，其特征在于，所述群敏感回归树网络中每个叶子节点代表一个预设差异分数区间，且每个区间内的样本均衡。


4.根据权利要求3所述的基于群敏感对比回归的视频动作质量评价方法，其特征在于，所述群敏感回归树网络中对每个叶子节点进行群敏感分析，得到分类概率与组内相对位置。

【专利技术属性】
技术研发人员：鲁继文，周杰，饶永铭，于旭敏，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11