基于混合式协同训练的人体动作识别方法及系统技术方案

本发明专利技术提供了一种基于混合式协同训练的人体动作识别方法及系统。方法包括：利用人体动作识别领域中基于模板的KNN算法和基于概率统计的SVM算法来构建基分类器，然后进行二者间迭代的协同训练以提高它们的识别性能，同时改进协同训练中对伪标签样本的选择方法和迭代训练策略，最后对KNN模型和SVM模型的识别结果进行融合，得出待识别样本所属的人体动作类别。本发明专利技术利用不同类型的方法来构建分类器，通过它们之间的协同训练，可以实现不同识别方法的优势互补，有效解决了以往单一识别方法在复杂场景下识别效果不佳的问题。此外，引入伪标签样本作为新的训练样本，有效减少人工标注样本的成本。从而实现了以较少的训练样本达到更好识别准确率的目的。

Human action recognition method and system based on Hybrid Cooperative Training

The invention provides a human action recognition method and system based on Hybrid Cooperative training. The method includes: the use of human action recognition in the field of template based KNN algorithm and SVM algorithm based on probability statistics to construct the classifier based collaborative training, then between the two iteration to improve their recognition performance, while improving collaborative training for the pseudo label sample selection method and iterative training strategy, the final recognition of KNN model and SVM model combined the results obtained to identify samples belonging to the category of human action. The method to construct the classifier using different types of methods, through cooperative training between them, complementary advantages can be achieved in different recognition methods, effectively solve the single recognition problems in complex scenes. In addition, pseudo label samples are introduced as new training samples, which can effectively reduce the cost of manual tagging samples. It achieves the purpose of better recognition accuracy with fewer training samples.

【技术实现步骤摘要】
基于混合式协同训练的人体动作识别方法及系统
本专利技术涉及人体动作识别
，尤其涉及一种面向机器视觉的人体动作识别方法及系统。
技术介绍
面向机器视觉的人体动作识别是通过对传感器(摄像机)采集的数据进行处理和分析，识别其中人的动作和行为，以使计算机能够“理解”视频，在视频监控、基于内容的视频检索、虚拟现实以及人机交互等领域有着广泛的应用。现有的面向机器视觉的人体动作识别技术还存在较多局限性，特别是在真实自然场景下，由于背景复杂、摄像机运动和物体变化等问题，增加了动作识别的复杂性，导致识别准确率下降，限制了其在实际中的应用。目前面向机器视觉的动作识别方法大致分为三类：1)基于模板的方法又分为模板匹配方法和动态时间规整两种。前者需要事先对某一特定动作建立特征数据样本模板库，识别时只需获取待识别动作样本同样的特征数据与模板库中的模板进行匹配，其算法简单，但很难构造出足够的模板以处理不同的动作姿态。后者针对两个具有不同时间长度的动作模板，按照一定的时间规整曲线进行调整，可以较好地解决人体动作在时间上的不确定性，缺点是模型比较难构建，并且无法完全反映动态系统在特征空间的分布属性。2)基于概率统计的方法通过从一系列训练数据中学习得到分类器。该方法的优点在于引入概率框架，较好地解决了同类动作模式间的不确定性问题，鲁棒性较好。缺点是需要很多训练数据，并且很难解决姿态遮挡的问题。3)基于文法的方法是将人体动作分解为一连串的符号。这类方法首先是识别这些符号，然后将人体动作表示为一系列生成的符号动作流。该方法有利于对复杂结构的理解和对先验知识的有效利用，缺点是计算复杂度高，空间尺度鲁棒性对底层描述符号依赖较大。上述的动作识别方法都存在一定的不足。此外，由于动作识别的场景复杂性，为了获得好的识别效果，上述方法都需要大量的人工标注的训练样本，成本高昂。有鉴于此，有必要提供一种更有效的人体动作识别方法及系统以解决上述问题。
技术实现思路
本专利技术的目的在于克服现有基于机器视觉的人体动作识别技术的缺陷，特别是减少对人工标注训练样本的需求。本专利技术提出了一种基于混合式协同训练的人体动作识别方法及系统。实现本专利技术目的的技术方案是：一种基于混合式协同训练的人体动作识别方法，包括：S1.分别选择一种基于模板的分类器KNN和一种基于概率统计的分类器SVM作为两个基分类器，进行二者之间的迭代协同训练，以提高它们的识别性能；S2.利用迭代协同训练后的两个基分类器KNN和SVM分别进行动作识别，然后对二者的识别结果进行融合，得到待识别样本所属的人体动作类型。作为本专利技术的进一步改进，所述步骤S1之前还包括下列步骤：S01.建立动作识别的视频数据库，使样本视频中包含各类常见的人体动作：如行走、骑自行车、驾驶汽车、骑马、游泳、高尔夫击球、篮球投篮、足球盘带等。其中每一类动作分别由25个不同的人来做，每个人做4-7组。对于样本视频，使用关键帧获取方法，即选取该视频的首帧、中间帧、尾帧作为关键帧。然后对每个关键帧提取4种特征作为表征动作，分别为颜色特征、纹理特征，径向矩特征，多尺度LBP特征，最后把这些表征特征融合起来，作为最终的特征：(颜色特征，纹理特征，径向矩特征，多尺度LBP特征)。S02.从动作识别的视频数据库中选择初始的训练样本，利用融合后的表征特征对基于模板的分类器KNN进行训练，得到初始的KNN分类模型；S03.从动作识别的视频数据库中选择初始的训练样本，利用融合后的表征特征对基于概率统计的分类器SVM进行训练，得到初始的SVM分类模型。作为本专利技术的进一步改进，所述步骤S1具体包括：S11.利用当前的KNN分类模型对测试样本进行分类，并计算各样本分类结果的置信度；S12.从KNN分类模型的分类结果中按照类别比例和置信度，来选择若干数量的样本，作为伪标签样本，加入SVM分类模型的训练集中；S13.利用当前的SVM分类模型对测试样本进行分类，并计算各样本分类结果的置信度；S14.从SVM分类模型的分类结果中按照类别比例和置信度，来选择若干数量的样本，作为伪标签样本，加入KNN分类模型的训练集中；S15.分别在新训练集上对KNN和SVM进行重新训练；S16.评估KNN和SVM的识别性能；S17.如果当前的KNN模型或SVM模型的识别性能下降，则撤销其上一批伪标签样本的加入；S18.重复以上S11-S17步骤进行迭代训练，直到SVM模型和KNN模型参数都不再发生变化，或者重复次数达到指定上限为止。作为本专利技术的进一步改进，所述步骤S2具体包括：S21.利用迭代训练后的KNN分类模型对样本进行动作识别，并计算其置信度；S22.利用迭代训练后的SVM分类模型对样本进行动作识别，并计算其置信度；S23.根据各自的置信度，对KNN分类模型和SVM分类模型的识别结果进行融合，获得最终的动作类别。相应地，设计一种基于混合式协同训练的人体动作识别系统，包括：样本预处理单元：用于对样本视频进行预处理，包括选取视频的首帧、中间帧、尾帧作为关键帧，然后对每个关键帧提取颜色特征、纹理特征，径向矩特征，多尺度LBP特征这四种特征作为表征动作，最后把这些表征特征融合起来，作为样本的最终特征以供后续的模型训练和动作识别使用。基于模板的识别单元：采用KNN作为人体动作识别的模型，在训练样本上训练以求解模型参数，并通过该模型进行样本的动作识别；基于概率统计的识别单元：采用SVM作为人体动作识别的模型，在训练样本上训练以求解模型参数，并通过该模型进行样本的动作识别；协同训练单元：用于对KNN模型和SVM模型进行迭代的协同训练，以进一步提高二者的识别性能；融合单元：用于融合KNN模型和SVM模型的识别结果，得到样本最终所属的人体动作类别。本专利技术的有益效果是：本专利技术方法利用动作识别领域不同类型的方法来构建基分类器，并进行它们之间的协同训练，可以实现不同识别方法的优势互补，有效解决了以往单一的人体动作识别方法在复杂场景下识别效果不佳的问题。另一方面，在协同训练中通过引入部分识别结果作为新的训练样本，可以有效减少对训练样本的需求，极大降低了人工标注样本的成本。最终实现了降低建立识别模型的成本并提高人体动作识别准确率的目的。附图说明图1为本专利技术一实施例中非特定人语音情感基于混合式协同训练的人体动作识别方法的流程图。图2为图1中步骤S1的具体流程图。图3为本专利技术基于混合式协同训练的人体动作识别方法的框架图。图4为本专利技术中混合式协同训练的示意图。图5为本专利技术基于混合式协同训练的人体动作识别系统的示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。如图1所示为本专利技术非特定人语音情感识别方法的流程图。该方法包括：S1.分别选择一种基于模板的分类器KNN和一种基于概率统计的分类器SVM作为两个基分类器，进行二者之间的迭代协同训练，以提高它们的识别性能；S2.利用迭代协同训练后的两个基分类器KNN和SVM分别进行动作识别，本文档来自技高网...

【技术保护点】
基于混合式协同训练的人体动作识别方法，其特征在于，包括：S1.分别选择一种基于模板的分类器KNN和一种基于概率统计的分类器SVM作为两个基分类器，进行二者之间的迭代协同训练，以提高它们的识别性能；S2.利用迭代协同训练后的两个基分类器KNN和SVM分别进行动作识别，然后对二者的识别结果进行融合，得到待识别样本所属的人体动作类型。

【技术特征摘要】
1.基于混合式协同训练的人体动作识别方法，其特征在于，包括：S1.分别选择一种基于模板的分类器KNN和一种基于概率统计的分类器SVM作为两个基分类器，进行二者之间的迭代协同训练，以提高它们的识别性能；S2.利用迭代协同训练后的两个基分类器KNN和SVM分别进行动作识别，然后对二者的识别结果进行融合，得到待识别样本所属的人体动作类型。2.根据权利要求1所述的基于混合式协同训练的人体动作识别方法，其特征在于，所述步骤S1之前还包括下列步骤：S01.建立动作识别的视频数据库，使样本视频中包含各类常见的人体动作，例如行走、骑自行车、驾驶汽车、骑马、游泳、高尔夫击球、篮球投篮、足球盘带；其中每一类动作分别由25个不同的人来做，每个人做4-7组；对于样本视频，使用关键帧获取方法，即选取该视频的首帧、中间帧、尾帧作为关键帧；然后对每个关键帧提取4种特征作为表征动作，所述4种特征分别为颜色特征、纹理特征，径向矩特征，多尺度LBP特征；最后把这些特征融合起来，作为最终的特征：(颜色特征、纹理特征，径向矩特征，多尺度LBP特征)；S02.从动作识别的视频数据库中选择初始的训练样本，对基于模板的分类器KNN进行训练，得到初始的KNN分类模型；S03.从动作识别的视频数据库中选择初始的训练样本，对基于概率统计的分类器SVM进行训练，得到初始的SVM分类模型。3.根据权利要求1所述的基于混合式协同训练的人体动作识别方法，其特征在于，所述步骤S1包括：S11.利用初始的KNN分类模型对测试样本进行分类，并计算各样本分类结果的置信度；S12.从KNN分类模型的分类结果中按照类别比例和置信度，来选择若干数量的样本，作为伪标签样本，加入SVM分类模型的训练集中；S13.利用初始的SVM分类模型对测试样本进行分类，并计算各样本分类结果的置信度；S14.从SVM分类模型的分类结果中按照类别比例和置信度，来选择若干数量的样本，作为伪标签样本，加入KNN分类模型的训练集中；S15.分别在新训练集上对KNN分类模型和SVM分类模型进行重新训练；S16.评估KNN分类模型和SVM分类模型的识别性能；S17.如果当前的KNN模型或SVM模型的识别性能下降，则撤销其上一批伪标签样本的加入；S18.重复以上S11-S17步骤进行迭代训练，直到SVM模型和KNN模型参数都不再发生变化，或者重复次数达到指定上限为止。4.根据权利要求1所述的基于混合式协同训练的人体动作识别方法，其特征在于，所述步骤S2包括：S21.利用迭代训练后的KNN分类模型对样本进行动作识别，并计算其置信度；S22.利用迭代训练后的SVM分类模型对样本进行动作识别，并计算其置信度；S23.根据各自的置信度，对KNN分类模型和SVM分类模型的识别结果进行融合，获得最终的动作类别。...

【专利技术属性】
技术研发人员：姜震，景陈勇，彭长生，詹永照，
申请(专利权)人：江苏大学，江苏科海智能系统有限公司，
类型：发明
国别省市：江苏,32