一种基于半监督骨骼点的行为识别方法及系统技术方案

本发明专利技术涉及一种基于半监督骨骼点的行为识别方法及系统，涉及人体行为识别领域，方法包括获取人体骨架数据；根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征；所述多粒度锚对比学习模型包括图卷积神经网络和上下文图卷积神经网络；将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征；根据所述融合特征得到人体行为识别结果。本发明专利技术提高行为识别性能。明提高行为识别性能。明提高行为识别性能。

【技术实现步骤摘要】
一种基于半监督骨骼点的行为识别方法及系统


[0001]本专利技术涉及计算机视觉领域中的人体行为识别领域，特别是涉及一种基于半监督骨骼点的行为识别方法及系统。

技术介绍

[0002]人体行为识别是计算机视觉和模式识别领域中的一个重要问题，由于其在视频检索、视频监控、虚拟现实、人机交互等领域的广泛应用，目前发展迅速。相较于基于RGB数据的和基于深度数据的行为识别任务，基于骨骼点的行为识别因其数据的鲁棒性、易于获得等优点越来越受关注。目前，大多数基于骨骼点的行为识别的深度学习模型都以全监督的方式训练来学习骨架的有判别力的表示，虽然取得了一些显著的性能，但通常需要大量的标记数据，而标注骨骼序列数据总是很费时费力的。因此，如何从未标记和标记的骨架序列中学习到有判别力的表示，一种称为基于半监督骨骼点的行为识别成为一项备受关注的工作。
[0003]在基于半监督骨骼点的行为识别任务中，怎样从标记的和未标记的数据中获取更多有判别力的信息是一个具有挑战性的问题。作为目前的主流方法，对比学习可以学习到更多的增强数据的表示，可以作为行为识别的前置任务。然而，这种方法仍然面临着三个主要的限制：1)它通常学习的是不能很好地反应局部运动信息的全局粒度特征。2)其正/负对通常是预定义的，其中一些正/负对是不明确的。3)它通常只在相同粒度内测量正/负对之间的距离，这忽略了不同粒度的正对和负对之间的对比。

技术实现思路

[0004]本专利技术的目的是提供一种基于半监督骨骼点的行为识别方法及系统，提出了一种新的多粒度锚对比表示学习模型，以提高行为识别性能。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于半监督骨骼点的行为识别方法，包括：
[0007]获取人体骨架数据；所述人体骨架数据包括学习连接的骨架图和结构连接的骨架图；
[0008]根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征；所述多粒度锚对比学习模型包括图卷积神经网络和上下文图卷积神经网络；所述多粒度锚对比学习模型的总损失函数包括多粒度锚对比损失和识别损失；所述局部特征包括第一局部特征和第二局部特征；所述全局特征包括第一全局特征和第二全局特征；所述上下文特征包括第一上下文特征和第二上下文特征；
[0009]将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征；
[0010]根据所述融合特征得到人体行为识别结果。
[0011]可选地，所述根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征，具体包括：
[0012]根据所述学习连接的骨架图利用所述图卷积神经网络提取第一全局特征和第一局部特征；
[0013]根据所述学习连接的骨架图利用所述上下文图卷积神经网络提取第一上下文特征；
[0014]根据所述结构连接的骨架图利用所述图卷积神经网络提取第二全局特征和第二局部特征；
[0015]根据所述结构连接的骨架图利用所述上下文图卷积神经网络提取第二上下文特征。
[0016]可选地，所述总损失函数的确定方法，具体包括：
[0017]根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵；
[0018]根据所述锚点邻接矩阵和所述样本邻接矩阵确定多粒度锚对比损失；
[0019]根据所述融合特征确定识别损失；
[0020]根据所述对比损失和所述识别损失确定总损失函数。
[0021]可选地，所述根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵，具体包括：
[0022]将所述融合特征作为结点，构建锚图；
[0023]根据所述融合特征利用聚类算法，确定锚点；
[0024]根据所述融合特征、所述锚图和所述锚点确定锚点邻接矩阵和样本邻接矩阵。
[0025]可选地，所述将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征，具体包括：
[0026]将所述第一全局特征、所述第一局部特征、所述第一上下文特征、所述第二全局特征、所述第二局部特征和所述第二上下文特征进行融合，得到融合特征。
[0027]一种基于半监督骨骼点的行为识别系统，包括：
[0028]数据获取模块，用于获取人体骨架数据；所述人体骨架数据包括学习连接的骨架图和结构连接的骨架图；
[0029]特征提取模块，用于根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征；所述多粒度锚对比学习模型包括图卷积神经网络和上下文图卷积神经网络；所述多粒度锚对比学习模型的总损失函数包括多粒度锚对比损失和识别损失；所述局部特征包括第一局部特征和第二局部特征；所述全局特征包括第一全局特征和第二全局特征；所述上下文特征包括第一上下文特征和第二上下文特征；
[0030]融合模块，用于将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征；
[0031]识别模块，用于根据所述融合特征得到人体行为识别结果。
[0032]可选地，所述特征提取模块，具体包括：
[0033]第一提取单元，用于根据所述学习连接的骨架图利用所述图卷积神经网络提取第一全局特征和第一局部特征；
[0034]第二提取单元，用于根据所述学习连接的骨架图利用所述上下文图卷积神经网络提取第一上下文特征；
[0035]第三提取单元，用于根据所述结构连接的骨架图利用所述图卷积神经网络提取第二全局特征和第二局部特征；
[0036]第四提取单元，用于根据所述结构连接的骨架图利用所述上下文图卷积神经网络提取第二上下文特征。
[0037]可选地，所述总损失函数的确定方法，具体包括：
[0038]根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵；
[0039]根据所述锚点邻接矩阵和所述样本邻接矩阵确定多粒度锚对比损失；
[0040]根据所述融合特征确定识别损失；
[0041]根据所述对比损失和所述识别损失确定总损失函数。
[0042]可选地，所述根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵，具体包括：
[0043]将所述融合特征作为结点，构建锚图；
[0044]根据所述融合特征利用聚类算法，确定锚点；
[0045]根据所述融合特征、所述锚图和所述锚点确定锚点邻接矩阵和样本邻接矩阵。
[0046]可选地，所述融合模块，具体包括：
[0047]融合单元，用于将所述第一全局特征、所述第一局部特征、所述第一上下文特征、所述第二全局特征、所述第二局部特征和所述第二上下文特征进行融合，得到融合特征。
[0048]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0049]本专利技术中获取人体骨架数据；人体骨架数据包括学习连接的骨架图和结构连接的骨架图；根据人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征；多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督骨骼点的行为识别方法，其特征在于，包括：获取人体骨架数据；所述人体骨架数据包括学习连接的骨架图和结构连接的骨架图；根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征；所述多粒度锚对比学习模型包括图卷积神经网络和上下文图卷积神经网络；所述多粒度锚对比学习模型的总损失函数包括多粒度锚对比损失和识别损失；所述局部特征包括第一局部特征和第二局部特征；所述全局特征包括第一全局特征和第二全局特征；所述上下文特征包括第一上下文特征和第二上下文特征；将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征；根据所述融合特征得到人体行为识别结果。2.根据权利要求1所述的基于半监督骨骼点的行为识别方法，其特征在于，所述根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征，具体包括：根据所述学习连接的骨架图利用所述图卷积神经网络提取第一全局特征和第一局部特征；根据所述学习连接的骨架图利用所述上下文图卷积神经网络提取第一上下文特征；根据所述结构连接的骨架图利用所述图卷积神经网络提取第二全局特征和第二局部特征；根据所述结构连接的骨架图利用所述上下文图卷积神经网络提取第二上下文特征。3.根据权利要求1所述的基于半监督骨骼点的行为识别方法，其特征在于，所述总损失函数的确定方法，具体包括：根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵；根据所述锚点邻接矩阵和所述样本邻接矩阵确定多粒度锚对比损失；根据所述融合特征确定识别损失；根据所述对比损失和所述识别损失确定总损失函数。4.根据权利要求3所述的基于半监督骨骼点的行为识别方法，其特征在于，所述根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵，具体包括：将所述融合特征作为结点，构建锚图；根据所述融合特征利用聚类算法，确定锚点；根据所述融合特征、所述锚图和所述锚点确定锚点邻接矩阵和样本邻接矩阵。5.根据权利要求1所述的基于半监督骨骼点的行为识别方法，其特征在于，所述将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征，具体包括：将所述第一全局特征、所述第一局部特征、所述第一上下文特征、所述第二全局特征、所述第二局部特征和所述第二上下文特征进行融合，得到融合特征。6.一种基于半监督骨...

【专利技术属性】
技术研发人员：舒祥波，郭龙杰，徐斌倩，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：