基于人体骨架点云交互学习的视频暴力识别方法、系统及介质技术方案

本发明专利技术公开了一种基于人体骨架点云交互学习的视频暴力识别方法、系统及介质，所述方法包括：原始视频流数据转化为视频中人体骨架点云数据并输入分类模型进行暴力行为预测；利用骨架点云交互学习模块构建局部区域之间的特定权重分配策略；利用多头机制聚合多个独立头部的不同特征。本发明专利技术利用深度卷积神经网络模型时序地对数据进行分类，并利用骨架点云信息，提出骨架点云交互学习模块并构建特定权重分配策略，不仅考虑个人行为以及人与人之间行为关联，还能够从骨架点的特征与位置关系提取信息解决暴力行为识别问题，避免考虑复杂背景信息，并提升模型的分类性能。该方法对实际应用中如公众场所的监控，安防设施等场景提供了较好的解决方案。

【技术实现步骤摘要】
基于人体骨架点云交互学习的视频暴力识别方法、系统及介质
本专利技术涉及动作识别和点云特征学习领域,具体涉及一种基于人体骨架点云交互学习的视频暴力识别方法、系统及介质。
技术介绍
近年来，人工智能及相关产业正迅速发展壮大，成为学术界、工业界以及世界各国政府关注的焦点。在视频行为识别领域，许多之前基于视频流时序技术取得了长足进展。然而，在暴力识别领域上之前的技术尚存在诸多挑战。首先，暴力视频的背景更为复杂，即视频中人物的活动背景十分的多变。如何在背景复杂情况下，专注最具判别力的行为进行特征提取学习，并训练一个性能良好的学习器是目前应用的重要问题。其次，在暴力视频中存在多个人物同时出现在视频中，有时候甚至是一群人。如何在人体行为多变的情况下处理人与人之间活动的关系也是诸如社区安防，大型公共场所监控下应用亟待解决的关键问题。
技术实现思路
本专利技术的主要目的在于现有技术存在的不足，提供一种基于人体骨架点云交互学习的视频暴力识别方法、系统及介质，能够从骨架点的特征与位置关系提取信息解决暴力行为识别问题，避免考虑复杂背景信息，并提升模型的分类性能。为了达到上述目的，本专利技术采用以下技术方案：本专利技术提供了一种基于人体骨架点云交互学习的视频暴力识别方法，包括以下步骤：S1、将视频流数据输入分类模型进行暴力行为预测；其中原始视频流数据先转化为视频流人体骨架点云数据；S2、利用骨架点云交互学习模块构建局部区域之间的特定权重分配策略，包括：基于点集S，计算当前骨架点i与j之间的交互权重；基于特征关系，计算当前骨架点i与j之间的高维特征相似度；基于不同的位置关系，处理位置关系值；S3、利用多头机制聚合多个独立头部的不同特征，具体为：获取每个独立头部的骨架点特征；级联所有独立头部的特征聚合为最终的点云特征；更新分类器的损失函数；S4、输出暴力行为预测的结果。作为优选的技术方案，所述视频流人体骨架点云数据表示为：其中，K为采样的骨架点云样本总数；为骨架点C维的初始特征；为骨架点的3D位置坐标。作为优选的技术方案，所述骨架点云数据的具体构造方法为：提取原始视频流每一帧画面中所有人物的骨架点组成时序的人体骨架点结构；其中x,y代表骨架点在当前画面的世界坐标，z代表时间坐标；在所述整体骨架点云结构上，采取最远距离采样策略：选取某特定点为中心，以K邻近距离选取采样点集S。作为优选的技术方案，所述基于点集S，计算当前骨架点i与j之间的交互权重具体为：其中，Wij为骨架点i与j之间的交互权重，为骨架点i与j之间的特征关系，为骨架点i与j之间的位置关系。作为优选的技术方案，所述基于特征关系，计算当前骨架点i与j之间的高维特征相似度具体为：其中，为特征映射函数，用于将C维特征映射到高维C′特征；δ(·)和θ(·)为两个可学习的线性投影函数，其后跟随ReLu激活函数，用于将两点之间的要素关系值投影到新空间。作为优选的技术方案，所述基于不同位置关系，处理位置关系值具体为：基于位置关系1，计算当前骨架点i与j之间距离，获取位置关系值；基于位置关系2，根据位置距离将两点之间的关系编码为高维表示，将位置关系扩展到新的子空间；基于位置关系3，对点之间设置阈值d，若点i与j之间距离大于阈值则两者位置关系置零，反之计算两者间编码后级联的特征。作为优选的技术方案，所述基于位置关系1，计算当前骨架点i与j之间距离，获取位置关系值具体为：其中，σ(·)为sigmoid激活函数，D为计算点之间距离的函数；所述基于位置关系2，根据位置距离将两点之间的关系编码为高维表示，将位置关系扩展到新的子空间具体为：其中，M(·)为多层感知机函数，为是线性投影函数，其后跟随ReLu激活函数，用于将嵌入式特征生成为标量；所述基于位置关系3，对点之间设置阈值d，若点i与j之间距离大于阈值则两者位置关系置零，反之计算两者间编码后级联的特征具体为：其中，||为级联运算，两点之间的嵌入特征通过可学习的线性函数转换为标量，其后跟随激活函数ReLu。作为优选的技术方案，所述获取每个独立头部的骨架点特征具体为：X(l+1)＝WX(l)Z(l)，其中，W为骨架点之间的权重值；X(l)为采样骨架点集的g(·)映射函数投影的输入特征；Z(l)为特定于层的可学习权重矩阵；在每层卷积之后采用非线性函数进行激活，并将特征X(l+1)转发到下一层；所述级联所有独立头部的特征聚合为最终的点云特征具体为：X(l+1)＝||(WiX(l)Zi(l),dim＝1)，其中，Wi为不同类型的权重，且不同的Zi参数不共享；||(·)为汇总并融合所有独立头部的支路的输出信息，用于增加点的维数以获得更多特征信息；所述更新分类器的损失函数具体为：基于交叉熵损失优化策略，更新分类器的损失函数Loss，如下式：其中，yw为标签，为预测值。本专利技术还提供了一种基于人体骨架点云交互学习的视频暴力识别系统，包括数据转化模块、骨架点云交互学习模块和聚合模块；所述数据转化模块用于将视频流数据输入分类模型进行暴力行为预测；其中原始视频流数据先转化为视频流人体骨架点云数据，用于避免复杂背景的干扰；所述骨架点云交互学习模块用于构建局部区域之间的特定权重分配策略，包括：基于点集S，计算当前骨架点i与j之间的交互权重；基于特征关系，计算当前骨架点i与j之间的高维特征相似度；基于不同的位置关系，处理位置关系值；所述聚合模块利用多头机制聚合多个独立头部的不同特征，具体为：获取每个独立头部的骨架点特征；级联所有独立头部的特征聚合为最终的点云特征；更新分类器的损失函数；所述输出模块用于输出暴力行为预测的结果。本专利技术还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现所述基于人体骨架点云交互学习的视频暴力识别方法。本专利技术与现有技术相比，具有如下优点和有益效果：本专利技术针对暴力视频分类问题采用了骨架点云的技术方案，对视频中每个人物的骨架制定为空间点云的形式，通过提出的骨架点云交互学习模块提取个人与人物之间行为的关联，克服了现今依靠原始视频分析暴力行为中存在的受复杂背景影响，关注聚焦点不在人物上等的缺陷与不足。本专利技术在各大通用的暴力视频分类数据集上取得了最优性能的表现，可以精准分类视频中是否存在暴力行为。附图说明图1是本专利技术实施例所述的基于人体骨架点云交互学习的视频暴力识别方法的流程框架图；图2是本专利技术实施例所述的人体骨架点云交互学习模块示意图；图3是本专利技术实施例所述的多头机制特征提取示意图；图4是本专利技术实施例所述；图5是本专利技术实施例所述一种基于人体骨架点云交互学习的视频暴力识别系统的结构示意图；图6是本专利技术实施例所述存储介质的结构示意图。...

【技术保护点】
1.一种基于人体骨架点云交互学习的视频暴力识别方法，其特征在于，包括以下步骤：/n将视频流数据输入分类模型进行暴力行为预测；其中原始视频流数据先转化为视频流人体骨架点云数据；/n利用骨架点云交互学习模块构建局部区域之间的特定权重分配策略，包括：基于点集S，计算当前骨架点i与j之间的交互权重；基于特征关系，计算当前骨架点i与j之间的高维特征相似度；基于不同的位置关系，处理位置关系值；/n利用多头机制聚合多个独立头部的不同特征，具体为：获取每个独立头部的骨架点特征；级联所有独立头部的特征聚合为最终的点云特征；更新分类器的损失函数；/n输出暴力行为预测的结果。/n

【技术特征摘要】
1.一种基于人体骨架点云交互学习的视频暴力识别方法，其特征在于，包括以下步骤：
将视频流数据输入分类模型进行暴力行为预测；其中原始视频流数据先转化为视频流人体骨架点云数据；
利用骨架点云交互学习模块构建局部区域之间的特定权重分配策略，包括：基于点集S，计算当前骨架点i与j之间的交互权重；基于特征关系，计算当前骨架点i与j之间的高维特征相似度；基于不同的位置关系，处理位置关系值；
利用多头机制聚合多个独立头部的不同特征，具体为：获取每个独立头部的骨架点特征；级联所有独立头部的特征聚合为最终的点云特征；更新分类器的损失函数；
输出暴力行为预测的结果。


2.根据权利要求1所述基于人体骨架点云交互学习的视频暴力识别方法，其特征在于，所述视频流人体骨架点云数据表示为：



其中，K为采样的骨架点云样本总数；为骨架点C维的初始特征；为骨架点的3D位置坐标。


3.根据权利要求2所述基于人体骨架点云交互学习的视频暴力识别方法，其特征在于，所述骨架点云数据的具体构造方法为：
提取原始视频流每一帧画面中所有人物的骨架点组成时序的人体骨架点结构；其中x，y代表骨架点在当前画面的世界坐标，z代表时间坐标；
在所述整体骨架点云结构上，采取最远距离采样策略：选取某特定点为中心，以K邻近距离选取采样点集S。


4.根据权利要求1所述基于人体骨架点云交互学习的视频暴力识别方法，其特征在于，所述基于点集S，计算当前骨架点i与j之间的交互权重具体为：



其中，Wij为骨架点i与j之间的交互权重，为骨架点i与j之间的特征关系，为骨架点i与j之间的位置关系。


5.根据权利要求1所述基于人体骨架点云交互学习的视频暴力识别方法，其特征在于，所述基于特征关系，计算当前骨架点i与j之间的高维特征相似度具体为：



其中，为特征映射函数，用于将C维特征映射到高维C′特征；δ(·)和θ(·)为两个可学习的线性投影函数，其后跟随ReLu激活函数，用于将两点之间的要素关系值投影到新空间。


6.根据权利要求1所述基于人体骨架点云交互学习的视频暴力识别方法，其特征在于，所述基于不同位置关系，处理位置关系值具体为：
基于位置关系1，计算当前骨架点i与j之间距离，获取位置关系值；
基于位置关系2，根据位置距离将两点之间的关系编码为高维表示，将位置关系扩展到新的子空间；
基于位置关系3，对点之间设置阈值d，若点i与j之间距离大于阈值则两者位置关系置零，反之计算两者间编码后级联的特征。


7.根据权利要求6所述基于人体骨架点云交互学习的视频暴力识别方法，其特征在于，
所述基于位置关系1，计算当前骨架点...

【专利技术属性】
技术研发人员：吴庆耀，苏宇堃，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44