一种监控视频时空信息融合的分类方法、装置及终端制造方法及图纸

本发明专利技术实施例公开了一种监控视频时空信息融合的分类方法、装置及终端，该方法包括：获取样本视频集合；在样本视频集合中随机等规模选择各行为类别的视频；将选择的视频输入预设分类器进行深层网络权重训练，得到训练好的分类器；将待识别视频导入训练好的分类器进行预测，得到对应时间点的多个初步预测结果；对每个时间点的初步预测结果按照行为量化值作为距离值进行棋盘距离计算获得时间点的类别标签；对所有时间点的类别标签进行时间维度的行为类别融合操作获得待识别视频的最终行为类别预测结果。本方案利用行为类别量化实现了时空维度上的行为类别融合的统一，对于服务性窗口视频流特点具有数据针对性的预测。口视频流特点具有数据针对性的预测。口视频流特点具有数据针对性的预测。

【技术实现步骤摘要】
一种监控视频时空信息融合的分类方法、装置及终端


[0001]本专利技术涉及视频分析和深度学习
，尤其涉及一种监控视频时空信息融合的分类方法、装置及终端。

技术介绍

[0002]对服务性窗口工作人员进行工作效能评估、工作状态预警、辅助视频取证等可以有效提高服务性窗口工作效率、保护工作人员及人民群众合法权益、此外，对提升政府及服务性企事业部门为人民群众服务水平和形象具有显著意义。
[0003]目前，借助基于监控视频的自动行为检测分类技术对监控视频工位信息进行分析处理，可以帮助人们从人工视频审查的行为检索、行为分析等繁杂耗时的工作中解放出来，现有的基于监控视频的自动行为检测分类技术包括以下几种：
[0004]一种是基于光流的行为检测方法依赖人体行为变化产生的光流差异实现行为检测。具体的，该方案根据光流变化的趋势或轨迹，对视频图像进行相应的特征提取或编码获得不同类型行为的分类数据，将其作为诸如SVM等分类算法进行训练实现行为分类过程。该类方法的问题在于特征提取、选择基于诸如直方图分析、梯度分析、光流追踪等一般性图像方法，并非基于行为差异性本身进行分析、建模，分析过程易受到物体运动等其他因素干扰，导致检测的精度不够。
[0005]还有一种是基于人体关键点检测的行为分类方法，这种方法利用人体骨骼特征信息，对人体行为分类识别更具针对性，通过人工定义并自动检测人体头、肩、手等关键部位形成特定关键点结构，在无遮挡且常规视角情况下能较好的完成人体检测和识别任务，为行为分类提供有力保障。但服务窗口监控视频所获取人员姿态数据通常不能保证始终满足上述条件，服务性窗口数据通常存在关键点遮挡等人体监测困难，造成严重的人员漏检情况，不能满足自动姿态识别分类任务。
[0006]还有一种方法是借鉴人类视觉细胞对视觉信号加工、抽象过程，双视频流深度神经网络的行为分类方法，这种方法依靠多层复杂网络的学习训练；但是视频监控下工作人员姿势长时间固定不变、工作活动范围大等特点使得准确的行为标记和分类仍然较为困难，视频片段中包含多人行为类别信息、空间行为类别冲突等问题依然突出；同时，服务性窗口不同于单一个体行为分类，工作人员之间、工作人员与办事群众之间常存在交互过程，使得上述行为分类的空间范围和类别标记、分类更为复杂。
[0007]由此，目前需要有一种更好的方案来解决现有技术中的问题。

技术实现思路

[0008]有鉴于此，本专利技术提出了一种监控视频时空信息融合的分类方法、装置及终端，用以解决现有技术中的问题。
[0009]具体的，本专利技术提出了以下具体的实施例：
[0010]本专利技术实施例提出了一种监控视频时空信息融合的分类方法，包括：
[0011]获取样本视频集合；所述样本视频集合中的各个视频已标记有行为类别以及影响工作效能水平的影响值；
[0012]在所述样本视频集合中随机等规模选择各行为类别的视频；
[0013]将选择的视频输入预设分类器进行深层网络权重训练，得到训练好的分类器；
[0014]将待识别视频导入训练好的分类器进行预测，得到对应时间点的多个初步预测结果；
[0015]对每个时间点的所述初步预测结果按照行为量化值作为距离值进行棋盘距离计算获得所述时间点的类别标签；
[0016]对所有时间点的所述类别标签进行时间维度的行为类别融合操作获得待识别视频的最终行为类别预测结果。
[0017]在一个具体的实施例中，所述行为类别包括：在岗工作、在岗未工作、在岗玩手机、在岗睡觉、缺岗中的一个或多个；
[0018]不同的行为类别对应的影响值与所在应用场景相关。
[0019]在一个具体的实施例中，所述“获取样本视频集合”，包括：
[0020]利用双视频流的行为分类方法对分割好的时长的视频片段进行一定次数的时间采样和一定次数的空间采样；各所述视频片段已标记有行为类别以及影响值；
[0021]将进行时间采样与空间采样后的视频片段作为样本视频集合。
[0022]在一个具体的实施例中，输入预设分类器的视频为对应同一窗口的不同空间分布的多个视频片段。
[0023]在一个具体的实施例中，所述“将待识别视频导入训练好的分类器进行预测，得到对应时间点的多个初步预测结果”，包括：
[0024]将待识别视频导入训练好的分类器；
[0025]通过训练好的分路器对所述待识别视频中同一窗口的视频片段进行多次空间采样以及行为分类，得到多个同一时间点的初步预测结果。
[0026]在一个具体的实施例中，所述类别标签基于以下公式预测得到：
[0027][0028]其中，为类别标签；为初步预测结果；当所述影响值为标量时，为标量值；当所述影响值为向量时，为向量值，通过向量2n范数(n>0)进行量化衡量；t
u
为时间点；c
s
为空间采样的次数。
[0029]在一个具体的实施例中，所述最终行为类别预测结果时基于以下公式进行时间维度的行为类别融合操作得到：
[0030][0031]其中，L
s，t
为最终行为类别预测结果；c
t
为进行时间采样的次数。
[0032]本专利技术实施例还提出了一种监控视频时空信息融合的分类装置，包括：
[0033]获取模块，用于获取样本视频集合；所述样本视频集合中的各个视频已标记有行为类别以及影响工作效能水平的影响值；
[0034]选择模块，用于在所述样本视频集合中随机等规模选择各行为类别的视频；
[0035]训练模块，用于将选择的视频输入预设分类器进行深层网络权重训练，得到训练好的分类器；
[0036]初步预测模块，用于将待识别视频导入训练好的分类器进行预测，得到对应时间点的多个初步预测结果；
[0037]标签模块，用于对每个时间点的所述初步预测结果按照行为量化值作为距离值进行棋盘距离计算获得所述时间点的类别标签；
[0038]融合模块，用于对所有时间点的所述类别标签进行时间维度的行为类别融合操作获得待识别视频的最终行为类别预测结果。
[0039]本专利技术实施例还提出了一种终端，包括存储器以及处理器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序以使所述处理器执行上述监控视频时空信息融合的分类方法。
[0040]本专利技术实施例还提出了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述监控视频时空信息融合的分类的方法。
[0041]以此，本专利技术实施例提出了一种监控视频时空信息融合的分类方法、装置及终端，该方法包括：获取样本视频集合；所述样本视频集合中的各个视频已标记有行为类别以及影响工作效能水平的影响值；在所述样本视频集合中随机等规模选择各行为类别的视频；将选择的视频输入预设分类器进行深层网络权重训练，得到训练好的分类器；将待识别视频导入训练好的分类器进行预测，得到对应时间点的多个初步预测结果；对每个时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种监控视频时空信息融合的分类方法，其特征在于，包括：获取样本视频集合；所述样本视频集合中的各个视频已标记有行为类别以及影响工作效能水平的影响值；在所述样本视频集合中随机等规模选择各行为类别的视频；将选择的视频输入预设分类器进行深层网络权重训练，得到训练好的分类器；将待识别视频导入训练好的分类器进行预测，得到对应时间点的多个初步预测结果；对每个时间点的所述初步预测结果按照行为量化值作为距离值进行棋盘距离计算获得所述时间点的类别标签；对所有时间点的所述类别标签进行时间维度的行为类别融合操作获得待识别视频的最终行为类别预测结果。2.如权利要求1所述的方法，其特征在于，所述行为类别包括：在岗工作、在岗未工作、在岗玩手机、在岗睡觉、缺岗中的一个或多个；不同的行为类别对应的影响值与所在应用场景相关。3.如权利要求1所述的方法，其特征在于，所述“获取样本视频集合”，包括：利用双视频流的行为分类方法对分割好的时长的视频片段进行一定次数的时间采样和一定次数的空间采样；各所述视频片段已标记有行为类别以及影响值；将进行时间采样与空间采样后的视频片段作为样本视频集合。4.如权利要求1或3所述的方法，其特征在于，输入预设分类器的视频为对应同一窗口的不同空间分布的多个视频片段。5.如权利要求4所述的方法，其特征在于，所述“将待识别视频导入训练好的分类器进行预测，得到对应时间点的多个初步预测结果”，包括：将待识别视频导入训练好的分类器；通过训练好的分路器对所述待识别视频中同一窗口的视频片段进行多次空间采样以及行为分类，得到多个同一时间点的初步预测结果。6.如权利要求1所述的方法，其特征在于，所述类别标签基于以下公式预测得到：其中，为类别标签；为初步预测结果；当所述影...

【专利技术属性】
技术研发人员：张煇，剌昊跃，柳世豪，陈宏涛，
申请(专利权)人：山西长河科技股份有限公司，
类型：发明
国别省市：