【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体是基于计算机视觉的智能视频行为分析方法。
技术介绍
1、计算机视觉是一门研究如何使机器“看”的科学，更进一步地说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像，作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统，当今世界已经全面迈进信息化时代，现实生活中每天有成千上万的视觉数据产生，而随着计算机视觉技术、人工智能的发展，这些视觉数据被广泛地应用到现实生活的各个方面，成为我们认识世界和改造世界的重要媒介，随着我国平安城市的建设，我国已建成全世界最大的安防监控网络，然而相比基础设施的建设步伐，我国在监控视频的处理和分析技术方面明显落后，面对这些海量的视频数据，如何对其进行有效的处理与分析在现实生活中有着重要的现实意义与实用价值。
2、对视频监控数据的智能化分析与处理中，对行为的智能分析又是其中的重中之重，如对监控对象是人的场景，对人的行为分析可以帮助判别机场、车站等旅客的异常行为检测，交通路口行人的违规行为检测，在商场、住宅防盗应用中，及时对可疑人员进行行为分析与预测，这些有助于预防犯罪行为的发生，在案件发生后自动识别检索可疑行为，可以避免人工比对时的效率低下；在监控对象是车的场景下，同样可以对车辆的可疑行为进行预测，具体可用在智慧交通(车辆违规等行为管理)，智慧城市(渣土抛洒)等领域，因此，在视频数据的处理中，行为识别是其中非常重要的一环。<...
【技术保护点】
1.基于计算机视觉的智能视频行为分析方法，其特征在于：其方法步骤如下：
2.根据权利要求1所述的基于计算机视觉的智能视频行为分析方法，其特征在于：所述S1中，基于在视频监控系统中的应用，通过采用基于迁移学习的目标检测算法，将已有的人体数据集作为源域，实际监控视频中所得到的视频数据作为目标领域，从原始领域向目标领域进行迁移学习，这样使得即使在现有的实际场景的标注样本较少情况下，依然能够从源域数据(已有标注数据集)中得到有效迁移信息，从而可以得到准确的分类器和检测器。
3.根据权利要求1所述的基于计算机视觉的智能视频行为分析方法，其特征在于：所述S1中，目标检测是一个二值分类问题，目标是利用分类器判断某检测窗口是否包含目标，基于迁移学习的目标检测模型需要先在原始领域训练检测器，然后再对已训练的检测器上对目标领域的未标记样本进行检测，根据检测得到的可靠样本对目标域中的正负样本进行权重再计算，从而训练一个更加适合目标领域的目标检测器，并且需要考虑目标领域与原始领域中样本的不同分布，根据目标领域的样本分布，计算原始领域已标记的样本权重，将权重信息带入目标检测器，从而
4.根据权利要求1所述的基于计算机视觉的智能视频行为分析方法，其特征在于：所述S2中，在确定了具体目标所在的空间位置后(所述S1中的目标检测)，对目标的具体行为进行分析和识别，通过基于视频数据对目标行为进行识别与分析。
5.根据权利要求1所述的基于计算机视觉的智能视频行为分析方法，其特征在于：所述S2中，进行卷积网络训练时采用3D的卷积神经网络，通过基于3D卷积神经网络(3DCNN)模型对视频数据进行特征计算，第一步：输入N帧视频帧，然后通过事先设定的滤波器获得5种不同的特征，包括灰度、x方向梯度、y方向梯度、x方向光流、y方向光流，这种预先设定的先验特征的提取相比随机初始化更具针对性，效果也更好；第二步：采用3D卷积网络对提取的特征进行卷积及下采样操作，不断的卷积层与采样层的连接；第三步：最后输出全连接层，此种3DCNN模型在将传统的CNN拓展到时间维度，卷积操作是作用在空间的x方向，y方向，以及时间轴方向，从视频数据的空间维度和时间维度上进行特征描述，从而可以将运动信息编码到特征空间，因此会具备比基于图形的CNN更多的信息,在实际监控视频数据的分析中，通过将对此种3DCNN进行改进，添加多任务学习方式，采用多种标注等其他任务的学习，从而更好的服务于下一步的行为检索任务中，通过多任务学习的方式可以共享不同任务之间的关联关系，从而得到更好的泛化效果，在行为识别的过程中，由于可标记的样本数少，因此更需要多任务学习方式来避免目标任务的过度拟合。
6.根据权利要求1所述的基于计算机视觉的智能视频行为分析方法，其特征在于：所述S2中，多任务学习的关键在于信息的共享，在卷积网络中则体现在网络参数的共享中，参数共享有两种方式：硬共享方式与软共享方式，硬共享方式在网络模型的各个隐藏层共享参数，仅仅保留任务相关的输出层不共享，输出的全连接层根据特定的任务进行设计；软共享方式每个任务拥有自己的模型与参数，对多任务的共享体现在模型参数距离的正则化上，在行为识别的任务中，拟采用硬共享的方式，一方面因为行为识别与分析人物中各个任务的相关性非常高，不需要像软共享方式一样每个任务拥有独立模型与参数，采用硬共享方式参数规模小，容易训练，另一方面硬共享同时学习多个任务，模型需要捕捉各个目标行为的统一表示，从而可以实现大大降低任务的过拟合风险。
7.根据权利要求1所述的基于计算机视觉的智能视频行为分析方法，其特征在于：所述S3中，通过对视频进行精准浓缩与摘要，能够帮助监管部门从海量的视频数据中快速挖掘...
【技术特征摘要】
1.基于计算机视觉的智能视频行为分析方法，其特征在于：其方法步骤如下：
2.根据权利要求1所述的基于计算机视觉的智能视频行为分析方法，其特征在于：所述s1中，基于在视频监控系统中的应用，通过采用基于迁移学习的目标检测算法，将已有的人体数据集作为源域，实际监控视频中所得到的视频数据作为目标领域，从原始领域向目标领域进行迁移学习，这样使得即使在现有的实际场景的标注样本较少情况下，依然能够从源域数据(已有标注数据集)中得到有效迁移信息，从而可以得到准确的分类器和检测器。
3.根据权利要求1所述的基于计算机视觉的智能视频行为分析方法，其特征在于：所述s1中，目标检测是一个二值分类问题，目标是利用分类器判断某检测窗口是否包含目标，基于迁移学习的目标检测模型需要先在原始领域训练检测器，然后再对已训练的检测器上对目标领域的未标记样本进行检测，根据检测得到的可靠样本对目标域中的正负样本进行权重再计算，从而训练一个更加适合目标领域的目标检测器，并且需要考虑目标领域与原始领域中样本的不同分布，根据目标领域的样本分布，计算原始领域已标记的样本权重，将权重信息带入目标检测器，从而选择样本，更新检测器，具体实施步骤如包括：第一步：通过采用基于模型的迁移学习策略，首先根据训练数据在特征空间中的相似性将样本进行聚类，分成不同的子集，这些子集中的样本在特征空间中比较相近；第二步：通过对每个子集训练相应的检测模型，如将站立的行人分为一类，正在行走的行人分为一类，不同姿势可以训练不同的检测器；第三步：由于检测模型被细化，最后得到的训练模型能够传递更多的有用信息，在这些子模型基础上，结合迁移学习，逐步对样本进行筛选、加权，从而对目标领域样本实现准确分类，通过采取多层检测器模型，检测器由一组分类器串联而成，第一层检测器可以快速筛选候选窗口，保证正样本直接通过，尽可能的淘汰负样本，在后续层添加不同的特征判断条件，对候选窗口进行判断，从而可以保证检测器在前期淘汰大多数负样本，即使在最后几层，检测所用的特征再复杂，而候选的样本数减少，依旧可以快速得到检测标签，避免了一开始对所有的候选窗口进行复杂的特征提取操作，从而减少了判断时间。
4.根据权利要求1所述的基于计算机视觉的智能视频行为分析方法，其特征在于：所述s2中，在确定了具体目标所在的空间位置后(所述s1中的目标检测)，对目标的具体行为进行分析和识别，通过基于视频数据对目标行为进行识别与分析。
5.根据权利要求1所述的基于计算机视觉的智能视频行为分析方法，其特征在于：所述s2中，进行卷积网络训练时采用3d的卷积神经网络，通过基于3d卷积神经网络(3dcnn)模型对视频数据进行特征计算，第一步：输入n帧视频帧，然后通过事先设定的滤波器获得5种不同的特征，包括灰度、x方向梯度、y方向梯度、x方向光流、y方向光流，这种预先设定的先验特征的提取相比随机初始化更具针对性，效果也更好；第二步：采用3d卷积网络对提取的特征进行卷积及下采样操作，不断的卷积层与采样层的连接；第三步：最后输出全连接层，此种3dcnn模型在将传统的cnn拓展到时间维度，卷积操作是作用在空间的x方向，y方向，以及时间轴方向，从视频数据的空间维度和时间维度上进行特征描述，从而可以将运动信息编码到特征空间，因此会具备比基于图形的cnn更多的信息,在实际监控视频数据的分析中，通过将对此种3dcnn进行改进，添加多任务学习方式，采用多种标注等其他任务的学习，从而更好的服务于下一步的行为检索任务中，通过多任务学习的方式可以共享不同任务之间的关联关系，从而得到更好的泛化效果，在行为识别的过程中，由于可标记的样本数少，因此更需...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。