一种行为识别及特征提取的方法、装置、设备及介质制造方法及图纸

本公开提供了一种行为识别及特征提取的方法、装置、设备及介质，其中，该行为识别的方法包括：获取待检测视频；待检测视频包括待识别视频帧以及与待识别视频帧相邻的连续多个参考视频帧；确定待识别视频帧分别与多个参考视频帧之间的匹配代价；以及，将从待识别视频帧以及连续多个参考视频帧中分别提取的视频帧特征信息输入到重要度计算神经网络中，得到针对每个匹配代价对应的多个待确定子匹配代价的重要度权重；确定最大的重要度权重所对应的待确定子匹配代价，得到确定后的子匹配代价；利用训练好的行为识别神经网络以及确定后的子匹配代价，确定针对待识别视频帧的行为识别结果。本公开在确保了识别准确性的前提下，还节约了计算资源。还节约了计算资源。还节约了计算资源。

【技术实现步骤摘要】
一种行为识别及特征提取的方法、装置、设备及介质


[0001]本公开涉及数据处理
，具体而言，涉及一种行为识别及特征提取的方法、装置、设备及介质。

技术介绍

[0002]智能视频分析技术在当前的安防、人机交互和自动驾驶等领域都具有非常重要的应用，而行人行为识别是其中的一个关键技术。其中，行为识别主要利用视频片段中物体的运动信息进行建模，得到描述视频中物体运动情况的运动特征。将得到的运动特征与图像中的表观特征相结合，可以用于行为识别任务。
[0003]目前，可以采用光流法、帧差法等方法计算实现运动信息的建模操作，光流法是根据视频片段中，每一帧图像的各个像素点的速度矢量特征，对图像进行动态分析，当目标运动时，运动目标形成的光流矢量发生变化，从而检测出运动目标，操作复杂，较为耗时。帧差法可以利用相邻帧的特征差值来描述短距离的运动信息，这种方法往往受限于时间约束(对应相邻帧)和空间约束(对应固定的空间邻域)，不能很好地捕捉运动物体在时空上大幅度变化的情况，这导致后续行为识别的准确性较差。

技术实现思路

[0004]本公开实施例至少提供一种行为识别及特征提取的方法、装置、设备及介质。
[0005]第一方面，本公开实施例提供了一种行为识别的方法，所述方法包括：
[0006]获取待检测视频；其中，所述待检测视频包括待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧；
[0007]确定所述待识别视频帧分别与所述多个参考视频帧之间的匹配代价；以及，将从所述待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧中分别提取的视频帧特征信息输入到重要度计算神经网络中，得到所述重要度计算神经网络输出的针对每个匹配代价对应的多个待确定子匹配代价的重要度权重；
[0008]基于确定的每个匹配代价，确定最大的重要度权重所对应的待确定子匹配代价，得到确定后的子匹配代价；
[0009]利用训练好的行为识别神经网络以及确定后的子匹配代价，确定针对待识别视频帧的行为识别结果。
[0010]这里，可以针对待识别视频帧进行行为识别。首先可以确定待识别视频帧与每个参考视频帧之间的匹配代价，匹配代价越小，一定程度上可以说明对应的待识别视频帧和参考视频帧中对应的像素之间的相关性大，进而可以在时间维度上描述目标对象的运动变化。除此之外，在空间维度上本公开实施例可以直接确定最大的重要度权重所对应的待确定子匹配代价，仅需得到一个确定的子匹配代价即可实现行为识别，这在确保了识别准确性的前提下，还进一步节约了计算资源。
[0011]第二方面，本公开实施例提供了一种特征提取的方法，所述方法包括：
[0012]获取目标样本视频帧以及与该目标样本视频帧相邻的连续多个参考样本视频帧；
[0013]确定所述目标样本视频帧分别与所述多个参考样本视频帧之间的匹配代价；
[0014]根据预设的多个空间搜索范围，确定每个所述匹配代价在多个空间搜索范围内分别对应的子匹配代价；
[0015]基于多个所述匹配代价分别对应的多个子匹配代价，生成所述目标样本视频帧对应的运动特征信息；其中，所述目标样本视频帧的运动特征信息，用于训练对待检测视频进行行为识别的行为识别神经网络。
[0016]采用上述特征提取的方法，首先可以确定目标样本视频帧与每个参考样本视频帧之间的匹配代价，匹配代价越小，一定程度上可以说明对应的目标样本视频帧和参考样本视频帧中对应的像素之间的相关性大，进而可以在时间维度上描述目标对象的运动变化。除此之外，在确定每个所述匹配代价在多个空间搜索范围内分别对应的子匹配代价的情况下，可以实现在空间维度上对目标对象的运动变化进行描述，这样所生成的有关目标样本视频帧对应的运动特征信息更为全面，进而使得基于运动特征信息所训练的行为识别神经网络的识别准确性较高。
[0017]在一种可能的实施方式中，所述根据预设的多个空间搜索范围，确定每个所述匹配代价在多个空间搜索范围内分别对应的子匹配代价，包括：
[0018]针对每个匹配代价，将确定该匹配代价时使用的空间搜索范围确定为第一个子匹配代价的第一空间搜索范围；
[0019]确定以所述第一个空间搜索范围中的指定位置为搜索起点位置，且搜索范围的大小与所述第一个空间搜索范围不同的至少一个其他空间搜索范围对应的子匹配代价。
[0020]这里，可以基于不同的空间搜索范围确定不同的子匹配代价，也即，子匹配代价可以描述的是在对应的空间搜索范围内确定目标对象的运动变化。空间搜索范围越大，搜索到目标对象的可能性越高，但所对应的搜索时间越长，这里可以兼顾搜索可能性和搜索时间确定不同的子匹配代价。
[0021]在一种可能的实施方式中，所述指定位置为所述第一个空间搜索范围的中心。
[0022]考虑到针对一个视频帧而言，视频帧的中心位置往往是用户注意力最强的位置，搜索到目标对象的可能性会更大，基于此，这里可以采用以第一空间搜索范围的中心进行搜索的方式，提升搜索到目标的效率。
[0023]在一种可能的实施方式中，按照如下步骤确定所述至少一个其他空间搜索范围对应的子匹配代价：
[0024]确定所述第一个空间搜索范围所对应的匹配代价长方体；
[0025]针对所述其他空间搜索范围中的目标空间搜索范围，从确定的所述匹配代价长方体中确定与所述目标空间搜索范围对应的子匹配代价长方体；从所述第一个子匹配代价包含的各个匹配代价矩阵值中查找与确定的所述子匹配代价长方体匹配的匹配代价矩阵值；将查找到的所述匹配代价矩阵值进行组合，得到与所述目标空间搜索范围对应的子匹配代价；
[0026]将得到的与所述目标空间搜索范围对应的子匹配代价，确定为所述其他空间搜索范围对应的子匹配代价。
[0027]在一种可能的实施方式中，所述基于多个所述匹配代价分别对应的多个子匹配代
价，生成所述目标样本视频帧对应的运动特征信息，包括：
[0028]针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代价转换为对应的两个样本视频帧中的目标对象在对应的空间搜索范围内的运动特征信息，以得到所述目标子匹配代价转换后的运动特征信息；
[0029]将所述目标子匹配代价转换后的运动特征信息，确定为所述目标样本视频帧对应的一个运动特征信息。
[0030]在一种可能的实施方式中，所述针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代价转换为对应的两个样本视频帧中的目标对象在对应的空间搜索范围内的运动特征信息，包括：
[0031]针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代价输入至特征转换神经网络，得到所述特征转换神经网络输出的运动特征信息；
[0032]基于得到的所述运动特征信息确定所述目标子匹配代价转换后的运动特征信息。
[0033]这里，利用训练好的特征转换神经网络可以直接对子匹配代价进行特征转换，生成效率较高。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别的方法，其特征在于，所述方法包括：获取待检测视频；其中，所述待检测视频包括待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧；确定所述待识别视频帧分别与所述多个参考视频帧之间的匹配代价；以及，将从所述待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧中分别提取的视频帧特征信息输入到重要度计算神经网络中，得到所述重要度计算神经网络输出的针对每个匹配代价对应的多个待确定子匹配代价的重要度权重；基于确定的每个匹配代价，确定最大的重要度权重所对应的待确定子匹配代价，得到确定后的子匹配代价；利用训练好的行为识别神经网络以及确定后的子匹配代价，确定针对所述待识别视频帧的行为识别结果。2.一种特征提取的方法，其特征在于，所述方法包括：获取目标样本视频帧以及与该目标样本视频帧相邻的连续多个参考样本视频帧；确定所述目标样本视频帧分别与所述多个参考样本视频帧之间的匹配代价；根据预设的多个空间搜索范围，确定每个所述匹配代价在多个空间搜索范围内分别对应的子匹配代价；基于多个所述匹配代价分别对应的多个子匹配代价，生成所述目标样本视频帧对应的运动特征信息；其中，所述目标样本视频帧的运动特征信息，用于训练对待检测视频进行行为识别的行为识别神经网络。3.根据权利要求2所述的方法，其特征在于，所述根据预设的多个空间搜索范围，确定每个所述匹配代价在多个空间搜索范围内分别对应的子匹配代价，包括：针对每个匹配代价，将确定该匹配代价时使用的空间搜索范围确定为第一个子匹配代价的第一个空间搜索范围；确定以所述第一个空间搜索范围中的指定位置为搜索起点位置，且搜索范围的大小与所述第一个空间搜索范围不同的至少一个其他空间搜索范围对应的子匹配代价。4.根据权利要求3所述的方法，其特征在于，所述指定位置为所述第一个空间搜索范围的中心。5.根据权利要求3或4所述的方法，其特征在于，按照如下步骤确定所述至少一个其他空间搜索范围对应的子匹配代价：确定所述第一个空间搜索范围所对应的匹配代价长方体；针对所述其他空间搜索范围中的目标空间搜索范围，从确定的所述匹配代价长方体中确定与所述目标空间搜索范围对应的子匹配代价长方体；从所述第一个子匹配代价包含的各个匹配代价矩阵值中查找与确定的所述子匹配代价长方体匹配的匹配代价矩阵值；将查找到的所述匹配代价矩阵值进行组合，得到与所述目标空间搜索范围对应的子匹配代价；将得到的与所述目标空间搜索范围对应的子匹配代价，确定为所述其他空间搜索范围对应的子匹配代价。6.根据权利要求2
‑
5任一所述的方法，其特征在于，所述基于多个所述匹配代价分别对应的多个子匹配代价，生成所述目标样本视频帧对应的运动特征信息，包括：针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代
价转换为对应的两个样本视频帧中的目标对象在对应的空间搜索范围内的运动特征信息，以得到所述目标子匹配代价转换后的运动特征信息；将所述目标子匹配代价转换后的运动特征信息，确定为所述目标样本视频帧对应的一个运动特征信息。7.根据权利要求6所述的方法，其特征在于，所述针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代价转换为对应的两个样本视频帧中的目标对象在对应的空间搜索范围内的运动特征信息，包括：针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代价输入至特征转换神经网络，得到所述特征转换神经网络输出的运动特征信息；基于得到的所述运动特征信息确定所述目标子匹配代价转换后的运动特征信息。8.根据权利要求7所述的方法，其特征在于，所述特征转换神经网络包括两个子特征转换神经网络；所述针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代价输入至特征转换神经网络，得到特征转换神经网络输出的运动特征信息，包括：针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代价分别输入到所述两个子特征转换神经网络中，得到第一转换后特征和第二转换后特征；所述两个子特征转换神经网络的网络运算操作不同；所述第一转换后特征和第二转换后特征的维度相同；将所述第一转换后特征和第二转换后特征进行求和运算，得到特征转换神经网络输出的运动特征信息。9.根据权利要求7或8所述的方法，其特征在于，按照如下步骤训练对待检测视频进行行为识别的行为识别神经网络：确定针对每个所述子匹配代价转换后的运动特征信息所分配的重要度权重；将针对每个所述子匹配代价转换后的运动特征信息以及所分配的重要度权重进行加权求和，得到总运动特征信息；基于得到的所述总运动特征信息对待训练的行为识别神经网络进行训练，得到训练好的行为识别神经网络。10.根据权利要求9所述的方法，其特征在于，按照如下步骤确定针对每个所述子匹配代价转换后的运动特征信息所分配的重要度权重：从所述目标样本视频帧以及与该目标样本视频帧相邻的连续多个参考样本视频帧中分别提取对应的视频帧特征信息；将提取的所述视频帧特征信息输入到重要度计算神经网络中，得到重要度计算神经网络输出的针对每个匹配代价对应的多个子匹配代价的重要度权重；针对每个匹配代价对应的每个子匹配代价，将每个所述子匹配代价的重要度权重对应分配给每个所述子匹配代价转换后的运动特征信息，得到每个所述子匹配代价转换后的运动特征信息所分配的重要度...

【专利技术属性】
技术研发人员：庄培钦，郭宇，于志鹏，
申请(专利权)人：商汤集团有限公司，
类型：发明
国别省市：