动作识别方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种动作识别方法、装置及存储介质，方法包括：通过对所获取的待测视频数据进行处理，得到多个特征矩阵；多个特征矩阵是对包含目标对象的多个视频帧进行处理得到的；利用时序特征提取网络模型对多个特征矩阵进行处理，得到对应多个特征矩阵的多个时序动作特征矩阵；其中，时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；所述前序特征矩阵包括：网络层对应的网络块输入的特征矩阵，及排序在所述网络层前面的前序网络层输出的所述特征矩阵；通过多个时序动作特征矩阵，确定出多个视频帧中的目标对象的动作识别结果。本方案可以减少计算资源的占用，同时也提高了识别精度。同时也提高了识别精度。同时也提高了识别精度。

【技术实现步骤摘要】
动作识别方法、装置及存储介质


[0001]本专利技术实施例涉及计算机及互联网
，尤其涉及一种动作识别方法、装置及存储介质。

技术介绍

[0002]传统的动作识别方法利用VGG(Visual Geometry Group Network)模型，采用连续几个卷积核来代替较大的卷积核进行动作识别。该模型在具有相同感知视野的前提下增加网络的深度，证明了增加网络深度能够在一定程度上影响网络的性能，提升了网络的效果，但是该模型使用了更多的参数，耗费了更多的计算资源。另一种动作识别方法利用GoogLeNet模型将全连接变成稀疏连接，在增加网络深度和宽度的同时，在一定程度上减少了网络的参数，但是随着网络层数的增加，网络会发生退化现象，进而导致识别不准确。所以相关技术中存在，计算资源占用较多，识别精度差的问题。

技术实现思路

[0003]本专利技术实施例提供的一种动作识别方法、装置及存储介质，可以减少计算资源的占用，同时也提高了识别精度。
[0004]本专利技术的技术方案是这样实现的：
[0005]本专利技术实施例提供了一种动作识别方法，包括：
[0006]对所获取的待测视频数据进行处理，得到多个特征矩阵；所述多个特征矩阵是对预定时间段内包含目标对象的多个视频帧进行处理得到的；
[0007]利用时序特征提取网络模型对所述多个特征矩阵进行处理，得到对应所述多个特征矩阵的多个时序动作特征矩阵；其中，所述时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；所述前序特征矩阵包括：所述网络层对应的网络块输入的特征矩阵，及排序在所述网络层前面的前序网络层输出的所述特征矩阵；
[0008]通过所述多个时序动作特征矩阵，确定出所述多个视频帧中的所述目标对象的动作识别结果。
[0009]上述方案中，利用时序特征提取网络模型对多个特征矩阵进行处理，得到对应多个特征矩阵的多个时序动作特征矩阵，包括：
[0010]利用第1个网络块中的每个网络层对多个特征矩阵，及前序网络层输出的特征矩阵进行融合重用和分组处理，得到第1个网络块输出的第1组时序特征矩阵，供第2网络块进行处理；
[0011]直至利用第m个网络块中的每个网络层对第m
‑
1组时序特征矩阵，及前序网络层输出的特征矩阵进行融合重用和分组处理，得到多个时序动作特征矩阵；时序特征提取网络模型中包括：m个网络块；m为大于等于2的正整数；第m
‑
1组时序特征矩阵是第m
‑
1个网络块输出的特征矩阵。
[0012]上述方案中，直至利用第m个网络块中的每个网络层对第m
‑
1组时序特征矩阵，及
前序网络层输出的特征矩阵进行融合重用和分组处理，得到多个时序动作特征矩阵，包括：
[0013]利用第1个网络层对第m
‑
1组时序特征矩阵进行分组卷积处理，得到第1组特征矩阵，将第1组特征矩阵进行降维后，与第m
‑
1组时序特征矩阵融合，得到第1组中间特征矩阵，供第2网络层进行处理；
[0014]利用第i个网络层对第i
‑
1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，将第i组特征矩阵进行降维后，与第m
‑
1组时序特征矩阵，及前i
‑
1组中间特征矩阵融合，得到第i组中间特征矩阵，供第i+1个网络层进行处理；前i
‑
1组中间特征矩阵是前i
‑
1个网络层分别输出的特征矩阵；前序网络层包括：前i
‑
1个网络层；i为大于1小于n的整数；
[0015]直至利用第n个网络层对第n
‑
1组中间特征矩阵进行分组卷积处理，得到多个时序动作特征矩阵；第n
‑
1组中间特征矩阵是第n
‑
1个网络层输出的特征矩阵；第m个网络块中包括：n个网络层；n为大于等于2的正整数。
[0016]上述方案中，利用第i个网络层对第i
‑
1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，将第i组特征矩阵进行降维后，与第m
‑
1组时序特征矩阵，及前i
‑
1组中间特征矩阵融合，得到第i组中间特征矩阵，包括：
[0017]利用第i个网络层中的各个卷积层对第i
‑
1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵；
[0018]计算第m
‑
1组时序特征矩阵及前i
‑
1组中间特征矩阵组合后的矩阵，将矩阵与预定系数相乘后的得到目标矩阵；
[0019]对第i组特征矩阵按照第i+1网络层输入通道个数的一半进行降维后，与目标矩阵融合得到第i组中间特征矩阵。
[0020]上述方案中，各个卷积层包括：第1卷积层、第2卷积层和第3卷积层；
[0021]利用第i个网络层中的各个卷积层对第i
‑
1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，包括：
[0022]利用第1卷积层对第i
‑
1组中间特征矩阵进行处理，得到多个第i待分组矩阵；
[0023]将多个第i待分组矩阵分为多个第i组矩阵，利用第2卷积层分别对多个第i组矩阵中的每组矩阵进行处理，得到对应每组矩阵的第i待融合特征矩阵；
[0024]将多个第i待融合特征矩阵进行融合后，利用第3卷积层进行处理，得到第i组特征矩阵。
[0025]上述方案中，通过多个时序动作特征矩阵，确定出多个视频帧中的目标对象的动作识别结果，包括：
[0026]对多个时序动作特征矩阵进行池化和降维处理，得到多个中间时序特征矩阵；
[0027]利用预设网络模型对多个中间时序特征矩阵进行处理，得到最终时序特征矩阵；
[0028]利用预设函数对最终时序特征矩阵，进行处理得到多个概率值；
[0029]在匹配数据库中根据多个概率值中的最大概率值的位次，确定出动作识别结果；匹配数据库预存有多个概率值的位次与对应的动作识别结果之间的映射信息。
[0030]上述方案中，对所获取的待测视频数据进行处理，得到多个特征矩阵，包括：
[0031]在获取的待测视频数据中，按照时序特征提取出包含目标对象的多个视频帧；
[0032]根据多个视频帧中的每个像素点对应预定色值空间的色值，确定出多个色值矩阵；
[0033]对多个色值矩阵进行归一化、卷积和池化处理得到多个特征矩阵。
[0034]本专利技术实施例中还提供了一种动作识别装置，包括：
[0035]处理单元，用于对所获取的待测视频数据进行处理，得到多个特征矩阵；所述多个特征矩阵是对预定时间段内的包含目标对象的多个视频帧进行处理得到的；
[0036]所述处理单元，还用于利用时序特征提取网络模型对所述多个特征矩阵进行处理，得到对应所述多个特征矩阵的多个时序动作特征矩阵；其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：对所获取的待测视频数据进行处理，得到多个特征矩阵；所述多个特征矩阵是对预定时间段内包含目标对象的多个视频帧进行处理得到的；利用时序特征提取网络模型对所述多个特征矩阵进行处理，得到对应所述多个特征矩阵的多个时序动作特征矩阵；其中，所述时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；所述前序特征矩阵包括：所述网络层对应的网络块输入的特征矩阵，及排序在所述网络层前面的前序网络层输出的所述特征矩阵；通过所述多个时序动作特征矩阵，确定出所述多个视频帧中的所述目标对象的动作识别结果。2.根据权利要求1所述的动作识别方法，其特征在于，所述利用时序特征提取网络模型对所述多个特征矩阵进行处理，得到对应所述多个特征矩阵的多个时序动作特征矩阵，包括：利用第1个网络块中的每个网络层对所述多个特征矩阵，及所述前序网络层输出的特征矩阵进行融合重用和分组处理，得到所述第1个网络块输出的第1组时序特征矩阵，供第2网络块进行处理；直至利用第m个网络块中的所述每个网络层对第m
‑
1组时序特征矩阵，及所述前序网络层输出的特征矩阵进行融合重用和分组处理，得到所述多个时序动作特征矩阵；所述时序特征提取网络模型中包括：m个网络块；m为大于等于2的正整数；所述第m
‑
1组时序特征矩阵是第m
‑
1个网络块输出的特征矩阵。3.根据权利要求2所述的动作识别方法，其特征在于，所述直至利用第m个网络块中的所述每个网络层对第m
‑
1组时序特征矩阵，及所述前序网络层输出的特征矩阵进行融合重用和分组处理，得到所述多个时序动作特征矩阵，包括：利用第1个网络层对所述第m
‑
1组时序特征矩阵进行分组卷积处理，得到第1组特征矩阵，将所述第1组特征矩阵进行降维后，与所述第m
‑
1组时序特征矩阵融合，得到第1组中间特征矩阵，供第2网络层进行处理；利用第i个网络层对第i
‑
1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，将所述第i组特征矩阵进行降维后，与所述第m
‑
1组时序特征矩阵，及前i
‑
1组中间特征矩阵融合，得到第i组中间特征矩阵，供第i+1个网络层进行处理；所述前i
‑
1组中间特征矩阵是前i
‑
1个网络层分别输出的特征矩阵；所述前序网络层包括：所述前i
‑
1个网络层；i为大于1小于n的整数；直至利用第n个网络层对第n
‑
1组中间特征矩阵进行分组卷积处理，得到所述多个时序动作特征矩阵；所述第n
‑
1组中间特征矩阵是第n
‑
1个网络层输出的特征矩阵；所述第m个网络块中包括：n个网络层；n为大于等于2的正整数。4.根据权利要求3所述的动作识别方法，其特征在于，所述利用第i个网络层对第i
‑
1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，将所述第i组特征矩阵进行降维后，与所述第m
‑
1组时序特征矩阵，及前i
‑
...

【专利技术属性】
技术研发人员：张志伟，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：