基于多模态特征级融合的人体动作识别系统及其识别方法技术方案

本申请涉及人体动作智能识别的领域，其具体地公开了一种基于多模态特征级融合的人体动作识别系统及其识别方法，其通过基于短时傅里叶变化和小波包分解从待检测人体的重心在预设时间段内的加速度信号中提取频域和时域的样本数据，并使用深度神经网络模型来提取出所述加速度信号的时频域样本信息中的动态隐含关联特征，并且在特征融合的过程中，通过计算真值度量距离向量以减小特征向量间的在高维空间内的按位置特征匹配的感受区分度，从而促进特征的融合，以提高分类的结果。以提高分类的结果。以提高分类的结果。

【技术实现步骤摘要】
基于多模态特征级融合的人体动作识别系统及其识别方法


[0001]本专利技术涉及人体动作智能识别的领域，且更为具体地，涉及一种基于多模态特征级融合的人体动作识别系统及其识别方法。

技术介绍

[0002]“察言观色”是正常人类的基本生活交流能力，对人类动作和行为的分析和理解是现代心理学的主要研究内容之一。随着人工智能的发展和人类计算能力的提升，人体动作识别逐渐成为计算机视觉以及图像处理领域的研究热点之一，该方向不仅拥有重要的理论研究价值，还有着广泛的应用前景。其主要原因是人体动作识别在人机交互、健康监护、智能安防、视频分析等研究领域中的潜在应用价值。因此，需要一种优化的人体动作识别系统。
[0003]目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0004]近年来，深度学习以及神经网络的发展，为人体的动作识别提供了解决思路和方案。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多模态特征级融合的人体动作识别系统及其识别方法，其通过基于短时傅里叶变化和小波包分解从待检测人体的重心在预设时间段内的加速度信号中提取频域和时域的样本数据，并使用深度神经网络模型来提取出所述加速度信号的时频域样本信息中的动态隐含关联特征，并且在特征融合的过程中，通过计算真值度量距离向量以减小特征向量间的在高维空间内的按位置特征匹配的感受区分度，从而促进特征的融合，以提高分类的结果。
[0006]根据本申请的一个方面，提供了一种基于多模态特征级融合的人体动作识别系统，其包括：单模态数据获取单元，用于获取待检测人体的重心在预设时间段内的加速度信号；频域特征提取单元，用于基于短时傅里叶变化从所述加速度信号提取频域样本数据；时域特征提取单元，用于基于小波包分解从所述加速度信号提取时域样本数据；时频域特征编码单元，用于将所述频域样本数据和所述时域样本数据通过包含一维卷积层和全连接层的时序编码器以获得对应于所述频域样本数据的第一特征向量和对应于时域样本数据的第二特征向量；第一校正单元，用于基于所述第一特征向量和所述第二特征向量之间的均值向量来计算所述第一特征向量的真值度量距离向量作为校正后第一特征向量，其中，所述第一特征向量的真值度量距离向量的各个位置的特征值为以所述第一特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分子除以以所述第一特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值乘以所述第二特征向量的各个位置的特征值减去所述均值向量
的各个位置的特征值之差为幂的自然指数函数值为分母；第二校正单元，用于基于所述第一特征向量和所述第二特征向量之间的均值向量来计算所述第二特征向量的真值度量距离向量作为校正后第二特征向量，其中，所述第二特征向量的真值度量距离向量的各个位置的特征值为以所述第二特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分子除以以所述第二特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值乘以所述第一特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分母；特征融合单元，用于融合所述校正后第一特征向量和所述校正后第二特征向量以获得分类特征向量；以及动作识别单元，用于将所述分类特征向量通过具有多标签的分类器以获得分类结果，所述分类结果为待检测人体的动作类型。
[0007]根据本申请的另一方面，一种基于多模态特征级融合的人体动作识别系统的识别方法，其包括：获取待检测人体的重心在预设时间段内的加速度信号；基于短时傅里叶变化从所述加速度信号提取频域样本数据；基于小波包分解从所述加速度信号提取时域样本数据；将所述频域样本数据和所述时域样本数据通过包含一维卷积层和全连接层的时序编码器以获得对应于所述频域样本数据的第一特征向量和对应于时域样本数据的第二特征向量；基于所述第一特征向量和所述第二特征向量之间的均值向量来计算所述第一特征向量的真值度量距离向量作为校正后第一特征向量，其中，所述第一特征向量的真值度量距离向量的各个位置的特征值为以所述第一特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分子除以以所述第一特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值乘以所述第二特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分母；
[0008]基于所述第一特征向量和所述第二特征向量之间的均值向量来计算所述第二特征向量的真值度量距离向量作为校正后第二特征向量，其中，所述第二特征向量的真值度量距离向量的各个位置的特征值为以所述第二特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分子除以以所述第二特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值乘以所述第一特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分母；融合所述校正后第一特征向量和所述校正后第二特征向量以获得分类特征向量；以及将所述分类特征向量通过具有多标签的分类器以获得分类结果，所述分类结果为待检测人体的动作类型。
[0009]与现有技术相比，本申请提供的基于多模态特征级融合的人体动作识别系统及其识别方法，其通过基于短时傅里叶变化和小波包分解从待检测人体的重心在预设时间段内的加速度信号中提取频域和时域的样本数据，并使用深度神经网络模型来提取出所述加速度信号的时频域样本信息中的动态隐含关联特征，并且在特征融合的过程中，通过计算真值度量距离向量以减小特征向量间的在高维空间内的按位置特征匹配的感受区分度，从而促进特征的融合，以提高分类的结果。
附图说明
[0010]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0011]图1为根据本申请实施例的基于多模态特征级融合的人体动作识别系统的应用场景图。
[0012]图2为根据本申请实施例的基于多模态特征级融合的人体动作识别系统的框图。
[0013]图3为根据本申请实施例的基于多模态特征级融合的人体动作识别系统的识别方法的流程图。
[0014]图4为根据本申请实施例的基于多模态特征级融合的人体动作识别系统的识别方法的架构示意图。
具体实施方式
[0015]下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征级融合的人体动作识别系统，其特征在于，包括：单模态数据获取单元，用于获取待检测人体的重心在预设时间段内的加速度信号；频域特征提取单元，用于基于短时傅里叶变化从所述加速度信号提取频域样本数据；时域特征提取单元，用于基于小波包分解从所述加速度信号提取时域样本数据；时频域特征编码单元，用于将所述频域样本数据和所述时域样本数据通过包含一维卷积层和全连接层的时序编码器以获得对应于所述频域样本数据的第一特征向量和对应于时域样本数据的第二特征向量；第一校正单元，用于基于所述第一特征向量和所述第二特征向量之间的均值向量来计算所述第一特征向量的真值度量距离向量作为校正后第一特征向量，其中，所述第一特征向量的真值度量距离向量的各个位置的特征值为以所述第一特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分子除以以所述第一特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值乘以所述第二特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分母；第二校正单元，用于基于所述第一特征向量和所述第二特征向量之间的均值向量来计算所述第二特征向量的真值度量距离向量作为校正后第二特征向量，其中，所述第二特征向量的真值度量距离向量的各个位置的特征值为以所述第二特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分子除以以所述第二特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值乘以所述第一特征向量的各个位置的特征值减去所述均值向量的各个位置的特征值之差为幂的自然指数函数值为分母；特征融合单元，用于融合所述校正后第一特征向量和所述校正后第二特征向量以获得分类特征向量；以及动作识别单元，用于将所述分类特征向量通过具有多标签的分类器以获得分类结果，所述分类结果为待检测人体的动作类型。2.根据权利要求1所述的基于多模态特征级融合的人体动作识别系统，其中，所述时频域特征编码单元，进一步用于：将所述频域样本数据排列为频域输入向量；使用所述时序编码器的全连接层以如下公式对所述频域输入向量进行全连接编码以提取出所述频域输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：其中X是所述输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，表示矩阵乘；使用所述时序编码器的一维卷积层以如下公式对所述频域输入向量进行一维卷积编码以提取出所述频域输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸；将所述时域样本数据排列为时域输入向量；使用所述时序编码器的全连接层以如下公式对所述时域输入向量进行全连接编码以提取出所述时域输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：的高维隐含特征，其中，所述公式为：其中X是所述输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，表示矩阵乘；使用所述时序编码器的一维卷积层以如下
公式对所述时域输入向量进行一维卷积编码以提取出所述时域输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。3.根据权利要求2所述的基于多模态特征级融合的人体动作识别系统，其中，所述第一校正单元，进一步用于：基于所述第一特征向量和所述第二特征向量之间的均值向量以如下公式来计算所述第一特征向量的真值度量距离向量作为所述校正后第一特征向量；其中，所述公式为：其中，V1表示所述第一特征向量，V2表示所述第二特征向量，表示所述第一特征向量和所述第二特征向量之间的均值向量，V
′1表示所述校正后第一特征向量，分别表示向量的按位置减法和加法，exp(
·
)表示向量的指数运算，以向量为幂的自然常数的指数运算表示以向量的每个位置的值作为幂求指数，再获得计算运算结果的向量，且分子向量除以分母向量就是向量的按位置相除。4.根据权利要求3所述的基于多模态特征级融合的人体动作识别系统，其中，所述第二校正单元，进一步用于：基于所述第一特征向量和所述第二特征向量之间的均值向量以如下公式来计算所述第二特征向量的真值度量距离向量作为所述校正后第二特征向量；其中，所述公式为：其中，V1表示所述第一特征向量，V2表示所述第二特征向量，表示所述第一特征向量和所述第二特征向量之间的均值向量，V
′2表示所述校正后第二特征向量，分别表示向量的按位置减法和加法，exp(
·
)表示向量的指数运算，以向量为幂的自然常数的指数运算表示以向量的每个位置的值作为幂求指数，再获得计算运算结果的向量，且分子向量除以分母向量就是向量的按位置相除。5.根据权利要求4所述的基于多模态特征级融合的人体动作识别系统，其中，所述特征融合单元，进一步用于：以如下公式融合所述校正后第一特征向量和所述校正后第二特征向量以获得所述分类特征向量；其中，所述公式为：V＝αV
′1+βV
′2其中V
′1表示所述校正后第一特征向量，V
′2表示所述校正后第二特征向量，V表示所述分类特征向量，“+”表示所述校正后第一特征向量和所述校正后第二特征向量相对应位置处的元素相加，α和β为用于控制所述分类特征向量中所述校正后第一特征向量和所述校正
后第二特征向量之...

【专利技术属性】
技术研发人员：胡秀芬，
申请(专利权)人：浙江绍兴少宫数码科技有限公司，
类型：发明
国别省市：