【技术实现步骤摘要】
本专利技术涉及深度学习领域，特别涉及一种基于点加权注意力增强动态记忆动作识别方法。
技术介绍
1、无接触传感目前是非常光明的研究道路，在日常生活中有很多应用场景。从先前的研究表明，将无线传感器与深度学习结合，可以准确的识别人类动作。最主要的是基于无线传感器的动作识别，不会涉及到用户的隐私问题，这是由于无线传感器所携带的信号中的信息是非常少的。目前来说，最为常见的无线传感器有wifi传感器和雷达传感器。基于wifi的活动识别有yuxi wang等人通过使用wifi来检测人类是否跌倒。但是使用wifi识别人类活动会出现距离分辨率低而导致不足以稳健执行。而毫米波雷达相对于wifi来说带宽更窄，这样就能够更好的捕获信息。因此，雷达传感器目前成为一种流行的动作识别的方式。
2、毫米波雷达以其空间分辨率高、探测精度高、对天气和光照环境不敏感、隐私保护以及低成本等优势已然成为引领无线传感器的前沿。随着毫米波雷达技术的迅速发展，基于毫米波雷达的动作识别已经出现并且其研究已经有了不错的效果。对于基于毫米波雷达的动作识别主要可以分为三个步骤，分别是基于毫米波雷达采集用户的活动信息、对相应的回波反射信息进行数据处理提取动作特征、对提取的特征进行动作分类。并且毫米波雷达对于细粒度活动识别方面也表现出了很大的优势，雷达传感器也广泛用于人的动作识别之中。当被检测的物体从信号发送到接收到动作反射信息的时候，这时候会得到多普勒频率。可以识别包括跑步、步行、保持、爬行、拳击和坐等动作状态，除了基于雷达微多普勒信息的运动识别之外，还有其他基于雷达三维点
3、研究者将毫米波雷达信号和深度学习相结合，在手势识别，姿态估计，步态识别，动作识别等方面都有很大的突出表现。如将卷积神经网络(cnn)方法来实现室内人员步态识别，并实现了78.46％的平均分类准确率。y.wang等人提出harnet模型，由基于时间分布的cnn和bi-gru组成，该模型将时间维度视为cnn层的输入通道，采用2d-cnn对输入经过体素化处理后的点云执行空间特征提取，bi-gru用于捕获2d-cnn生成的特征图中的时间序列特征，在公开的雷达数据集mmactivity上的平均准确率仅88.65％。yu等人提出了一种特征提取框架，是将体素化区域和两个视图进行搭建，这里的视图主要是基于体素化数据以后的点云映射。
4、对于动作识别相关深度学习模型大多存在泛化能力较差，并且对于特征提取能力有限，平均分类精度不高等问题。另外将点云数据处理成单一的数据类型进行动作的识别研究，也存在其鲁棒性低的问题。总结来看，目前的研究焦点主要落在了对点云数据的处理上。这类数据往往面临着点分布稀疏以及高噪声水平的挑战，这些因素共同作用使得特征提取变得不够清晰明确。此外，现有研究在提取人体动作特征时，往往忽略了将时间维度和空间维度同时纳入考虑的重要性，而这种综合特征的提取对于深入理解运动特性至关重要。另一个普遍存在的问题是数据处理形式多样化不足，这直接限制了网络模型的鲁棒性和泛化能力。
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，提供基于点加权注意力增强动态记忆动作识别方法，解决现有技术识别准确性、网络模型鲁棒性、泛化能力存在缺陷。
2、为了实现上述目的，本专利技术采用的技术方案为：基于点加权注意力增强动态记忆动作识别方法，包括：对点云数据进行预处理；从体素化点云数据中提取和处理空间及时间特征；采用第一个全卷积神经网络fcn实现对空间特征的提取；采用时间序列特征提取模块捕捉时间序列数据的长短期依赖关系；采用集成的注意力模块通过加权门控循环单元gru序列输出，注意力机制聚焦于显著特征和上下文信息，然后再采用第二个fcn将局部特征整合成全面的表征，并将其映射到概率空间并输出对应的动作识别结果。
3、对点云预处理包括采用体素化的处理方法对点云数据进行处理，将三维点云数据转换为体素表示。
4、体素化处理方法处理点云包括：设定一个固定大小的立方体区域，以包含整个序列中的所有点云数据，该立方体区域被划分为多个小立方体体素，每个体素代表一个特定的空间区域，用于表示点云数据；在记录每个体素内的点云数量的同时记录体素内定点权重；即计算点云到体素的八个顶点的距离，将点的权重分配给这八个顶点，从而计算出落入体素框内的点云到各个顶点的权重
5、采用全卷积神经网络fcn作为提取空间特征模块对空间特征进行提取，采用堆叠cnn用于对输入数据逐步执行特征提取，通过三个卷积层逐步提取输入序列的不同层次特征；在每一个卷积之后都加入了批归一化层和relu激活层。
6、采用gru单元来实现提取时序特征模块，采用gru单元直接对信号进行时间建模，引入注意力模块对gru输出序列进行加权处理，从而对时序特征进行提取。
7、gru单元采用堆叠gru来实现时序数据的处理和特征提取。
8、采用集成的注意力模块为双重注意力机制，包括时间注意力层和空间注意力层，用于分别在时间和空间上进行特征处理。
9、通过采用上采样的注意力机制，将gru的输出序列经过注意力权重的加权处理，从而得到一个加权后的输出序列；为了捕获整个序列的关键特征并将其降维，使用全局平均池化层对加权后的输出序列进行处理，从而得到一个固定大小的全局特征表示；然后进入第二个fcn处理部分。
10、第二个fcn作为融合模块，包括128个神经元的全连接层，并采用relu激活函数来增强网络的非线性表达能力。
11、本专利技术的优点在于：采用模型对动作进行识别，模型具有良好的特征提取能力和泛化能力，适用于各种序列分类任务。对点云数据进行固定边界框，以及将顶点赋予权重，并且在此基础上也将空体素使用非空体素补充。从而提高模型的稳定性以及精确度。将体素化处理的数据与点映射的双视图进行特征融合。提出基于点加权注意力增强动态记忆模型处理经过体素化的点云数据，以空间-时间模式提取特征进行细粒度的人类活动识别。
本文档来自技高网...【技术保护点】
1.基于点加权注意力增强动态记忆动作识别方法，其特征在于：包括：对点云数据进行预处理；从体素化点云数据中提取和处理空间及时间特征；采用第一个全卷积神经网络FCN实现对空间特征的提取；采用时间序列特征提取模块捕捉时间序列数据的长短期依赖关系；采用集成的注意力模块通过加权门控循环单元GRU序列输出，注意力机制聚焦于显著特征和上下文信息，然后再采用第二个FCN将局部特征整合成全面的表征，并将其映射到概率空间并输出对应的动作识别结果。
2.如权利要求1所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：对点云预处理包括采用体素化的处理方法对点云数据进行处理，将三维点云数据转换为体素表示。
3.如权利要求2所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：体素化处理方法处理点云包括：设定一个固定大小的立方体区域，以包含整个序列中的所有点云数据，该立方体区域被划分为多个小立方体体素，每个体素代表一个特定的空间区域，用于表示点云数据；在记录每个体素内的点云数量的同时记录体素内定点权重；即计算点云到体素的八个顶点的距离，将点的权重分配给这八个顶点，从而计
4.如权利要求1-3任一所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：采用全卷积神经网络FCN作为提取空间特征模块对空间特征进行提取，采用堆叠CNN用于对输入数据逐步执行特征提取，通过三个卷积层逐步提取输入序列的不同层次特征；在每一个卷积之后都加入了批归一化层和ReLU激活层。
5.如权利要求1-3任一所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：采用GRU单元来实现提取时序特征模块，采用GRU单元直接对信号进行时间建模，引入注意力模块对GRU输出序列进行加权处理，从而对时序特征进行提取。
6.如权利要求5所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：GRU单元采用堆叠GRU来实现时序数据的处理和特征提取。
7.如权利要求1-3任一所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：采用集成的注意力模块为双重注意力机制，包括时间注意力层和空间注意力层，用于分别在时间和空间上进行特征处理。
8.如权利要求1-3任一所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：通过采用上采样的注意力机制，将GRU的输出序列经过注意力权重的加权处理，从而得到一个加权后的输出序列；为了捕获整个序列的关键特征并将其降维，使用全局平均池化层对加权后的输出序列进行处理，从而得到一个固定大小的全局特征表示；然后进入第二个FCN处理部分。
9.如权利要求8第二个FCN包含所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：第二个FCN作为融合模块，包括128个神经元的全连接层，并采用ReLU激活函数来增强网络的非线性表达能力。
...【技术特征摘要】
1.基于点加权注意力增强动态记忆动作识别方法，其特征在于：包括：对点云数据进行预处理；从体素化点云数据中提取和处理空间及时间特征；采用第一个全卷积神经网络fcn实现对空间特征的提取；采用时间序列特征提取模块捕捉时间序列数据的长短期依赖关系；采用集成的注意力模块通过加权门控循环单元gru序列输出，注意力机制聚焦于显著特征和上下文信息，然后再采用第二个fcn将局部特征整合成全面的表征，并将其映射到概率空间并输出对应的动作识别结果。
2.如权利要求1所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：对点云预处理包括采用体素化的处理方法对点云数据进行处理，将三维点云数据转换为体素表示。
3.如权利要求2所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：体素化处理方法处理点云包括：设定一个固定大小的立方体区域，以包含整个序列中的所有点云数据，该立方体区域被划分为多个小立方体体素，每个体素代表一个特定的空间区域，用于表示点云数据；在记录每个体素内的点云数量的同时记录体素内定点权重；即计算点云到体素的八个顶点的距离，将点的权重分配给这八个顶点，从而计算出落入体素框内的点云到各个顶点的权重。
4.如权利要求1-3任一所述的基于点加权注意力增强动态记忆动作识别方法，其特征在于：采用全卷积神经网络fcn作为提取空间特征模块对空间特征进行提取，采用堆叠cnn用于对输入数据逐步执行特征提取，通过三...
【专利技术属性】
技术研发人员：唐雅静，方群，冯宇辰，杨越越，唐红陈，
申请(专利权)人：安徽师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。