【技术实现步骤摘要】
一种基于自适应特征提取的多复杂度行为识别系统及方法
[0001]本专利技术涉及人工智能
，尤其是涉及一种基于自适应特征提取的多复杂度行为识别系统及方法。
技术介绍
[0002]人体行为识别(Human Activity Recognition,HAR)是指通过对输入的个人或群体动作数据的采集和分析智能识别人体行为或活动状态。当前，人体行为识别已经成为了人工智能、模式识别和人机交互领域的重要研究内容，被广泛运用于智能家居、医疗保健、安全监测等应用场景，具有巨大的商业价值和广阔的发展前景，受到了学术界和工业界的密切关注。根据采集的数据类型，识别方法主要分为两大类：基于视觉的HAR和基于传感器的HAR。前者分析图像或视频数据，后者研究由可穿戴传感器和环境传感器采集的时序数据。相较于基于视觉的HAR，基于传感器的HAR具有成本低、隐私性好、抗干扰能力强等优点。
[0003]随着相关领域技术的进步与更新迭代，HAR算法与系统进入了快速发展阶段。目前，针对HAR的研究主要集中于基于深度神经网络的分类模型，深度神经网络能够自动提取行为特征，从而实现端到端的行为识别，并有效提高识别准确率。卷积神经网络(Convolutional Neural Network,CNN)是当前应用最广泛的深度神经网络之一。CNN属于多层堆叠的深度前馈网络，通过对输入数据的逐层处理，实现信息的逐步整合，将原始数据转化为与输出目标联系更紧密的高级特征表示，并最终通过分类器完成标签映射。相较于CNN，循环神经网络(Recurrent Neura...
【技术保护点】
【技术特征摘要】
1.一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：包括人体行为数据采集模块、人体行为数据传输模块、人体行为数据存储模块、人体行为数据预处理模块、MFAEF简单人体行为识别网络模块、LSGRA复杂行为识别网络模块和人体行为信息应用模块；所述MFAEF简单行为识别网络模块包括依次连接的特征预提取单元、并行多维时空特征提取及复用单元和自适应多维时空特征提取单元、特征融合单元和简单行为判别输出单元；所述LSGRA复杂行为识别网络模块包括依次连接的单窗口简单行为特征获取单元、循环多窗口注意力单元和复杂行为判别输出单元。2.根据权利要求1所述的一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：所述人体行为数据采集模块包括若干不同类型的运动数据感知单元和生理数据感知单元，所述运动数据感知单元包括三轴加速度传感器、三轴角速度传感器和三轴磁力计，所述生理数据感知单元包括心率传感器、血压传感器和皮肤电传感器；所述人体行为数据传输模块包括Wi
‑
Fi、蓝牙、ZigBee、4G、5G、远距离无线电信息传输方式；所述人体行为数据预处理模块包括依次连接的数据去噪单元、多模态数据合并单元、缺失值处理单元、数据归一化单元和数据滑动窗口分割单元。3.根据权利要求2所述的一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：所述数据合并单元将不同传感器采集的运动数据和生理数据以纵向时间戳对齐，横向排列拼接的方式进行合并；所述缺失值处理单元针对缺失信息采用均值插补法进行补全，以缺失数据所在列的平均值作为缺失值；所述归一化单元对有不同量纲和取值范围的数据进行Z
‑
Score归一化处理，将其转换到同一取值范围；所述数据滑动窗口分割单元将传感器采集的连续时间序列分割为多个数据片段。4.根据权利要求3所述的一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：所述特征预提取单元采用单个一维卷积模块对行为特征进行初步提取；经过特征预提取后的数据被同时输入两个依次连接的多维时空特征提取及复用单元和一个自适应多维时空特征提取单元；所述多维时空特征提取及复用单元，采用高度模块化的聚合变换和双路径架构对人体行为数据中包含的不同特征空间下的多维特征进行提取；所述聚合变换采用“拆分
‑
转换
‑
聚合”结构，由若干具有相同结构的卷积块并行构成；所述卷积块由两个一维卷积层组成，两个所述一维卷积层采用通道级联的方式进行跨层连接。5.根据权利要求4所述的一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：所述自适应多维时空特征提取单元采用时间自适应模块和双向门控循环单元模块对人体行为中包含的复杂动态信息进行捕获，同时引入残差跨层连接保留特征信息；所述时间自适应模块包含由局部分支和全局分支构成的自适应时间核，局部分支提取局部信息，全局分支提取与位置无关的全局信息。6.根据权利要求5所述的一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：所述特征融合单元采用全局平均池化，对数据的每一个通道特征进行平均；
所述简单行为判别输出单元包括依次连接的全连接层、Softmax分类器，经过多维特征融合后，数据输出到全连接层，并经过Softmax分类器进行分类，输出最终的简单行为类型；所述单窗口简单行为特征获取单元将经简单行为识别模块提取并融合的行为特征划分为多个特征窗口，按时间顺序依次输入循环长时序多头注意力单元；所述循环长时序多头注意力单元采用M
‑
reluGRU和多头自注意力机制对复杂行为中的长时序特征进行有效提取；M
‑
reluGRU移除GRU中的重置门，将GRU简化为单门结构，采用ReLU函数进行状态更新。7.一种基于自适应特征提取的多复杂度行为识别系统的方法，其特征在于：包括以下步骤：S1：人体行为数据采集，使用多模传感器采集用户的运动数据和生理数据；S2：人体行为数据传输，将采集的行为信息传输至本地服务器和云服务器；S3：人体行为数据预处理，对行为信息依次进行人体行为数据去噪、多模态人体行为数据合并、人体行为数据缺失值处理、人体行为数据归一化和人体行为数据滑动窗口分割；S4：构建MFAEF简单行为识别网络与简单人体行为分类识别，将完成预处理的行为数据分批次输入到MFAEF简单行为识别网络当中，经过训练得到MFAEF简单行为识别网络，并进行简单行为识别输出；S5：构建LSGRA复杂行为识别网络与复杂人体行为分类识别，将步骤S4中特征融合单元输出的融合特征按时序窗口输入到LSGRA复杂行为识别网络当中，经过训练得到LSGRA复杂行为识别网络，并进行复杂行为识别输出；S6：人体行为信息显示及应用，通过行为信息显示模块，将行为识别结果进行显示、统计和分析。8.根据权利要求7所述的一种基于自适应特征提取的多复杂度行为识别系统的方法，其特征在于，在步骤S3中，采用Stein无偏似然估计的软阈值小波去噪方法对传感器采集的数据进行去噪处理；f(t)＝s(t)+e(t),t＝1,2,
…
,N，s(t)为原始信号，f(t)为含噪信号，e(t)为高斯白噪声，e(t)～N(0,σ2)，σ为噪声强度，去噪过程即从信号f(t)中将噪声e(t)除去，得到原始信号s(t)的最佳逼近；进行离散采样得到N'点离散信号f(x),x＝0,1,2,
…
,N'
‑
1，小波变换系数如公式(1)所示：其中，W
f
(j,k)为小波系数，ψ(2
‑
j
x
‑
k)为尺度函数，j为尺度参数，k为尺度函数平移的单位数，通过双尺度方程式(2)和式(3)，得到式(1)递归实现方法：S
f
(j+1,k)＝S
f
(j,k)*h(j,k)
ꢀꢀꢀꢀꢀꢀ
(2)W
f
(j+1,k)＝S
f
(j,k)*g(j,k)
ꢀꢀꢀꢀꢀꢀ
(3)其中，符号*代表卷积，h和g分别代表低通和高通滤波器，S
f
(0,k)代表原始信号f(k)，S
f
(j,k)代表j尺度上的逼近系数，小波变换重构公式如公式(4)所示：S
f
(j
‑
1,k)＝S
f
(j,k)*h(j,k)+W
f
(j,k)*g(j,k)
ꢀꢀꢀꢀꢀꢀ
(4)采用基于SURE的软阈值估计方法确定阈值，取得给定阈值的似然估计，如式(5)所示：
其中，t表示选定的初始阈值，W
j,k
表示来自子带j的小波系数，N
W
表示各子带小波系数的个数和；对似然函数最小化，得到所需要的阈值，如式(6)所示：T＝argmin(SURE(t,W
j
))
ꢀꢀꢀꢀꢀꢀ
(6)其中，T表述得到的阈值参数；对行为数据的小波变换系数采用软阈值函数进行处理，将数据的绝对值和阈值进行比较，小于阈值的点置为零，不小于阈值的点向零收缩，变为该点值与阈值之差，软阈值函数如公式(7)所示：根据式(3)进行信号的小波重构，得到去噪后的信号；多模态人体行为数据合并，将传感器采集的行为数据按照时间戳纵向对齐，并进行横向拼接合并，合并后的数据是二维数组格式；人体行为数据缺失值处理，采用均值插补法对行为数据进行缺失值处理，以缺失数据所在列的平均值对缺失数据进行填补；人体行为数据归一化，采用Z
‑
Score归一化方法对人体行为数据进行归一化处理，保证数据处于同一数量级范围；输入数据样本序列为x＝[x1,x2,...,x
i
,...,x
n
]
T
，经过Z
‑
Score归一化之后的输出序列为y＝[y1,y2,...,y
i
,...,y
n
]
T
，计算方式如公式(8)所示：其中，μ为输入数据样本序列的均值，σ为输入数据样本序列的标准差；人体行为数据滑动窗口分割，使用固定长度的窗口将连续的传感器数据分割为固定长度的数据片段，分割时保证每个数据片段至少包含简单行为的一个完整动作，窗口滑动过程中默认采用50％窗口重叠率。9.根据权利要求8所述的一种基于自适应特征提取的多复杂度行为识...
【专利技术属性】
技术研发人员：许宏吉，曾佳琦，周双，王猛猛，李昕娅，王宇豪，汪阳，李建军，李诗洁，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。