一种毫米波雷达与深度学习结合的姿态监测方法技术

本发明专利技术公开了一种毫米波雷达与深度学习结合的姿态监测方法，包括以下步骤：步骤1：采集训练与测试样本数据；步骤2：深度学习模型建立、训练及测试。毫米波雷达与深度学习结合的姿态监测方法在日常生活中可以全天候不间断对室内人员行为进行监测，不仅可以监测用户的行为习惯，而且对于用户发生跌倒行为时可及时报警，从而避免二次伤害，对用户的安全起到了很好的保障，使用过程中也对用户的隐私提供了保护。保护。保护。

【技术实现步骤摘要】
一种毫米波雷达与深度学习结合的姿态监测方法


[0001]本专利技术涉及信号处理
，具体涉及一种毫米波雷达与深度学习结合的姿态监测方法。

技术介绍

[0002]人体姿态监测在远程监护、安防监控、公共场所、医院等邻域近年来受到广泛关注，其中利用毫米波雷达传感器可在室内对人体运动过程产生的平动和转动等微小运动信息进行有效捕捉与探测，通过对这些微小的运动变化信息的提取与分类可以达到对人体运动姿态的检测与分类的目的。由于毫米波雷达传感器在做人体姿态检测时大部分用于室内场景，而考虑到对用户个人隐私的保护，因此基于毫米波雷达传感器的姿态检测系统就显得尤为有价值。
[0003]目前用于室内人员检测的的装置除了毫米波雷达以外，还包括基于相机及摄像头的视觉识别、基于可穿戴设备和传感器的方法、被动红外传感器等，由于上述方法会受光线、视距及方便性等因素的影响，导致检测准确度和最终效果不佳，并且会有所需设备的成本高、隐私保护弱等问题，本专利技术提供一种毫米波雷达与深度学习结合的姿态监测方法，能在很大程度上解决上述问题。

技术实现思路

[0004]本专利技术的目的在于提供一种毫米波雷达与深度学习结合的姿态监测方法，以期解决
技术介绍
中存在的技术问题。
[0005]本专利技术所述的一种毫米波雷达与深度学习结合的姿态监测方法，采用毫米波雷达采集数据并作处理后得到时间
‑
多普勒热度图，利用GAN
‑
CNN深度学习算法进行姿态检测分类，相比于摄像头、红外传感器等，具有隐私性强、精确度高等特点。基于上述原理，本专利技术具体实施包括以下步骤：步骤1、毫米波雷达为多发多收的天线系统，并采用BPM模式(二进制调制相位调制)向所测空间中发射线性调频连续波，通过具有固定天线间距的雷达接收机接收所测空间反射的回波信号，并在采集数据过程中录制视频；步骤2、对回波信号进行解码，获得每一对发射
‑
接收回波信号数据，并按照采样点数
‑
chirp数(脉冲数)
‑
天线数
‑
帧数的格式进行排列得到多帧的雷达立方体数据，该格式的数据表示为一组采集数据，共有N组采集数据。
[0006]步骤3、对获得的每一帧的雷达立方体数据的快时间维度(采样点维度)作快速傅里叶变换，以此区分位于不同距离范围的目标。
[0007]步骤4、对步骤3中处理好的每一帧数据沿着慢时间维度(chirp维)作短时傅里叶变换(STFT)，以此获得目标的速度信息。
[0008]步骤5、将步骤4中获得的每一帧雷达立方体数据作非相干处理以提高天线增益，再对距离单元作积累，最终按时间顺序将每一帧雷达立方体数据进行排列从而获得时间
‑
多普勒热度图。
[0009]步骤6、对步骤5中的时间
‑
多普勒热度图进行滑窗和选择处理以获得每一组采集数据所包含的不同姿态的时间
‑
多普勒热度图，并将所述不同姿态的时间
‑
多普勒热度图打上不同姿态所对应的标签。
[0010]步骤7、构建姿态检测深度学习模型，利用N组采集数据的不同姿态的时间
‑
多普勒热度图进行所述深度学习模型的训练，得到训练完毕的深度学习模型以此达到对不同姿态进行检测的目的。
[0011]步骤8、将训练完毕并测试好的深度学习模型加载到服务器上，利用服务器对待检测的图片流进行姿态检测。
[0012]步骤9、当所述服务器判断输入的图片流中连续几帧的图片输出某一姿态的概率均大于所设定的阈值时，由屏幕显示该姿态并进行语音提醒。
[0013]上述步骤1中，由于毫米波雷达发射的波束为笔状波束，同时具备方位角和俯仰角，其方位角大小为120
°
，俯仰角大小为80
°
，为了使监测更为准确，将毫米波雷达安装在室内天花板的角落，并且使雷达向下倾斜45
°
，利用两根发射天线同时发射电磁波(BPM模式)，人员测试的活动空间为长、宽、高为4x4x2.7m大小的立体空间，活动空间之外所采集的样本数据可抛弃不用。
[0014]上述步骤2中，对BPM模式进行解码，具体操作为：第一根发射天线TX1的相位编码为[1,1]，发射的信号为，第二根发射天线TX2的相位编码为[1,
‑
1]，发射的信号为，对于接收天线，在第一个chirp周期内接收到的信号，在第二个chirp周期内接收到的信号，进而可解得，；对于每组采集数据，其包括多种人体姿态，所述人体姿态包括走、跌倒、蹲下、弯腰、坐五种动作，选择不同的人进行多次重复采集，且每次采集时同时采集chirp数为48和chirp数为256的数据，共获得N组采集数据，所述N组数据包括x组chirp数为48和y组chirp数为256的采样数据，即N = x + y，由于受SPI传输效率的影响，因此在进行步骤8和步骤9时只能利用毫米波雷达采集chirp数为48的样本数据作处理再进行传输。
[0015]上述步骤3具体为：对快时间维度的96个采样点采取每3个点求解二项式的方式再进行内插一个点，共获得32个内插点，然后对这128个点作快速傅里叶变换，以获得距离范围。
[0016]上述步骤4具体为：在慢时间维作短时傅里叶变换(STFT)，选择汉明窗作为STFT的滑动窗，由于窗口大小越大，其频率分辨率越高，但时间分辨率会随之降低，因此设置其窗口大小为32，且设置滑窗的步长为1，若chirp数为48时选择FFT点数为48,若chirp数为256时选择FFT点数为256,从而获得目标的速度信息。
[0017]上述步骤5具体为：将雷达立方体数据中天线维数据的功率值进行叠加，以获得非相干处理的结果，再针对人员活动空间的大小截取每一帧雷达立方体数据中对应的距离单元进行单元积累。
[0018]上述步骤6具体为：步骤6.1、通过确定合适的滑动窗口大小与滑动时间大小在每组时间
‑
多普勒热度图中进行滑动截取从而形成同样形状大小但数据不同的图片，经过测试对比，窗口宽度确
定为15(帧)，高度随chirp数的不同分别为48和256，滑动窗口的步长设置为1(帧)；步骤6.2、采用数量最大法并结合所录制的视频并采用为所截取的图片打上不同姿态对应的标签，所述标签为A,B,C,D,E五类，其余未打上对应姿态标签的图片统一归类为other类。
[0019]所述数量最大法具体为：由于每一帧雷达数据都会对应一类标签，若一张15x48(或256)的图片中包含一种完整的姿态动作，假设该姿态对应标签A，且该类姿态所对应的标签数超过8时，则该张图片的标签为A类。
[0020]上述步骤7具体为：步骤7.1、生成对抗网络(GAN)的构建，具体为：生成对抗网络包括生成模型和判别模型，其中生成模型的作用是捕捉样本数据的分布、将原输入信息的分布情况经过极大似然估计中参数的转化来将训练偏向转换为指定分布的样本，所述似然函数为:；m为从数据集中随机取出的样本数，为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，包括以下步骤：步骤1：采集训练与测试样本数据；步骤2：深度学习模型建立、训练及测试。2.根据权利要求1所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，所述采集训练与测试样本数据；包括：步骤1.1：基于毫米波雷达，采用BPM模式向所测空间中发射线性调频连续波，通过具有固定天线间距的雷达接收机接收所测空间反射的回波信号，并在采集数据过程中录制视频；步骤1.2：对回波信号进行解码，获得N组多帧的雷达立方体数据；步骤1.3：对获得的每一帧的雷达立方体数据的快时间维度作快速傅里叶变换；以此区分位于不同距离范围的目标；步骤1.4：对步骤1.3处理好的每一帧数据沿着慢时间维度作短时傅里叶变换，以此获得目标的速度信息；步骤1.5：将步骤1.4中获得的每一帧雷达立方体数据作非相干处理，再对距离单元作积累，最终按时间顺序将每一帧雷达立方体数据进行排列从而获得时间
‑
多普勒热度图。3.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤1.1中，所述BPM模式为两根发射天线同时发射电磁波；所述所测空间为长、宽、高为4x4x2.7m大小的立体空间。4.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤1.2中，对回波信号进行解码，获得N组多帧的雷达立方体数据包括：对回波信号进行解码，获得每一对发射
‑
接收回波信号数据，并按照采样点数
‑
chirp数
‑
天线数
‑
帧数的格式进行排列得到多帧的雷达立方体数据，该格式的数据表示为一组采集数据，共有N组采集数据；对回波信号进行解码，具体为：第一根发射天线TX1的相位编码为[1,1]，发射的信号为，第二根发射天线TX2的相位编码为[1,
‑
1]，发射的信号为，对于接收天线，在第一个chirp周期内接收到的信号，在第二个chirp周期内接收到的信号，进而可解得，；每组采集数据中包括多种人体姿态，所述人体姿态包括走、跌倒、蹲下、弯腰、坐五种动作，选择不同的人进行多次采集，共获得N组采集数据；所述N组数据包括x组chirp数为48和y组chirp数为256的采样数据，即N = x + y。5.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤1.3中，所述快时间维度作快速傅里叶变换具体为：对96个采样点进行多项式内插至128点再作快速傅里叶变换。6.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤1.5中，所述非相干处理方法具体为：将雷达立方体数据中天线维数据的功率值进行叠加。7.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在
于，所述深度学习模型建立、训练及测试，具体步骤如下：步骤2.1：对步骤1.5中的时间
‑
多普勒热度图进行滑窗和选择处理以获得每一组采集数据所包含的不同姿态的时间
‑
多普勒热度图，并将所述不同姿态的时间
‑
多普勒热度图打上不同姿态所对应的标签；步骤2.2：构建姿态检测深度学习模型，利用N组采集数据的不同姿态的时间
‑
多普勒热度图进行所述深度学习模型的训练，得到训练完毕的深度学习模型以此达到对不同姿态进行检测的目的；步骤2.3：将训练完毕并测试好的深度学习模型加载到服务器上，利用服务器对待检测的图片流进行姿态检测；步骤2.4：当所述服务器判断输入的图片流中连续几帧的图片输出某一姿态的概率均大于所设定的阈值时，由屏幕显示该姿态并进行语音提醒。8.根据权利要求7所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤2.1中，对时...

【专利技术属性】
技术研发人员：张彭豪，周杨，朱文涛，李剑鹏，梁庆真，
申请(专利权)人：四川启睿克科技有限公司，
类型：发明
国别省市：