基于CAM、SARB和LSTM网络的行人定位方法技术

本发明专利技术涉及神经网络技术领域，尤其涉及基于CAM、SARB和LSTM网络的行人定位方法，包括采集脚步振动信号；通过相机采集行人视频图像，并对行人轨迹进行提取；对脚步振动信号进行标注；采用滑动窗口分割法对数据样本扩展，并给每个数据片段贴上视频提取的行人轨迹数据标签；构建基于CAM模块、输入模块、SARB模块和LSTM神经网络模型，利用扩充后的数据集训练神经网络模型，并计算行人轨迹；构建导航误差评估基准。本发明专利技术通过构建深度神经网络模型处理传感器数据，减少人工参与，提高定位精度，建立导航误差的等级划分规则，衡量定位准确性。衡量定位准确性。衡量定位准确性。

【技术实现步骤摘要】
基于CAM、SARB和LSTM网络的行人定位方法


[0001]本专利技术涉及神经网络
，尤其涉及基于CAM、SARB和LSTM网络的行人定位方法。

技术介绍

[0002]近年来，随着智能建筑的快速发展，室内人员位置信息的需求逐渐增多。在大型商场、医院、机场等场所，提供室内导航服务和人流量信息是十分必要的。此外，室内定位技术还有助于优化建筑能源管理系统，提高建筑能源使用效率。然而，由于室内接收到的卫星信号较弱，室外定位技术无法在室内进行有效定位，因此室内定位技术仍然是研究热点。
[0003]脚步振动定位技术是一种利用人体步态振动信号进行室内定位的技术；该技术主要利用人的步态振动信号在室内传播的特点，通过在室内布置一定数量的振动传感器，采集到人体步态振动信号后，利用信号处理技术进行分析和处理，从而实现对人在室内位置的定位。传统方法是基于小波分解和TDOA的定位算法，需要大量的人工参与选择合适的信号特征提取脚步事件，且定位精度不理想。
[0004]深度神经网络是一种多层的监督学习神经网络，在处理时序数据方面表现出良好的效果。例如基于残差网络和注意力机制的目标轨迹识别方法，利用LSTM学习序列数据中时间相关的特征，而残差卷积网络学习局部和空间特征；然而使用残差卷积网络和LSTM分别提取特征通过拼接的方式来融合不同类型的特征，存在特征不兼容，信息冗余，性能下降；另一方面还增加了计算复杂度，导致内存占用大。

技术实现思路

[0005]针对现有方法的不足，本专利技术通过构建深度神经网络模型处理传感器数据，减少人工参与，提高定位精度，建立导航误差的等级划分规则，衡量定位准确性。
[0006]本专利技术所采用的技术方案是：基于CAM、SARB和LSTM网络的行人定位方法包括以下步骤：
[0007]步骤一、采集脚步振动信号；
[0008]进一步的，脚步振动信号是通过地震检波器采集电压信号并进行放大，再通过模数转换，得到预设采样频率的数据。
[0009]进一步的，脚步振动信号通过低通滤波和线性归一化预处理。
[0010]步骤二、通过相机采集行人视频图像，并对行人轨迹进行提取；
[0011]进一步的，步骤二具体包括：
[0012]步骤21、地面铺设棋盘格地毯，从不同的角度、高度拍摄棋盘格图片，获取摄像头内参和摄像头安放位置的外参，建立图像坐标系到世界坐标系的坐标转化模型；
[0013]步骤22、选择双脚脚跟关键点连接中点为行人落脚点，对视频帧进行行人落脚点提取；
[0014]步骤23、顺序连接各帧落脚点得到初始轨迹，再通过坐标转换模型进行坐标转换，
得到行人以地平面为二维平面XY轴且垂直于地面为Z轴的空间轨迹坐标信息。
[0015]步骤三、对脚步振动信号进行标注；
[0016]进一步的，步骤三具体包括：
[0017]步骤31、遍历视频的每一帧时间戳，找到振动信号的时间戳，并标记真实坐标位置；
[0018]步骤32、对未匹配时间戳的行人位置坐标的振动信号，使用均匀插值标记。
[0019]步骤33、使用振动信号每一帧的瞬时速度表示行人运动轨迹；
[0020]进一步的，瞬时速度的公式为：
[0021][0022][0023]其中，V
x
和V
y
分别为x和y方向的速度，ts为时间戳集合，x[i]和y[i]分别是第i帧的轨迹坐标位置的集合。
[0024]步骤四、采用滑动窗口分割法对完成标注的数据样本扩展，并给每个数据片段贴上视频提取的行人轨迹数据作为标签；
[0025]步骤五、构建基于CAM模块、输入模块、SARB模块和LSTM神经网络模型，利用扩充后的数据集训练神经网络模型，并计算行人轨迹；
[0026]进一步的，步骤五具体包括：
[0027]步骤51、CAM模块是对振动信号的宽和高分别进行最大池化和平均池化操作；并送入一个两层的MLP网络；再经Sigmoid激活函数生成权重，输入数据和权重相乘得到第一特征序列；再使用7
×
7的卷积核和最大池化层对第一特征序列进行特征提取和降维，得到第二特征序列；
[0028]步骤52、第二特征序列经过输入模块和4组2*SARB模块后得到第三特征序列；
[0029]进一步的，SARB模块包含两个3
×
1卷积层、一个自注意力层和一个残差连接。
[0030]步骤53、将第三特征序列输入双向LSTM网络，得到第四特征序列，再经过输出层和全连接层输出预测的行人速度向量；
[0031]步骤54、计算预测行人速度与真实行人速度的损失函数，满足最大迭代或损失函数满足预设阈值时停止迭代。
[0032]进一步的，行人轨迹的计算公式为：
[0033][0034][0035]其中，是行人初始时刻的位置，是行人t
i
时刻的位置，t
i
为第i帧
的时间戳，和为第i帧行人在x轴和y轴方向的速度。
[0036]步骤六、构建导航误差评估基准；
[0037]进一步的，导航误差评估基准是根据ATE和RTE的值数值大小进行导航精确性分级；若ATE与RTE的加权平均值小于1，则导航精准性视为优秀；ATE与RTE的加权平均值大于1且小于3，则导航精准性视为及格；ATE与RTE的加权平均值大于3则视为导航失败。
[0038]本专利技术的有益效果：
[0039]1、本专利技术CAM+SARB+LSTM深度学习神经网络的一维残差模块提取特征向量，对脚步振动信号进行特征学习，通过引入残差学习的思想提供一种一维残差模块解决深度残差网络的训练困难和性能退化问题；并能够在提取丰富的特征的同时，克服特征不兼容的问题，极大地减少计算量，提高模型的泛化能力；
[0040]2、相比于TDOA的定位算法，无需增加额外传感器设备，具有便利性，也便于推广，具备高精度低成本的优点；
[0041]3、将深度学习神经网络应用于室内定位技术中，建立准确的数学模型来预测人的室内位置，显著提高了基于脚步振动信号的室内定位精度，缩短定位时间。
附图说明
[0042]图1是本专利技术的基于CAM、SARB和LSTM网络的行人定位方法流程图；
[0043]图2是基于深度神经网络的脚步振动信号定位方法框图；
[0044]图3是待定位者在室内区域振动信号采集示意图；
[0045]图4是深度神经网络模型的整体框架示意图；
[0046]图5是振动信号采集系统结构图；
[0047]图6是基于自注意力残差模块；
[0048]图7是基于自注意力机制示意图；
[0049]图8是通道注意力机制示意图；
[0050]图9是部分真实轨迹和预测轨迹的对比结果图；
[0051]图10是测试集28条路径的定位评估结果。
具体实施方式
[0052]下面结合附图和实施例对本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于CAM、SARB和LSTM网络的行人定位方法，其特征在于，包括以下步骤：步骤一、采集脚步振动信号；步骤二、通过相机采集行人视频图像，并对行人轨迹进行提取；步骤三、对脚步振动信号进行标注；步骤四、采用滑动窗口分割法对数据样本扩展，并给每个数据片段贴上视频提取的行人轨迹数据标签；步骤五、构建基于CAM模块、输入模块、SARB模块和LSTM神经网络模型，利用扩充后的数据集训练神经网络模型，并计算行人轨迹；步骤六、构建导航误差评估基准。2.根据权利要求1所述的基于CAM、SARB和LSTM网络的行人定位方法，其特征在于，脚步振动信号是通过地震检波器采集电压信号并进行放大，再通过模数转换，得到预设采样频率的数据。3.根据权利要求1所述的基于CAM、SARB和LSTM网络的行人定位方法，其特征在于，脚步振动信号通过低通滤波和线性归一化进行预处理。4.根据权利要求1所述的基于CAM、SARB和LSTM网络的行人定位方法，其特征在于，步骤二具体包括：步骤21、地面铺设棋盘格地毯，从不同的角度、高度拍摄棋盘格图片，获取摄像头内参和外参，建立图像坐标系到世界坐标系的转化；步骤22、选择双脚脚跟关键点连接中点为行人落脚点，对视频帧的行人落脚点提取；步骤23、顺序连接各帧落脚点得到初始轨迹，再进行坐标转换，得到行人以地平面为二维平面XY轴且垂直于地面为Z轴的空间轨迹坐标信息。5.根据权利要求1所述的基于CAM、SARB和LSTM网络的行人定位方法，其特征在于，步骤三具体包括：步骤31、遍历找到振动信号的时间戳，并标记真实坐标位置；步骤32、对未匹配时间戳的行人位置坐标的振动信号，使用均匀插值标记。步骤33、使用振动信号每一帧的瞬时速度表示行人运动轨迹。6.根据权利要求5所述的基于CAM、SARB和LSTM网络的行人定位方法，其特征在于，瞬时速度的公式为：速度的公式为：其中，V
x
和V...

【专利技术属性】
技术研发人员：诸燕平，陈瑞，陈文龙，张坚强，朱晨阳，马玮泽，
申请(专利权)人：常州大学，
类型：发明
国别省市：