一种基于WiFi信号与视觉图像融合的室内人群计数方法技术

本发明专利技术公开了一种基于WiFi信号与视觉图像融合的室内人群计数方法，属于智能统计领域，包括如下步骤：步骤1、在室内环境中安装部署数据采集装置；步骤2、数据采集与预处理，对预处理后的数据集进行划分；步骤3、构建室内人群计数模型，并对其进行训练、验证和测试，得到最终的室内人群计数模型；步骤4、将人群计数模型应用于真实室内场景下的人群计算，通过室内部署的路由器和摄像头实时采集WiFi数据和图像数据，计算得到当前人群具体数目。本发明专利技术适应于大规模人群计数，能够准确、快速地估计出人群的数量。人群的数量。人群的数量。

【技术实现步骤摘要】
一种基于WiFi信号与视觉图像融合的室内人群计数方法


[0001]本专利技术属于智能统计领域，具体涉及一种基于WiFi信号与视觉图像融合的室内人群计数方法。

技术介绍

[0002]近年来，随着物联网的快速发展，人们对于智能监控和智能家居的要求越来越高，室内人群计数已成为模式识别、计算机视觉、无线感知等领域显著关注的问题。在之前的应用场景下，为了获取环境中的人流量或准确计算当前环境中活跃的人数，需要使用特定的检测装备才能实现数量的统计。
[0003]对于一些传统的方法，主要是利用摄像头或特殊传感器来实现人群计数。基于摄像机的人群密度估计方法在日常生活中广泛应用。例如，Davies等人提出了一种从监控区域的图像中提取到前景和边缘像素信息，利用人数与这两个像素信息之间的线性关系来估计人群密度的方法。Brostow等人提出无监督贝叶斯，利用运动模式检测人群数量。Marana等人提出了一种基于特征的人群密度估计技术，运用的信息是利用Minkowski分形维数作为图像纹理的表示。Kong等人提出一种机器学习方法，利用图像的边缘方向和斑点大小来估计人群密度。然而，这些方法需要人们携带一定的设备，对老人和儿童比较不友好。
[0004]随着无线传感技术的不断发展，无线信号不仅被用于通信领域，还被用于室内人群的计数和行为识别等领域。无线信号具有以下优点，一是在空间传播过程中可以细粒度地记录外部环境信息。二是由于无线信号传播过程具有较强的渗透能力，感知范围比视觉大得多，不易泄露给用户。隐私性和易于部署的优点是人群计数领域特别关注的问题。特别是随着商用WiFi设备的普及，使用WiFi信号的技术实现人群数量统计已经得到广泛的发展，也成为继可穿戴传感器之后人群数量统计领域最理想的技术解决方案之一。它已成为世界各国技术团队广泛讨论的话题。
[0005]目前，基于WiFi的室内人群计数技术有很多方法。最早开始的是基于RSSI的室内人群统计系统，实现识别不同密度的人群数量主要是利用人体运动引起的信号接收强度的变化，提取相应的特征。对于基于RSSI的室内人群密度估计方法，其能够达到达到80％以上的识别精度，但这种方法对设备距离要求较高，当设备距离较远时，效果会变差。虽然这种方法简单直接，RSSI信息易于提取，但是商用设备中RSSI的分辨率较低，无法精细地完成识别任务，难以达到较高的识别精度。
[0006]近年来，一些研究者将WiFi数据中的信道状态信息(CSI)信息应用于室内人群统计。由于CSI对环境变化更加敏感，所以识别效果要比RSSI更好。有研究人员提出了一种利用扩展矩阵和灰色Verhulst模型得到最终预测人数的方法，但是只能检测到6人。也有研究员使用朴素贝叶斯(NB)分类器进行分类，在两个实验室中对7人进行计数实验，平均准确率分别为73％和63％。一些研究人员利用7个人做实验，主要是使用统计特征、基于形状的特征等，使用SVM模型进行训练，如果人的动作是固定的，准确率可以达到97％。还有研究者采用深度学习方法对于有5人的实验环境进行检测，当实验者的行为不固定时，数量统计的准
确率达到82.3％。利用深度神经网络(DNN)模型来对9人的数量进行检测，允许实验者做5种指定的动作，准确率能够达到88％。
[0007]可以看出，目前基于CSI的人口统计研究还很不成熟，大多针对的是少数人，对每个实验者的行为都有很多限制。因此，研究更大的人口规模和更普遍的人口状况，对进一步促进人口统计具有深远的意义。目前迫切需要一个更精确的大规模人群统计方法。

技术实现思路

[0008]为了解决大规模人群计数问题，本专利技术提出了一种基于WiFi信号与视觉图像融合的室内人群计数方法，基于WiFi和图像两种不同的信息，并利用Crossmodal
‑
Transformer网络模型实现基于多模态融合的室内大规模人群计数。
[0009]本专利技术的技术方案如下：
[0010]一种基于WiFi信号与视觉图像融合的室内人群计数方法，包括如下步骤：
[0011]步骤1、在室内环境中安装部署数据采集装置；
[0012]步骤2、数据采集与预处理，对预处理后的数据集进行划分；
[0013]步骤3、构建室内人群计数模型，并对其进行训练、验证和测试，得到最终的室内人群计数模型；
[0014]步骤4、将人群计数模型应用于真实室内场景下的人群计算，通过室内部署的路由器和摄像头实时采集WiFi数据和图像数据，计算得到当前人群具体数目。
[0015]进一步地，步骤1中，选取会议室作为室内数据采集环境，选取的WiFi数据采集硬件装置包括一个接收端和一个发射端，用于采集WiFi数据；其中，发射端，被配置为用于发射无线信号，采用无线路由器；接收端，被配置为用于接收数据和记录有环境信息的CSI数据，采用台式计算机，配备有网卡，同时外接有三根天线；同时，在室内四个角落均安装摄像头作为图像数据采集装置，用于采集视频数据。
[0016]进一步地，发射端采用的无线路由器型号为商用版TP
‑
LINK WDR 6500，支持双频；所述接收端采用的台式计算机配置Linux系统，内核版本是4.2，并安装Ubutu12.04操作系统，配备Intel 5300网卡，且外接有三根天线，天线离地高度为1.2m；台式计算机通过USB外接两个音响，数据采集通过音响发出开始或结束指令来完成；配置台式计算机的内核驱动和无线网卡，使无线路由器与台式计算机之间稳定500HZ的信号传输模式；室内四个角落安装的均是固定式摄像头，收集固定角度的图像数据。
[0017]进一步地，步骤2的具体过程如下：
[0018]步骤2.1、组织人数类别分别为0至m名的实验者在发射端和接收端中间的位置自由活动，每个人数类别的数据采集n次，一次经历q秒，与此同时摄像机对室内环境进行实时录像采集图像数据；
[0019]步骤2.2、预处理的过程为：对于WiFi数据，先从采集的数据中提取幅值信息，再进行下采样实现数据增强防止过拟合；对于图像数据，从采集的视频数据中截取所需要的图像信息，经过Patch
‑
embedding将图像的分辨率转变为与WiFi数据的分辨率相同；
[0020]步骤2.3、将预处理后的数据集划分为训练集、测试集和验证集，然后把WiFi和图像两种数据和标签一起放入一个字典中。
[0021]进一步地，步骤3的具体过程如下：
[0022]步骤3.1、采用Crossmodal
‑
Transformer网络模型作为室内人群计数模型；
[0023]步骤3.2、用训练集对人群计数模型进行训练，并用验证数据集进行验证，得到初始的人群计数模型；
[0024]步骤3.3、将测试集中的测试数据输入到初始人群计数模型中进行测试，计算均绝对误差MAE，若误差低于0.5，则得到最终的人群计数模型。
[0025]进一步地，步骤3.1中，采用Crossmodal...

【技术保护点】

【技术特征摘要】
1.一种基于WiFi信号与视觉图像融合的室内人群计数方法，其特征在于，包括如下步骤：步骤1、在室内环境中安装部署数据采集装置；步骤2、数据采集与预处理，对预处理后的数据集进行划分；步骤3、构建室内人群计数模型，并对其进行训练、验证和测试，得到最终的室内人群计数模型；步骤4、将人群计数模型应用于真实室内场景下的人群计算，通过室内部署的路由器和摄像头实时采集WiFi数据和图像数据，计算得到当前人群具体数目。2.根据权利要求1所述基于WiFi信号与视觉图像融合的室内人群计数方法，其特征在于，所述步骤1中，选取会议室作为室内数据采集环境，选取的WiFi数据采集硬件装置包括一个接收端和一个发射端，用于采集WiFi数据；其中，发射端，被配置为用于发射无线信号，采用无线路由器；接收端，被配置为用于接收数据和记录有环境信息的CSI数据，采用台式计算机，配备有网卡，同时外接有三根天线；同时，在室内四个角落均安装摄像头作为图像数据采集装置，用于采集视频数据。3.根据权利要求2所述基于WiFi信号与视觉图像融合的室内人群计数方法，其特征在于，所述发射端采用的无线路由器型号为商用版TP
‑
LINK WDR 6500，支持双频；所述接收端采用的台式计算机配置Linux系统，内核版本是4.2，并安装Ubutu12.04操作系统，配备Intel 5300网卡，且外接有三根天线，天线离地高度为1.2m；台式计算机通过USB外接两个音响，数据采集通过音响发出开始或结束指令来完成；配置台式计算机的内核驱动和无线网卡，使无线路由器与台式计算机之间稳定500HZ的信号传输模式；室内四个角落安装的均是固定式摄像头，收集固定角度的图像数据。4.根据权利要求1所述基于WiFi信号与视觉图像融合的室内人群计数方法，其特征在于，所述步骤2的具体过程如下：步骤2.1、组织人数类别分别为0至m名的实验者在发射端和接收端中间的位置自由活动，每个人数类别的数据采集n次，一次经历q秒，与此同时摄像机对室内环境进行实时录...

【专利技术属性】
技术研发人员：崔玮，李玉莉，王海霞，卢晓，李冰，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：