基于历史大数据实现网格化信号覆盖率分析处理的方法、系统、装置、处理器及其存储介质制造方法及图纸

本发明专利技术涉及一种基于历史大数据实现网格化信号覆盖率分析处理的方法，包括以下步骤：选择需要分析的频段参数和数据过滤参数；提交分析准备并开启分析；筛选数据id，提交频段参数和数据过滤参数；按频段并行分析计算；保存分析结果保存。本发明专利技术还涉及一种基于历史大数据实现网格化信号覆盖率分析处理的系统、装置、处理器及其存储介质。采用了本发明专利技术的基于历史大数据实现网格化信号覆盖率分析处理的方法、系统、装置、处理器及其存储介质，利用了海量的历史数据，避免重复采集，分析速度快，计算逻辑结构简单，便于后期功能扩展。分析结果多样化，能一次分析不同频段，不同信号的覆盖率情况，解耦性强，简化复杂的分布式计算逻辑，易于实现和应用。易于实现和应用。易于实现和应用。

【技术实现步骤摘要】
基于历史大数据实现网格化信号覆盖率分析处理的方法、系统、装置、处理器及其存储介质


[0001]本专利技术涉及无线电
，尤其涉及无线电信号分析领域，具体是指一种基于历史大数据实现网格化信号覆盖率分析处理的方法、系统、装置、处理器及其存储介质。

技术介绍

[0002]随着无线电技术及无线电业务的蓬勃发展，掌握全国性区域的信号覆盖率对信号频谱规划、电磁秩序维护具有重要意义。同时随全国各站点系统陆续接入一体化平台，无线电监测平台积累了大量的数据，为掌握相关区域信号覆盖率提供了海量数据基础。
[0003]充分利用无线电平台的优势，汇聚海量的数据，需要相关性的信号覆盖率，便于后期统筹规划，针对目前的需求，本专利技术提供了一种基于无线电历史大数据网格化信号覆盖率分析的系统和方法，解决了因数据量大，地理范围广，且只能分析单一信号的问题。

技术实现思路

[0004]本专利技术的目的是克服了上述现有技术的缺点，提供了一种满足解耦性强、计算逻辑简单、结果多样化的基于历史大数据实现网格化信号覆盖率分析处理的方法、系统、装置、处理器及其存储介质。
[0005]为了实现上述目的，本专利技术的基于历史大数据实现网格化信号覆盖率分析处理的方法、系统、装置、处理器及其存储介质如下：
[0006]该基于历史大数据实现网格化信号覆盖率分析处理的方法，其主要特点是，所述的方法包括以下步骤：
[0007](1)将频谱数据上传至后台服务器，生成数据关联并上传至Hadoop文件系统；
[0008](2)选择需要分析的频段参数和数据过滤参数；
[0009](3)提交分析准备并开启分析；
[0010](4)数据筛选模块获取数据id，将频段参数和数据过滤参数提交至Spark大数据分析集群；
[0011](5)Spark计算集群按频段并行分析计算；
[0012](6)将分析结果保存至Hadoop文件系统中；
[0013](7)数据下载模块监测到分析完成后，自动从Hadoop文件系统中下载分析结果；
[0014](8)根据输入信号的中频和带宽，从分析结果中提取对应信号的分析结果。
[0015]较佳地，所述的步骤(5)具体包括以下步骤：
[0016](5.1)根据数据ID从Hadoop分布式文件系统中并行读取频谱数据文件；
[0017](5.2)解析帧数据，并按分析选择的范围过滤数据；
[0018](5.3)根据数据经纬度计算该帧数据的网格位置；
[0019](5.4)按分析频段起始频率、截止频率和带宽合并处理数据；
[0020](5.5)计算底噪门限和网格中心位置；
[0021](5.6)按网格中心聚合数据统计信号的覆盖率和电平值；
[0022](5.7)将聚合的spark分布式数据集转换为信号频点数据集；
[0023](5.8)结束并行循环计算，将分析结果保存至Hadoop文件系统。
[0024]较佳地，所述的步骤(5.3)中计算该帧数据的网格位置，包括分别计算该帧数据的网格中心的经度和纬度，具体为：
[0025]根据以下公式计算该帧数据的网格中心的经度：
[0026]xLon＝(iXDelta_LON
×
rasterSize－rasterSize/2)
×
M_LON+CONTROL_LON；
[0027]其中，CONTROL_LON为网格基准点的经度，rasterSize为设置分析频段的网格大小，M_LON为1米的经度值，iXDelta_LON为当前点在经度上的网格数；
[0028]根据以下公式计算该帧数据的网格中心的纬度：
[0029]xLat＝(iXDelta_Lat
×
rasterSize－rasterSize/2)
×
M_Lat+CONTROL_Lat；
[0030]其中，CONTROL_Lat为网格基准点的纬度，rasterSize为设置分析频段的网格大小，M_Lat为1米的纬度值，iXDelta_Lat为当前点在纬度上的网格数。
[0031]较佳地，所述的步骤(5.6)具体包括以下步骤：
[0032](5.6.1)根据网格中心和帧数据保存为聚合的spark分布式数据集；
[0033](5.6.2)根据分析频段内的频点值、数据帧数、频点的电平值和频点的底噪值组成网格矩阵；
[0034](5.6.3)计算信号占用度率和频段占用度，提取信号覆盖率、最大电平和平均电平。
[0035]较佳地，所述的步骤(5.6.3)中计算信号占用度率，具体为：
[0036]根据以下公式计算信号占用度率：
[0037]OCC＝Kmax/n；
[0038]其中，OCC为信号占用度，Kmax为网格中所有数据中该信号大于1的个数，n为数据帧数。
[0039]较佳地，所述的步骤(5.6.3)中计算频段占用度，具体为：
[0040]根据以下公式计算频段占用度：
[0041]FredBandOcc＝Omax/m；
[0042]其中，FredBandOcc为频段占用度，Omax为该频段中信号占用度大于1的个数，m为频段总信号个数。
[0043]该基于历史大数据实现网格化信号覆盖率分析处理的系统，其主要特点是，所述的系统包括：
[0044]数据管理层，用于导入原始频谱文件，生成数据ID，以及对数据文件层进行数据上传及下载；
[0045]分析控制层，与所述的数据管理层相连接，用于筛选需要分析的数据ID，将分析参数提交至数据文件层，监控并监测分析过程；
[0046]并行计算层，与所述的分析控制层相连接，用于接收分析任务，并行读取数据计算；
[0047]数据文件层，与所述的数据管理层和并行计算层相连接，用于存储频谱原始文件和分析结果文件。
[0048]较佳地，所述的数据管理层包括：
[0049]数据导入模块，与所述的数据文件层和分析控制层相连接，用于导入频谱评估格式的原始频谱文件，生成数据ID，并上传至数据文件层；
[0050]数据下载模块，与所述的数据文件层和并行计算层相连接，用于从数据文件层中下载分析结果。
[0051]较佳地，所述的分析控制层包括：
[0052]数据筛选模块，与所述的数据管理层相连接，用于在准备过程中按条件查询所有需要分析的数据ID；
[0053]分析任务控制模块，与所述的并行计算层相连接，用于控制分析任务，在分析过程中停止分析任务；
[0054]分析任务监测模块，与所述的分析任务控制模块和并行计算层相连接，用于监控分析过程；
[0055]信号结果提取模块，与所述的数据筛选模块和数据文件层相连接，用于将分析参数提交至数据文件层。
[0056]较佳地，所述的并行计算层包括：
[0057]Spark集群连接模块，与所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于历史大数据实现网格化信号覆盖率分析处理的方法，其特征在于，所述的方法包括以下步骤：(1)将频谱数据上传至后台服务器，生成数据关联并上传至Hadoop文件系统；(2)选择需要分析的频段参数和数据过滤参数；(3)提交分析准备并开启分析；(4)数据筛选模块获取数据id，将频段参数和数据过滤参数提交至Spark大数据分析集群；(5)Spark计算集群按频段并行分析计算；(6)将分析结果保存至Hadoop文件系统中；(7)数据下载模块监测到分析完成后，自动从Hadoop文件系统中下载分析结果；(8)根据输入信号的中频和带宽，从分析结果中提取对应信号的分析结果。2.根据权利要求1所述的基于历史大数据实现网格化信号覆盖率分析处理的方法，其特征在于，所述的步骤(5)具体包括以下步骤：(5.1)根据数据ID从Hadoop分布式文件系统中并行读取频谱数据文件；(5.2)解析帧数据，并按分析选择的范围过滤数据；(5.3)根据数据经纬度计算该帧数据的网格位置；(5.4)按分析频段起始频率、截止频率和带宽合并处理数据；(5.5)计算底噪门限和网格中心位置；(5.6)按网格中心聚合数据统计信号的覆盖率和电平值；(5.7)将聚合的spark分布式数据集转换为信号频点数据集；(5.8)结束并行循环计算，将分析结果保存至Hadoop文件系统。3.根据权利要求2所述的基于历史大数据实现网格化信号覆盖率分析处理的方法，其特征在于，所述的步骤(5.3)中计算该帧数据的网格位置，包括分别计算该帧数据的网格中心的经度和纬度，具体为：根据以下公式计算该帧数据的网格中心的经度：xLon＝(iXDelta_LON
×
rasterSize－rasterSize/2)
×
M_LON+CONTROL_LON；其中，CONTROL_LON为网格基准点的经度，rasterSize为设置分析频段的网格大小，M_LON为1米的经度值，iXDelta_LON为当前点在经度上的网格数；根据以下公式计算该帧数据的网格中心的纬度：xLat＝(iXDelta_Lat
×
rasterSize－rasterSize/2)
×
M_Lat+CONTROL_Lat；其中，CONTROL_Lat为网格基准点的纬度，rasterSize为设置分析频段的网格大小，M_Lat为1米的纬度值，iXDelta_Lat为当前点在纬度上的网格数。4.根据权利要求1所述的基于历史大数据实现网格化信号覆盖率分析处理的方法，其特征在于，所述的步骤(5.6)具体包括以下步骤：(5.6.1)根据网格中心和帧数据保存为聚合的spark分布式数据集；(5.6.2)根据分析频段内的频点值、数据帧数、频点的电平值和频点的底噪值组成网格矩阵；(5.6.3)计算信号占用度率和频段占用度，提取信号覆盖率、最大电平和平均电平。5.根据权利要求4所述的基于历史大数据实现网格化信号覆盖率分析处理的方法，其
特征在于，所述的步骤(5.6.3)中计算信号占用度率，具体为：根据以下公式计算信号占用度率：OCC＝Kmax/n；其中，OCC为信号占用度，Kmax为网格中所有数据中该信号大于1的个数，n为数据帧数。6.根据权利要求4所述的基...

【专利技术属性】
技术研发人员：杜中明，
申请(专利权)人：上海创远仪器技术股份有限公司，
类型：发明
国别省市：