【技术实现步骤摘要】
本专利技术涉及污染数据处理，具体为一种应用云计算技术的污染可视化数据处理系统及方法。
技术介绍
1、大气环境与人类的生活息息相关，通过对大气污染进行监测，能够了解和掌握环境中的污染状况，评估环境质量和生态风险，为环境保护和可持续发展提供科学依据；在大范围监测下，设计大量的标准监测站和微型监测站，监测站获取大气污染数据的速度往往很大，这要求系统具有极高的处理效率和实时性，而云平台的并行数据处理能力有限，无法第一时间兼顾所有的监测站，为此，如何提高大范围监测下监测站的数据处理效果，成为了一个亟需解决的问题。
技术实现思路
1、本专利技术的目的在于提供一种应用云计算技术的污染可视化数据处理系统及方法，以解决上述
技术介绍
中提出的问题。
2、在本专利技术的一个方面，提供一种应用云计算技术的污染可视化数据处理方法，包括：
3、s11，从监测站获取大气污染数据；
4、s12，基于监测站的大气污染数据，分析监测站之间数据的相关性，确定每个监测站的相关监测站；
5、s13，基于监测站之间数据的相关性，确定单个监测站对所有监测站的贡献率和所有监测站对单个监测站的贡献率；
6、s14，基于云平台的并行数据处理能力和监测站之间数据的相关性，确定云平台对监测站的大气污染数据处理顺序，生成第一处理结果和第二处理结果并进行可视化显示；所述第一处理结果为云平台利用部分监测站的大气污染数据生成的实时处理结果，所述第二处理结果为云平台利用全部监测站的大气污染
7、大气污染数据具有巨大的数据量和高度的复杂性，包括各种类型的污染因子、时间序列数据等，这给数据的分析和传输带来了巨大的压力，在较大的地理区域内进行的大气污染数据监测活动，涉及大量的地面监测站，使得大气污染数据的特点更为显著。在云计算资源有限的情况下，为了实时反映大气污染情况，通过对部分监测站的数据进行分析以获取实时大气污染情况，并在闲暇时对全部监测站的数据进行分析，兼顾实时性和准确性的要求。
8、在步骤s12中，所述分析监测站之间数据的相关性，确定每个监测站的相关监测站还包括以下步骤：
9、s20，对i＝1、2、…、n，n为监测站的数量执行步骤s21和s22，得到每个监测站及对应的关联集合，关联集合中的监测站为每个监测站的相关监测站；
10、s21，对于第i个监测站的大气污染数据ai，通过其他监测站的大气污染数据对第i个监测站的大气污染数据进行回归，得到第一回归误差e1，ai＝w1a1+w2a2+…+wnan，式中，w1、w2、…、wn为回归系数，a1、a2、…、an为监测站的大气污染数据；
11、s22，若回归系数大于显著性阈值，则将回归系数对应的监测站加入第i个监测站的关联集合ci中；若回归系数wj不大于显著性阈值，则对回归系数对应的监测站的大气污染数据aj进行显著性监测：将大气污染数据aj从输入中移除，通过除了i和j的其他监测站的大气污染数据对第i个监测站的大气污染数据进行回归，得到第二回归误差e2；j与i不相同；
12、若相对于e1，e2增加的幅度小于设定值，则大气污染数据aj未通过显著性检测，第j个监测站不属于第i个监测站的关联集合ci；若e2增加的幅度不小于设定值，则大气污染数据aj通过显著性检测，将第j个监测站加入第i个监测站的关联集合ci中。
13、当回归系数wj过小时，说明大气污染数据aj对ai可能并没有贡献，也可能是由于大气污染数据aj自身的数值较大，使得回归系数wj过小；所以对大气污染数据aj进行显著性检验，判断大气污染数据aj和回归系数wj是否确实需要。
14、在步骤s13中，所述确定单个监测站对所有监测站的贡献率和所有监测站对单个监测站的贡献率还包括以下步骤：
15、s31，对第i个监测站bi的及关联集合ci中的监测站bk，k与i不相同，用关联集合ci中的全部监测站的大气污染数据对监测站bi的大气污染数据进行回归，得到第一回归值p1ai和第一回归精确度acc1，第一回归精确度acc1为所有监测站对单个监测站bi的贡献率bsum→i；改变i的取值，得到所有监测站对任意监测站的贡献率；用关联集合ci中监测站bk外的全部监测站的大气污染数据对监测站bi的大气污染数据进行回归，得到第二回归值p2ai和第二回归精确度acc2，根据acc1和acc2计算出监测站bk对监测站bi的贡献率bk→i，bk→i＝acc1-acc2；当监测站bk不处于监测站bi的关联集合ci中时，bk→i为0，无须进行计算；
16、s32，保持k不变的情况下，对i的不同情况执行上述步骤，得到监测站bk对所有监测站的贡献率bk→sum，
17、s33，改变k的取值，执行步骤s21和s22，得到任意监测站对所有监测站的贡献率。
18、当有些监测站不存在大气污染数据时，可以通过已有的监测站的大气污染数据得到的不存在大气污染数据监测站的部分信息，从已有的监测站中获取所有其他监测站的信息量作为监测站的一个指标，即单个监测站对所有监测站的贡献率，无须获取全部监测站的具体信息，通过部分监测站得到全体监测站的信息；所有监测站对单个监测站的贡献率作为另一个指标，反映单个监测站信息的特殊性，若所有监测站对单个监测站的贡献率较低，则说明单个监测站的信息难以从其他监测站获取，保持对单个监测站的实时监测就较为重要。
19、在步骤s14中，所述确定云平台对监测站的大气污染数据处理顺序还包括以下步骤：
20、s41，设定初始温度为t0，从n个监测站中随机选择m个监测站作为备选监测站集合，m小于n，将备选监测站集合作为初始解，确定初始解对应的损失值l0和贡献值f0；并将初始解作为当前解，将初始温度作为当前温度；
21、s42，对u＝1、2、…、num，重复执行步骤s43至s44；l为设定的循环的次数；
22、s43，通过在当前解的基础上产生扰动，改变备选监测站集合，将扰动后的产生的备选监测站集合作为新解，确定新解对应的损失值l和贡献值f；
23、s44，计算新解带来的贡献值增量δf，若增量δf小于0，则直接接受新解
24、作为新的当前解，若增量δf不小于0，则依概率接受新解作为新的当前解，式中t表示当前温度；
25、s45，降低当前温度，若当前温度不小于设定的温度阈值，则进入步骤s42；若当前温度小于设定的温度阈值，则根据当前解，确定备选监测站集合，得到优化结果，完成监测站的大气污染数据处理顺序优化；
26、云平台对备选监测站集合的大气污染数据进行实时处理，生成第一处理结果，对于备选监测站集合之外的其他监测站，会出现大气污染数据长时间未进行处理，出现异常情况时无法及时发现，因此，需要对优化结果进行补偿，减少忽略异常情况的可能性；
27、s46，对优化结果进行补偿，云平台按照补偿后的监测站的大气污染数据处理顺序，对大气本文档来自技高网...
【技术保护点】
1.一种应用云计算技术的污染可视化数据处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，在步骤S12中，所述分析监测站之间数据的相关性，确定每个监测站的相关监测站还包括以下步骤：
3.根据权利要求2所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，在步骤S13中，所述确定单个监测站对所有监测站的贡献率和所有监测站对单个监测站的贡献率还包括以下步骤：
4.根据权利要求3所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，在步骤S14中，所述确定云平台对监测站的大气污染数据处理顺序还包括以下步骤：
5.根据权利要求4所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，在步骤S41和S43中，损失值和贡献值通过以下方式进行确定：
6.根据权利要求5所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，对优化结果进行补偿还包括以下步骤：
7.一种应用云计算技术的污染可视化数据处理系统，使用如权利要求1-6中任一
8.根据权利要求7所述的一种应用云计算技术的污染可视化数据处理系统，其特征在于，所述地面监测站模块还包括大气污染数据采集单元、数据传输单元和时间单元；所述大气污染数据采集单元用于获取监测地点的大气污染数据，所述数据传输单元用于将大气污染数据和采集时间发送到云平台；所述时间单元用于确定大气污染数据的采集时间。
9.根据权利要求7所述的一种应用云计算技术的污染可视化数据处理系统，其特征在于，所述云平台还包括大气污染数据实时分析单元、大气污染数据精确分析单元、数据存储单元、回归单元、优化单元、补偿单元和输出单元；所述大气污染数据实时分析单元用于对监测站传输的大气污染数据进行实时分析；所述大气污染数据精确分析单元用于在闲暇时对全部监测站传输的大气污染数据进行分析；所述数据存储单元用于存储监测站传输的大气污染数据；所述回归单元用于对监测站的大气污染数据进行确定，确定监测站之间的相关性，单个监测站对所有监测站的贡献率和所有监测站对单个监测站的贡献率；所述优化单元用于确定最佳的需要处理的监测站数据组合方式；所述补偿单元用于对优化结果进行补偿，确保所有监测站数据能够被云平台进行处理；所述输出单元用于将大气污染数据分析结果发送给可视化模块。
10.根据权利要求9所述的一种应用云计算技术的污染可视化数据处理系统，其特征在于，所述可视化模块还包括第一可视化单元和第二可视化单元；所述第一可视化单元用于实时对大气污染数据分析结果进行渲染绘制；所述第二可视化单元用于对全部监测站的大气污染数据分析结果进行渲染绘制。
...【技术特征摘要】
1.一种应用云计算技术的污染可视化数据处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，在步骤s12中，所述分析监测站之间数据的相关性，确定每个监测站的相关监测站还包括以下步骤：
3.根据权利要求2所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，在步骤s13中，所述确定单个监测站对所有监测站的贡献率和所有监测站对单个监测站的贡献率还包括以下步骤：
4.根据权利要求3所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，在步骤s14中，所述确定云平台对监测站的大气污染数据处理顺序还包括以下步骤：
5.根据权利要求4所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，在步骤s41和s43中，损失值和贡献值通过以下方式进行确定：
6.根据权利要求5所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，对优化结果进行补偿还包括以下步骤：
7.一种应用云计算技术的污染可视化数据处理系统，使用如权利要求1-6中任一项所述的一种应用云计算技术的污染可视化数据处理方法，其特征在于，包括：地面监测站模块、云平台和可视化模块；所述地面监测站模块的输出端与所述云平台的输入端相连接，用于获取监测地点的大气污染数据；所述云平台的输出端与所述可视化模块相连接，用于确定监测站的大气污染数据处理顺序，对监测站的大气污染数据进行实时处理，并将处理结果发送到可视化模块；所述可视化模块用于对大气污染数据进行渲染绘...
【专利技术属性】
技术研发人员：程大志，李明娜，萧峰，李瑞强，李建军，张巍，田贝宁，杨伟民，田颖，
申请(专利权)人：呼和浩特市生态环境监控中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。