分布式高并发调度实现CALPUFF模型的计算方法技术

分布式高并发调度实现CALPUFF模型的计算方法，涉及大气环境及计算机处理技术领域，解决现有CALPUFF模型计算时间比较长，且由于污染源个数的增加导致无法进行计算的问题，基于大气模型计算服务系统实现，大气模型计算服务系统包括大气模型管理系统、大气模型计算系统、数据处理系统、任务调度系统、服务注册系统和缓存系统；第三方系统通过所述大气模型管理系统与整个大气模型计算服务系统交互；本方法通过将复杂较大的CALPUFF模型拆分成单个污染源的自案例的方式，得到每个污染源的对于每个网格的浓度排放贡献率；由于数据处理的全自动化，进行各种统计分析，对于数据处理的灵活度大大提升；让用户高度定制化图片渲染的效果，使数据可视化的效果大大改良。使数据可视化的效果大大改良。使数据可视化的效果大大改良。

【技术实现步骤摘要】
分布式高并发调度实现CALPUFF模型的计算方法


[0001]本专利技术涉及大气环境及计算机处理
，具体涉及一种通过分布式高并发调度实现CALPUFF模型高性能计算方法。

技术介绍

[0002]目前，复杂较大的CALPUFF模型计算，如果污染源的个数超过了模型的限制，则只能通过手动的方式，将一个分多个步骤完成，再通过脚本语言，把多个结果文件汇总起来。但是这种方式，需要人为或者半自动化的操作过程，将案例拆分。这种方式效率较低，并且容易引入人为操作的各种错误。
[0003]对于复杂较大的CALPUFF模型计算所需的时间会随着模型的大小、污染物参数个数、以及污染源的个数的增加，成线性正比的关系变化，也就是所需的计算时间会越来越多。随着计算案例的时间的增加，给用户使用带来极大的不便，也导致一些应用场景下无法使用复杂的大型CALPUFF模型。
[0004]为了突破CALPUFF模型污染源个数的限制，以及缩短模型计算的整体时间，急需寻找新的技术手段以解决上述技术问题。

技术实现思路

[0005]本专利技术为解决现有CALPUFF模型计算时间比较长，且由于污染源个数的增加导致无法进行计算的问题，提供一种分布式高并发调度实现CALPUFF模型的计算方法。
[0006]分布式高并发调度实现CALPUFF模型的计算方法，该方法基于大气模型计算服务系统实现，所述大气模型计算服务系统包括大气模型管理系统、大气模型计算系统、数据处理系统、任务调度系统、服务注册系统和缓存系统；第三方系统通过所述大气模型管理系统与整个大气模型计算服务系统交互；
[0007]所述大气模型管理系统用于面向用户使用以及与第三方系统交互；
[0008]所述大气模型计算系统用于整合计算流程，完成各个环节的计算任务，并将计算结果进行局部汇总后，发送到数据处理系统进行最终的汇总；
[0009]所述数据处理系统用于计算结果的处理和分析，并将结果数据渲染成图片；
[0010]所述任务调度系统用于对其它各模块的调度和执行；
[0011]所述服务注册系统用于对服务注册、服务查询和服务管理；
[0012]该方法具体由以下步骤实现：
[0013]步骤一、所述大气模型管理系统用于以污染源个数为单位，将一个CALPUFF模型拆分成多个CALPUFF子模型；
[0014]步骤二、所述大气模型计算系统采用高并发与分布式计算的方式，在同一时间，并发计算多个CALPUFF子模型案例；
[0015]步骤三、通过任务调度系统，将计算的多个CALPUFF子模型案例发布到分布式并发系统中区，在各个分布式服务器计算完分配的任务后，采用大气模型计算系统将数据汇总
后，再发送到数据处理系统进行最终汇总。
[0016]本专利技术的有益效果：
[0017]1、本专利技术采用案例的自动拆分以及自动汇总的方式，可以突破污染源数量的限制，可以支持无限多个污染源的CALPUFF模型计算，而且整个过程无人为干涉，不仅效率高，而且还没有任何操作失败的风险。
[0018]2、本专利技术解决了复杂的大型CALPUFF模型计算效率问题，计算效率高。在本专利技术中，随着计算节点的增加，整个案例的计算时间将与计算服务器节点的数据量成线性反比的关系变化，也就是计算节点越多，整个案例计算完毕的所需的时间越少。用户可以通过不断增加硬件的情况下，达到满意的使用效果。
[0019]3、本专利技术的后续数据分析处理能力比传统方案有较大的提升。
[0020]首先，通过将复杂较大的CALPUFF模型拆分成单个污染源的自案例的方式，这样就可以得到每个污染源的对于每个网格的浓度排放贡献率。
[0021]其次，由于数据处理的全自动化，可以进行各种统计分析，例如计算最大落地浓度、风向风速统计等，对于数据处理的灵活度大大提升，可以根据用户的需求场景，进行定制化开发。
[0022]再次，由于不同污染物参数的排放量级大大不同，如果用单一的图片渲染的方案，则使会导致数据可视化后的效果层次不齐，导致某些参数的数据可视化无法使用。本专利技术可以根据不同污染物参数定制化渲染方案，可以让用户高度定制化图片渲染的效果，使数据可视化的效果大大改良。
附图说明
[0023]图1为本专利技术所述的通过分布式高并发调度实现CALPUFF模型的高性能计算方法中大气模型计算服务系统的原理框图；
[0024]图2为大气模型计算系统中WRF模型的运行模式原理图；
[0025]图3为WRF模型的运行模式参数框图；
[0026]图4为CALMET模型的计算原理图。
具体实施方式
[0027]结合图1至图4说明本实施方式，通过分布式高并发调度实现CALPUFF模型的高性能计算方法，该方法为了突破CALPUFF模型计算的污染源个数限制的问题，将一个CALPUFF模型计算，以污染源个数为单位，拆分成多个CALPUFF子模型。
[0028]为了提高本方案的计算效率，采取了高并发与分布式计算的方式。高并发在本专利技术指在单个计算上，在同一时间，并发计算多个CALPUFF子案例；分布式计算是近年提出的一种新的计算方式。所谓分布式计算就是在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。本方案的分布式指将拆分的CALPUFF子模型计算案例发布到分布式并发系统
中区，在各个分布式服务器计算完分配的任务后，把数据汇总后，再统一汇总到数据服务器上，这样就可以大大提高计算效率。
[0029]本实施方式所述的通过分布式高并发调度实现CALPUFF模型的高性能计算方法，基于大气模型计算服务系统实现，所述基于大气模型计算服务系统包括大气模型管理系统、大气模型计算系统、大气模型数据处理系统、任务调度系统、服务注册系统和缓存系统；第三方平台是通过大气模型管理系统与整个平台交互；如图1所示：
[0030]所述大气模型管理系统主要由模型管理模块、案例管理模块、减排模拟模块、溯源模拟模块、系统管理模块以及计算服务接口模块。该系统设计主要是面向用户使用以及第三方系统交互。
[0031]模型管理模块。该模块主要功能有模型的创建以及维护。模型的创建需要用户或者第三方系统，设置模型可自定义的各种参数，包括地形参数、污染物参数、模型计算参数、图片渲染参数等。系统通过设置的模型参数，生成模型的基数配置文件、地形文件、工作空间等。用户可以对已经生成的模型进行增删改查等常规性的维护工作。
[0032]案例管理模块。该模块主要的功能有案例的创建、计算、维护以及案例结果的查询等功能。用户或者第三方系统可以在某个制定的模型下创建自定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.分布式高并发调度实现CALPUFF模型的计算方法，其特征是：该方法基于大气模型计算服务系统实现，所述大气模型计算服务系统包括大气模型管理系统、大气模型计算系统、数据处理系统、任务调度系统、服务注册系统和缓存系统；第三方平台通过所述大气模型管理系统与整个大气模型计算服务系统交互；所述大气模型管理系统用于面向用户使用以及与第三方系统交互；所述大气模型计算系统用于整合计算流程，完成各个环节的计算任务，并将计算结果进行局部汇总后，发送到数据处理系统进行最终的汇总；所述数据处理系统用于计算结果的处理和分析，并将结果数据渲染成图片；所述任务调度系统用于对其它各模块的调度和执行；所述服务注册系统用于对服务注册、服务查询和服务管理；该方法具体由以下步骤实现：步骤一、所述大气模型管理系统用于以污染源个数为单位，将一个CALPUFF模型拆分成多个CALPUFF子模型；步骤二、所述大气模型计算系统采用高并发与分布式计算的方式，在同一时间，并发计算多个CALPUFF子模型案例；步骤三、通过任务调度系统，将计算的多个CALPUFF子模型案例发布到分布式并发系统中区，在各个分布式服务器计算完分配的任务后，采用大气模型计算系统将数据汇总后，再发送到数据处理系统进行最终汇总。2.根据权利要求1所述的分布式高并发调度实现CALPUFF模型的计算方法，其特征在于：所述大气模型管理系统包括模型管理模块、案例管理模块、减排模拟模块、系统管理模块以及计算服务接口模块；所述模型管理模块用于模型的创建以及维护，模型的创建需要用户或者第三方系统，设置模型可自定义的各种参数，所述各种参数包括地形参数、污染物参数、模型计算参数和图片渲染参数；通过设置的模型参数，生成模型的基数配置文件、地形文件和工作空间；用户对已经生成的模型进行增加、删除、修改和查询；所述案例管理模块用于对案例的创建、计算、维护以及案例结果的查询；用户或者第三方系统，通过在模型管理模块创建新的模型，然后在该模型下创建自定义的案例；系统把不同计算流程的案例区分成不同的产品，用户选择不同计算模型计算流程以满足特定需求；通过自定义案例的参数，可以映射CALPUFF模型计算中的大部分参数，比如污染参数、排放数据和计算时间；创建完案例后，用于发起对案例的计算、查询案例的计算状态以及各个计算环节所花费的时间；案例计算完毕后，用于检索案例的计算结果，以及基于该案例计算结果的各种统计分析数据；最后，用户对案例进行维护操作；所述减排模拟模块用于用户自定义减排模拟计划，选择减排模拟的相关信息，对于某个参数进行减排，减排比率，以及针对与某个监测站进行减排；用户在减排模拟列表看到案例的相关信息以及状态，减排模拟结果图形展示；所述计算服务接口模块通过在服务注册中心，注册计算平台发布的信息，用户就通过
查询服务注册中心的信息，获取访问平台相关接口的配置信息，第三方平台通过多重协议访问服务；所述系统管理模块用于系统访问以及使用的权限管理...

【专利技术属性】
技术研发人员：周迅，闫明明，蔡超，
申请(专利权)人：北京三易思创科技有限公司，
类型：发明
国别省市：