一种基于大规模并行计算的暴雨洪涝模型系统技术方案

本发明专利技术公开了一种基于大规模并行计算的暴雨洪涝模型系统，涉及洪水预测技术领域，包括：数据处理模块，用于通过土壤质地数据，分析获取暴雨洪涝模型的基础数据；计算单元模块，用于依据基础数据，进行小流域分析；并行计算模块，用于控制若干个计算单元模块，对一级流域的上游节点和下游节点之间的若干个小流域进行并行分析；节点服务器分配模块，用于根据一级流域，将并行计算模块分配到节点服务器进行计算，对一级流域的暴雨洪涝风险进行预测；数据库模块，用于存储系统产生的数据；数据库逻辑控制模块，用于控制数据库模块与其他功能模块之间进行数据交互，实现系统的模块功能；本发明专利技术为暴雨洪涝的预测提供了新的技术思路。本发明专利技术为暴雨洪涝的预测提供了新的技术思路。本发明专利技术为暴雨洪涝的预测提供了新的技术思路。

【技术实现步骤摘要】
一种基于大规模并行计算的暴雨洪涝模型系统


[0001]本专利技术涉及洪水预测
，具体而言，涉及一种基于大规模并行计算的暴雨洪涝模型系统。

技术介绍

[0002]洪涝灾害一直是制约人类社会发展的主要自然灾害之一。洪涝灾害分为河流洪水、湖泊洪水和风暴洪水等。现有技术对于暴雨洪涝的预测还属于起步阶段，因此，急需设置一种新的用于暴雨洪涝的预测系统，以满足台风造成的洪水灾害的预测需求。

技术实现思路

[0003]为了解决上述问题，本专利技术提供了一种基于大规模并行计算的暴雨洪涝模型系统，包括：
[0004]数据处理模块，用于通过土壤质地数据，分析获取暴雨洪涝模型的基础数据；
[0005]计算单元模块，用于依据基础数据，进行小流域分析；
[0006]并行计算模块，用于控制若干个计算单元模块，对一级流域的上游节点和下游节点之间的若干个小流域进行并行分析；
[0007]节点服务器分配模块，用于根据一级流域，将并行计算模块分配到节点服务器进行计算，对一级流域的暴雨洪涝风险进行预测；
[0008]数据库模块，用于存储土壤质地数据、基础数据、小流域分析数据、并行计算结果、一级流域构成数据、预测数据；
[0009]数据库逻辑控制模块，用于控制数据库模块与其他功能模块之间进行数据交互，实现系统的模块功能。
[0010]优选地，数据处理模块，利用土壤质地数据，分析土壤质地类型与小流域坡面下渗特性的对应关系，进行栅格化处理，计算出小流域每个栅格的渗透系数，根据相同渗透系数的栅格在流域内所有栅格的比重进行加权平均，求得每个小流域的下垫面稳定下渗率和最大下渗率，概化确定小流域下渗特性参数，通过分析小流域产流非线性特征，获取模型的基础数据。
[0011]优选地，数据处理模块，还用于获取土壤中矿物质颗粒的粘粒、粉粒和砂粒的组合比例，进行插值分析，得到0
‑
20cm表层土的土壤质地数据，并根据水文特性进行修正，得到土壤质地类型数据，并依据小流域产流特征参数，获取短历时暴雨条件下不同土壤质地类型的最大响应深度和产流时间，构建基础数据，其中，小流域产流特征参数包括饱和含水量、残余含水量、土壤田间持水量、土壤湿润锋毛管吸力、水力传导度、土壤持水曲线模型参数。
[0012]优选地，计算单元模块，还用于根据小流域的上游入口列表、下游出口、出口编号、类型字段和计算单元名称，构建结构体；初始化以小流域编号为key值的哈希映射表watershedMap，初始化以计算单元名称为key值的哈希映射表unitMap；遍历输入文件，构造
watershedMap和unitMap；循环遍历unitMap，针对同一个计算单元的各个小流域，统计其上游入口节点FCD，以及计算单元的出口编号ONDCD和出口OCD；输出结果包括：序号ID，计算单元名称UNITCD，上游计算单元FCD，下游计算单元OCD，计算单元的出口编号ONDCD，分类码GB。
[0013]优选地，计算单元模块还用于拆分流域、河道、节点文件，其中，拆分过程包括：
[0014]复制原始RIVL数据，删除海岸线，删除水库的边缘线，采用属性表中的按属性选择，然后删除水库边缘线和海岸线；
[0015]利用Analysis Tools
‑
Overlay
‑
spatial join工具，将计算单元名称赋值到河道线文件RIVL上；
[0016]在ArcGIS中检查WATA和river的shp的属性表，保证除原始字段和新添加的WSCU_Name字段外没有其它字段，如果有多余字段，在ArcGIS的属性表中删除；
[0017]运行已编写的Matlab程序，将WATA，RIVL和NODE拆分到计算单元模块。
[0018]优选地，并行计算模块，还用于根据包括高程、坡度、河道、土地利用和土壤质地的网格数据，进行河道拓扑，并对网格数据进行裁剪、处理，进行建模，用于对小流域进行分析。
[0019]优选地，并行计算模块的建模过程，包括以下步骤：
[0020]Python中运行hydro1
‑
6.py；
[0021]MATLAB中运行outflow_HRU.m；
[0022]MATLAB中运行CRT_bat.m，然后运行all_CRT.bat，注意每个单元是否都能运行成功；
[0023]Python中运行hydro7
‑
8.py；
[0024]Python中运行copy_file.py，将模型需要的输入文件拷贝的results文件夹中，并批量生成groovy控制文件；
[0025]Matlab中运行get_extent_index.m，获取每个计算单元的四至和对应网格UTM投影的左下坐标；
[0026]选择一场降水数据放在raindata文件夹中，Python中运行RainData.py，将降水数据提取到各个单元；
[0027]Matlab中运行createRainIndex.m获取降水数据索引。
[0028]优选地，并行计算模块，用于从空间、时间、子过程三个方面进行并行计算，其中，空间并行：在考虑模拟单元之间计算依赖关系的基础上，将不同模拟单元的计算任务分配到多个计算单元上进行空间分解方式的并行计算；
[0029]时间并行：从时间角度，模型模拟在一个连续时间序列的多个时刻进行，上一时刻的输出作为下一时刻的输入；
[0030]子过程并行：洪涝模型涉及众多产汇流子过程，采用并行计算。
[0031]优选地，数据库模块，用于存储由二进制降雨数据转换为ASCII文件的降雨数据，包括计算单元参数信息、服务器并行调度信息和计算节点服务器资源分配信息，其中，计算单元参数信息包括基础数据和计算单元建模成果文件，基础数据包括：计算单元编码、名称、上下游拓扑单元信息、所在河流、单元出口节点、所属计算分组、计算单元四至属性信息、计算单元栅格化属性信息；计算单元建模成果文件包括：小流域参数文件、河道参数文
件、节点参数文件、土地利用参数文件、土壤质地参数文件、高程参数文件、洪涝模型计算参数文件；
[0032]服务器并行调度信息包括：程序编号、程序名称、程序所属计算节点、程序数据存储物理地址、程序与计算单元关联ID、程序步长设置、程序所属计算节点IP地址、计算成果类型、返回参数设置、测试数据开始时间、程序参数配置、分组所在地区；
[0033]计算节点服务器资源分配信息包括：计算节点服务器名称、IP地址、一级流域名称以及连接信息。
[0034]优选地，节点服务器分配模块用于在各节点设置节点监控模块，采用进程动态分配技术，并行调用多个计算程序工作，具体执行步骤为：
[0035]客户端通过MPICH并行计算命令远程调用参加本次计算任务的计算节点上的节点监控模块；
[0036]节点监控模块实时读取节点CPU处理器的处理核心数量，按CPU核心数量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大规模并行计算的暴雨洪涝模型系统，其特征在于，包括：数据处理模块，用于通过土壤质地数据，分析获取暴雨洪涝模型的基础数据；计算单元模块，用于依据所述基础数据，进行小流域分析；并行计算模块，用于控制若干个所述计算单元模块，对一级流域的上游节点和下游节点之间的若干个所述小流域进行并行分析；节点服务器分配模块，用于根据所述一级流域，将所述并行计算模块分配到节点服务器进行计算，对所述一级流域的暴雨洪涝风险进行预测；数据库模块，用于存储所述土壤质地数据、所述基础数据、小流域分析数据、并行计算结果、一级流域构成数据、预测数据；数据库逻辑控制模块，用于控制所述数据库模块与其他功能模块之间进行数据交互，实现系统的模块功能。2.根据权利要求1所述一种基于大规模并行计算的暴雨洪涝模型系统，其特征在于：所述数据处理模块，利用土壤质地数据，分析土壤质地类型与小流域坡面下渗特性的对应关系，进行栅格化处理，计算出小流域每个栅格的渗透系数，根据相同渗透系数的栅格在流域内所有栅格的比重进行加权平均，求得每个小流域的下垫面稳定下渗率和最大下渗率，概化确定小流域下渗特性参数，通过分析小流域产流非线性特征，获取模型的所述基础数据。3.根据权利要求2所述一种基于大规模并行计算的暴雨洪涝模型系统，其特征在于：所述数据处理模块，还用于获取土壤中矿物质颗粒的粘粒、粉粒和砂粒的组合比例，进行插值分析，得到0
‑
20cm表层土的土壤质地数据，并根据水文特性进行修正，得到土壤质地类型数据，并依据小流域产流特征参数，获取短历时暴雨条件下不同土壤质地类型的最大响应深度和产流时间，构建所述基础数据，其中，所述小流域产流特征参数包括饱和含水量、残余含水量、土壤田间持水量、土壤湿润锋毛管吸力、水力传导度、土壤持水曲线模型参数。4.根据权利要求3所述一种基于大规模并行计算的暴雨洪涝模型系统，其特征在于：所述计算单元模块，还用于根据小流域的上游入口列表、下游出口、出口编号、类型字段和计算单元名称，构建结构体；初始化以小流域编号为key值的哈希映射表watershedMap，初始化以计算单元名称为key值的哈希映射表unitMap；遍历输入文件，构造watershedMap和unitMap；循环遍历unitMap，针对同一个计算单元的各个小流域，统计其上游入口节点FCD，以及计算单元的出口编号ONDCD和出口OCD；输出结果包括：序号ID，计算单元名称UNITCD，上游计算单元FCD，下游计算单元OCD，计算单元的出口编号ONDCD，分类码GB。5.根据权利要求4所述一种基于大规模并行计算的暴雨洪涝模型系统，其特征在于：所述计算单元模块还用于拆分流域、河道、节点文件，其中，拆分过程包括：复制原始RIVL数据，删除海岸线，删除水库的边缘线，采用属性表中的按属性选择，然后删除水库边缘线和海岸线；利用Analysis Tools
‑
Overlay
‑
spatial join工具，将计算单元名称赋值到河道线文件RIVL上；在ArcGIS中检查WATA和river的shp的属性表，保证除原始字段和新添加的WSCU_Name
字段外没有其它字段，如果有多余字段，在ArcGIS的属性表中删除；运行已编写的Matlab程序，将WATA，RIVL和NODE拆分到所述计算单元模块。6.根据权利要求5所述一种基于大规模并行计算的暴雨洪涝模型系统，其特征在于：所述并行计算模块，还...

【专利技术属性】
技术研发人员：马强，刘昌军，文磊，张顺福，王龙阳，朱化鹏，何丽佳，李小萌，
申请(专利权)人：中国水利水电科学研究院，
类型：发明
国别省市：