用于电力系统时序生产模拟的海量数据管理方法和系统技术方案

本发明专利技术提出一种用于电力系统时序生产模拟的海量数据管理方法和系统，包括：当导入新能源时序发电数据时，检查新能源时序发电数据的合法性；若合法性检查结果为存在非法或缺失数据时，基于预先存储的各地区历史气象资源数据对新能源时序发电数据进行校正，将校正后新能源时序发电数据分布式存储到多个文件型关系数据库；否则将新能源时序发电数据分布式存储到多个文件型关系数据库；本发明专利技术用于解决现有大数据管理无法对非法和缺失数据进行筛选和校正，降低了在实际电网运行过程中由于网络和设备运行等问题导致的数据错误和数据缺失。通过为用户检查和校正数据，降低了人工需要校正数据的工作量，提升了数据录入效率，保证了数据的完整性和可用性。数据的完整性和可用性。数据的完整性和可用性。

【技术实现步骤摘要】
用于电力系统时序生产模拟的海量数据管理方法和系统


[0001]本专利技术属于电力
，具体涉及一种用于电力系统时序生产模拟的海量数据管理方法和系统。

技术介绍

[0002]随着电力行业的发展，针对电网运行数据的规模日益增大，电网运行数据包含火电、水电、风电、光伏等多种电源运行数据，并且随着电网精细化管理，数据量还在不断增长。为了更好的保存和高效利用这些数据，需要使用最新技术对海量数据进行有效管理和存储。
[0003]现有的存储技术多基于传统关系型数据库，在数据不断增长的情况下会导致系统运行效率逐渐降低；海量数据导入数据库时，很多非法数据很有可能混入系统，导致系统的可用性降低。

技术实现思路

[0004]为克服上述现有技术的不足，本专利技术提出一种用于电力系统时序生产模拟的海量数据管理方法，包括：
[0005]当导入新能源时序发电数据时，检查所述新能源时序发电数据的合法性；
[0006]若合法性检查结果为存在非法或缺失数据时，基于预先存储的各地区历史气象资源数据对所述新能源时序发电数据进行校正，将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库；
[0007]若合法性检查结果为不存在非法或缺失数据时，将所述新能源时序发电数据分布式存储到多个文件型关系数据库。
[0008]优选的，所述基于预先存储的各地区历史气象资源数据对所述新能源时序发电数据进行校正，包括：
[0009]将所述新能源时序发电数据与预设发电场站和地区信息索引进行模糊匹配，得到所述新能源时序发电数据对应的电网地理信息；
[0010]基于所述电网地理信息，从预先存储的各地区历史气象资源数据中选择所述新能源时序发电数据对应地区的历史气象资源数据；
[0011]根据所述历史气象资源数据对所述新能源时序发电数据进行校正。
[0012]优选的，所述根据所述历史气象资源数据对所述新能源时序发电数据进行校正之后，且将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库之前，还包括：
[0013]将导入的新能源时序发电数据与校正后的新能源时序发电数据进行对比，判断用户是否根据对比结果对导入的新能源时序发电数据进行手动修改：
[0014]若是，则转入检查导入的新能源时序发电数据的合法性，否则不操作。
[0015]优选的，所述发电场站和地区信息索引，包括：发电场站和地区的属性信息。
[0016]优选的，所述将所述新能源时序发电数据分布式存储到多个文件型关系数据库，
包括：
[0017]获取所述新能源时序发电数据对应的电网地理信息和时序信息；
[0018]根据电网地理信息对所述新能源时序发电数据进行分类，得到多个类型的新能源时序发电数据，并分别将各类型的新能源时序发电数据存储到不同服务器或者服务器集群；
[0019]针对每个类型的新能源时序发电数据，根据对应的时序信息，将所述每个类型的新能源时序发电数据存储到一个或多个文件型关系数据库。
[0020]优选的，所述将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库，包括：
[0021]获取校正后的新能源时序发电数据对应的电网地理信息和时序信息；
[0022]根据电网地理信息对校正后的新能源时序发电数据进行分类，得到多个类型的校正后的新能源时序发电数据，并分别将各类型的校正后的新能源时序发电数据存储到不同服务器或者服务器集群；
[0023]针对每个类型的校正后的新能源时序发电数据，根据对应的时序信息，将所述每个类型的校正后的新能源时序发电数据存储到一个或多个文件型关系数据库。
[0024]优选的，所述气象资源数据，包括：风速、风向、温度、湿度和气压。
[0025]优选的，所述将所述新能源时序发电数据分布式存储到多个文件型关系数据库之后，或将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库之后，还包括：
[0026]当需要扩展时，根据文件型关系数据库所在服务器的负载和存储容量，将所述文件型关系数据库复制到新服务器，并在管理服务器进行存储信息注册。
[0027]优选的，所述将所述新能源时序发电数据分布式存储到多个文件型关系数据库之后，或将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库之后，还包括：
[0028]当读取新能源时序发电数据时，根据时序生产模拟系统创建的电网规模、电网包含区域和进行模拟需要的时间段从多个文件型关系数据库中读取需要的新能源时序发电数据。
[0029]优选的，若合法性检查结果为存在非法或缺失数据时，所述基于预先存储的各地区历史气象资源数据对所述新能源时序发电数据进行校正之前，还包括：
[0030]备份导入的新能源时序发电数据中的存在非法或缺失数据的数据段。
[0031]基于同一专利技术构思，本申请还提供了一种用于电力系统时序生产模拟的海量数据管理系统，包括：检查模块、第一存储模块和第二存储模块；
[0032]所述检查模块，用于当导入新能源时序发电数据时，检查所述新能源时序发电数据的合法性；
[0033]所述第一存储模块，用于若合法性检查结果为存在非法或缺失数据时，基于预先存储的各地区历史气象资源数据对所述新能源时序发电数据进行校正，将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库；
[0034]所述第二存储模块，用于若合法性检查结果为不存在非法或缺失数据时，将所述新能源时序发电数据分布式存储到多个文件型关系数据库。
[0035]优选的，所述基于预先存储的各地区历史气象资源数据对所述新能源时序发电数据进行校正，包括：
[0036]将所述新能源时序发电数据与预设发电场站和地区信息索引进行模糊匹配，得到所述新能源时序发电数据对应的电网地理信息；
[0037]基于所述电网地理信息，从预先存储的各地区历史气象资源数据中选择所述新能源时序发电数据对应地区的历史气象资源数据；
[0038]根据所述历史气象资源数据对所述新能源时序发电数据进行校正。
[0039]优选的，所述发电场站和地区信息索引，包括：发电场站和地区的属性信息。
[0040]优选的，所述将所述新能源时序发电数据分布式存储到多个文件型关系数据库，包括：
[0041]获取所述新能源时序发电数据对应的电网地理信息和时序信息；
[0042]根据电网地理信息对所述新能源时序发电数据进行分类，得到多个类型的新能源时序发电数据，并分别将各类型的新能源时序发电数据存储到不同服务器或者服务器集群；
[0043]针对每个类型的新能源时序发电数据，根据对应的时序信息，将所述新能源时序发电数据存储到一个或多个文件型关系数据库。
[0044]优选的，所述将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库，包括：
[0045]获取校正后的新能源时序发电数据对应的电网地理信息和时序信息；
[0046]根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于电力系统时序生产模拟的海量数据管理方法，其特征在于，包括：当导入新能源时序发电数据时，检查所述新能源时序发电数据的合法性；若合法性检查结果为存在非法或缺失数据时，基于预先存储的各地区历史气象资源数据对所述新能源时序发电数据进行校正，将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库；若合法性检查结果为不存在非法或缺失数据时，将所述新能源时序发电数据分布式存储到多个文件型关系数据库。2.如权利要求1所述的方法，其特征在于，所述基于预先存储的各地区历史气象资源数据对所述新能源时序发电数据进行校正，包括：将所述新能源时序发电数据与预设发电场站和地区信息索引进行模糊匹配，得到所述新能源时序发电数据对应的电网地理信息；基于所述电网地理信息，从预先存储的各地区历史气象资源数据中选择所述新能源时序发电数据对应地区的历史气象资源数据；根据所述历史气象资源数据对所述新能源时序发电数据进行校正。3.如权利要求2所述的方法，其特征在于，所述根据所述历史气象资源数据对所述新能源时序发电数据进行校正之后，且将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库之前，还包括：将导入的新能源时序发电数据与校正后的新能源时序发电数据进行对比，判断用户是否根据对比结果对导入的新能源时序发电数据进行手动修改：若是，则转入检查导入的新能源时序发电数据的合法性，否则不操作。4.如权利要求2所述的方法，其特征在于，所述发电场站和地区信息索引，包括：发电场站和地区的属性信息。5.如权利要求1所述的方法，其特征在于，所述将所述新能源时序发电数据分布式存储到多个文件型关系数据库，包括：获取所述新能源时序发电数据对应的电网地理信息和时序信息；根据电网地理信息对所述新能源时序发电数据进行分类，得到多个类型的新能源时序发电数据，并分别将各类型的新能源时序发电数据存储到不同服务器或者服务器集群；针对每个类型的新能源时序发电数据，根据对应的时序信息，将所述每个类型的新能源时序发电数据存储到一个或多个文件型关系数据库。6.如权利要求1所述的方法，其特征在于，所述将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库，包括：获取校正后的新能源时序发电数据对应的电网地理信息和时序信息；根据电网地理信息对校正后的新能源时序发电数据进行分类，得到多个类型的校正后的新能源时序发电数据，并分别将各类型的校正后的新能源时序发电数据存储到不同服务器或者服务器集群；针对每个类型的校正后的新能源时序发电数据，根据对应的时序信息，将所述每个类型的校正后的新能源时序发电数据存储到一个或多个文件型关系数据库。7.如权利要求1所述的方法，其特征在于，所述气象资源数据，包括：风速、风向、温度、湿度和气压。
8.如权利要求1所述的方法，其特征在于，所述将所述新能源时序发电数据分布式存储到多个文件型关系数据库之后，或将校正后的新能源时序发电数据分布式存储到多个文件型关系数据库之后，还包括：当需要扩展时，根据文件型关系数据库所在服务器的负载和存储容量，将所述文件型关系数据库复制到新服务器，并在管理服务器进行存储信息注册。9.如权利要求1所述的方法，其特征在于，所述将所述新能源时序发电数据分布式存储到多个文件型关系数据库之后，或将校正后的新能源时序发电数据分布式存储到多个文...

【专利技术属性】
技术研发人员：刘志斌，黄越辉，杨文华，礼晓飞，周宗川，张金平，田宏梁，桑桢城，冯雪，王帅，赵亮，李湃，田星，李驰，张坤，李国杰，
申请(专利权)人：国家电网有限公司国网宁夏电力有限公司国网宁夏电力有限公司经济技术研究院，
类型：发明
国别省市：