一种基于海量数据的动态矢量切片高效发布方法技术

本发明专利技术公开一种基于海量数据的动态矢量切片高效发布方法，所述方法包括应用于运维系统中，所述运维系统包括集群及网关，所述网关包括集群网关及路由网关，集群获取数据流，由所述集群网关向所述路由网关登记所述集群服务属性、运行状态；本发明专利技术摈弃原有方案的集成或扩展方式，发挥目前集群具有高可用性和高性能的特性，采用负载均衡服务器和冗余调度服务器调度集群，对平台进行全新的整体架构设计。对平台进行全新的整体架构设计。对平台进行全新的整体架构设计。

【技术实现步骤摘要】
一种基于海量数据的动态矢量切片高效发布方法


[0001]本专利技术涉及电网运维
，尤其是指一种基于海量数据的动态矢量切片高效发布方法。

技术介绍

[0002]自电网GIS平台建设以来，已在公司26家网省公司运行，实现对主网、部分配网和用户数据在运行状态的管理，支撑了公司30多套核心业务系统应用，实现了对主配网及用户4.3亿台设备的集约化管理。目前问题主要体现在：
[0003]1)管理电网设备量几何级增长：电网设备管理已延伸至低压及农网用户，物理设备量将达10亿级，逻辑设备及历史状态数据量预计达到百亿级。已远远超过原10亿级设备设计容量。
[0004]2)用户访问量大幅增长：营配调业务贯通并精益化管理延伸至电网末端，势必带来频繁的业务访问及用户量的大幅攀升，平台并发设计已难以满足访问需求。
[0005]3)电网图形实时性需求进一步提高：调度应用及电网实时数据展现需求对电网地理图及拓扑实时变化要求进一步提高，传统部署及计算模式难以支撑大面积、大场景情况下的电网分析功能。
[0006]在集成方式下每个集成子系统都有自己的客户端、账户系统、用户界面、操作习惯等，导致系统存在多端、多帐号、多种界面，缺乏一致性，各子系统存在部分功能重叠、数据冗余等问题，并且因为缺乏统一的数据结构、通讯标准，子系统之间通常存在兼容性问题。
[0007]其次，扩展方式通常存在旧系统语言或架构过时，与原有业务深度耦合，新的扩展只能在此基础上做修改和增补，经常无法解决新业务扩展所需的新的性能要求，这样持续扩展带来的结果就是系统不稳定甚至崩溃。
[0008]再者，由于缺乏整体架构设计，原有系统在数据结构、业务逻辑、安全性、可扩展性、可靠性、可用性等方面设计无法满足智能电网在访问量、运算量上呈几何级增长的需求。
[0009]因此，有必要利用云计算、大数据技术，进一步优化电网GIS平台技术架构，进一步提升平台组件的海量数据管理能力，同时还需要从根本上提升系统性能与健壮性，提升平台集成应用的便捷性。

技术实现思路

[0010]本专利技术的目的在于提供一种基于海量数据的动态矢量切片高效发布方法，用于合理高效地重构电网平台，模式能充分发挥云计算和大数据技术的特性，可以灵活地、实时地、动态地扩展平台的业务和能力。
[0011]为达成上述目的，本专利技术的解决方案为：提供一种基于海量数据的动态矢量切片高效发布方法，应用于运维系统中，所述运维系统包括集群及网关，所述网关包括集群网关及路由网关，所述集群包括负载均衡服务器及冗余调度控制服务器，所述方法包括：所述集
群获取数据流，由所述集群网关向所述路由网关登记所述集群服务属性、运行状态；所述负载均衡服务器将所述数据流分布到所述集群的各服务器处理并发送到对应的终端，所述冗余调度控制服务器通过冗余调度，当出现个别服务器宕机时，配置冗余的服务器接入并继续处理数据流发送至对应的终端。
[0012]进一步，集群启动后，由集群网关向路由网关登记集群服务属性、运行状态等信息；当某集群网关需要依赖其他集群提供的服务时，由该集群网关向路由网关获取依赖集群的接入信息，包括服务属性、元数据等；当依赖集群由于故障等原因无法提供服务时，由路由网关向集群网关发布断路信息，并向运维系统发布故障警报；
[0013]进一步，集群指为平台提供某一方面业务服务的服务器实例群，集群具备负载均衡、高可用性、高性能的特点。
[0014]进一步，集群包含面向数据存取备份的数据库集群、面向物联网设备连接的接入集群、面向算力输出的运算集群、大数据分析集群、面向信息管理的信息业务集群、面向业务服务输出的客户端服务集群等。
[0015]进一步，集群由一组提供相同或相关服务的服务器实例组成，并配有负载均衡和冗余调度控制服务器，可以将对该集群的大量访问按机制分布到各个服务器处理，并在某些服务器宕机的情况下，通过冗余调度，配置冗余服务器接入继续提供服务。
[0016]进一步，集群根据实际需要，可按面向的业务划分，或者按面向的架构层级划分。集群内的服务器实例共同完成一个或若干个相关的功能服务
[0017]进一步，网关可分为集群管理网关和路由网关。网关是对各集群进行有机组织的重要角色，将若干个业务关联的集群组成集群网络，由集群网络向用户提供更高级的业务服务。
[0018]进一步，集群管理网关负责管理某个集群，包括管理集群整体以及各实例的运行状态、运行日志、运行负荷、故障警报等信息，并对外发布集群服务属性、能力和数据标准等信息
[0019]进一步，管道是集群与网关之间，网关之间以及集群之间的数据通信通道。管道根据实际需要可以设计成消息机制、IPC机制、LPC机制或者RPC机制等。各角色实体通过管道完成数据交互，最终共同完成一套完整的业务集；
[0020]进一步，所述集群包括数据库集群、设备接入集群、运算集群、信息业务集群、客户端服务集群，所述数据库集群用于获取数据存取备份的数据流、所述设备接入集群用于获取物联网设备连接的数据流、所述运算集群用于获取算力输出的数据流、所述信息业务集群获取信息管理的数据流、所述客户端服务集群用于获取业务服务输出的数据流。
[0021]进一步，当所述集群网关调用所述集群提供的服务时，由所述集群网关向所述路由网关获取所述集群的接入信息，所述接入信息包括服务属性及元数据。
[0022]进一步，当所述集群无法提供服务时，由所述路由网关向所述集群网关发布断路信息，并向所述运维系统发布故障报警至对应终端。
[0023]进一步，运维系统还包括管道，所述管道是所述集群与所述网关之间、所述集群内部之间及所述网关内部之间的数据通信通道，所述管道采用IPC架构或LPC架构或RPC架构。
[0024]进一步，本专利技术还提供一种基于海量数据的动态矢量切片高效发布系统，包括集群及网关，所述网关包括集群网关及路由网关，所述集群包括负载均衡服务器及冗余调度
控制服务器，所述方法包括：所述集群获取数据流，由所述集群网关向所述路由器网关登记所述集群服务属性、运行状态；所述负载均衡服务器将所述数据流分布到所述集群的各服务器处理并发送到对应的终端，所述冗余调度控制服务器通过冗余调度，当出现个别服务器宕机时，配置冗余的服务器接入并继续处理数据流发送至对应的终端。
[0025]进一步，本专利技术还提供一种基于海量数据的动态矢量切片高效发布装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上述的一种基于海量数据的动态矢量切片高效发布方法。
[0026]进一步，本专利技术还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述的一种基于海量数据的动态矢量切片高效发布方法。
[0027]进一步，本专利技术还提供一种基于海量数据的动态矢量切片高效发布的数据库，包括存储空间，存储空间分布式存储如上述的一种基于海量数据的动态矢量切片高效发布方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于海量数据的动态矢量切片高效发布方法，应用于运维系统中，所述运维系统包括集群及网关，所述网关包括集群网关及路由网关，其特征在于，所述集群包括负载均衡服务器及冗余调度控制服务器，所述方法包括：所述集群获取数据流，由所述集群网关向所述路由网关登记所述集群服务属性、运行状态；所述负载均衡服务器将所述数据流分布到所述集群的各服务器处理并发送到对应的终端；当出现个别服务器宕机时，所述冗余调度控制服务器通过冗余调度，配置冗余的服务器接入并继续处理数据流发送至对应的终端。2.如权利要求1所述的一种基于海量数据的动态矢量切片高效发布方法，其特征在于，所述集群包括数据库集群、设备接入集群、运算集群、信息业务集群、客户端服务集群，所述数据库集群用于获取数据存取备份的数据流、所述设备接入集群用于获取物联网设备连接的数据流、所述运算集群用于获取算力输出的数据流、所述信息业务集群获取信息管理的数据流、所述客户端服务集群用于获取业务服务输出的数据流。3.如权利要求2所述的一种基于海量数据的动态矢量切片高效发布方法，其特征在于，所述方法还包括：当所述集群网关调用所述集群提供的服务时，由所述集群网关向所述路由网关获取所述集群的接入信息，所述接入信息包括服务属性及元数据。4.如权利要求3所述的一种基于海量数据的动态矢量切片高效发布方法，其特征在于，所述方法还包括：当所述集群无法提供服务时，由所述路由网关向所述集群网关发布断路信息，并向所述运维系统发布故障报警至对应终端。5.如权利要求4所述的一种基于海量数据的动态矢量切片高效发布方...

【专利技术属性】
技术研发人员：项卫山，臧志斌，赵光，李伟，龙燕军，高明慧，陈延杰，吴萍，
申请(专利权)人：国网信息通信产业集团有限公司，
类型：发明
国别省市：