海量GIS数据实时处理方法及系统技术方案

本发明专利技术公开了一种海量GIS数据实时处理方法，包括：将若干通用内存存储设备组合，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据建立拓扑索引，从而完成内存集群的搭建；当用户编辑拓扑图时，根据所述拓扑索引对内存集群中的拓扑数据进行更新；当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并计算出设备渲染样式，根据所述设备渲染样式渲染所述用户所选择的设备。本发明专利技术还提供了一种海量GIS数据实时处理系统。本发明专利技术响应速度快，计算效率高。

【技术实现步骤摘要】

本专利技术涉及电网数据处理领域，尤其涉及一种海量GIS数据实时处理方法及系统。
技术介绍
电网GIS平台是将电力企业的电力设备、变电站、输配电网络、电力用户与电力负荷和生产及管理等核心业务连接形成电力信息化的生产管理的综合信息系统，其需要管理维护电网设备的空间属性、设备属性、拓扑关系以及海量的地图数据，支撑整个电网公司的业务需求。随着公司业务信息化水平的不断提高，系统需要管理的数据量及数据复杂程度持续上升。目前GIS平台共计维护121类电网设备，并且根据预计电网资源数据将以每年超过25%的速度急剧增长。GIS平台实时渲染的设备数量，在每屏平均渲染2000个左右设备，加上平台客户端的平均在线数3000左右。这就使GIS平台数据访问量特别大、访问频次很密集。随着GIS平台中的数据量大幅上涨，在大规模配用电网（特别是涵盖400V低压电网）的场景下，客户端展示的电网数据量持续上升，不可避免的引发服务器查询操作的频繁进行和缓存数据的爆炸式增长。传统的数据管理和处理方式是使用GIS渲染数据管理及处理方式，此方式服务端需要频繁的与持久化数据库进行电网数据交互，由此带来了持久化数据库并发访问瓶颈以及巨大的网络压力，直到超出数据库支持能力而拖慢整个系统的运行效率；另一方面，高并发、高频次的客户端访问要求服务端生成大量数据缓存以应对频繁的数据请求，但传统的根据访问需求实时生成的缓存数据由于分开管理、缺乏统一的调配合并，势必带来缓存空间的浪费和内存数据的反复擦写，不能充分利用内存数据的高读写速度优势。随着设备空间数据持续增长，设备的拓扑数据也随之急剧增加，设备之间的拓扑关系也越来越复杂，拓扑计算需要处理的节点数量及权重权衡也随之增加，拓扑计算的性能也在不断下降。如果拓扑计算是直接处理的数据库拓扑数据，更会因为与数据库的交互延迟或数据库性能的下降而使拓扑计算的效率变得更加不可忍受。在大数据量压力下，进行设备渲染、拓扑计算因为基础数据量的增大而效率下降，如果再考虑用户海量并发的因素，提升效率就会比较困难。因此如何维持在海量数据和高并发用户数量压力下GIS平台的实时响应速度，成为GIS平台提升用户友好性、增加平台功能可用性急待解决的难题。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种海量GIS数据实时处理方法及系统，可以对海量GIS数据实时处理，响应速度快，计算效率高。为了解决上述技术问题，本专利技术提供了一种海量GIS数据实时处理方法，包括：将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式，GIS平台的渲染单元根据所述设备渲染样式渲染所述用户所选择的设备。本专利技术还提供了一种海量GIS数据实时处理系统，包括：内存集群建立模块，用于将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；拓扑数据处理模块，用于当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；渲染预处理模块，用于当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式；设备渲染模块，用于根据所述设备渲染样式渲染所述用户所选择的设备。本专利技术提供一种海量GIS数据实时处理方法及系统，可以对海量GIS数据实时处理，响应速度快，计算效率高。在大数据量压力和用户海量并发情况下，本专利技术进行设备渲染、拓扑计算时的效率依然很高，提升了GIS平台用户友好性、增加了平台功能可用性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提供的海量GIS数据实时处理方法的一个实施例的流程示意图；图2本专利技术提供的海量GIS数据实时处理系统的一个实施例的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术提供的海量GIS数据实时处理方法的一个实施例的流程示意图，如图1所示，包括：S101、将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建。随着系统用户数量的增加，数据读写量及读写效率持续上升，磁盘物理读写速度成为海量GIS数据在高并发用户量和实时要求高的使用情况下系统的瓶颈。如果将数据放置在内存中则不会存在这样的问题，而且数据直接存放在内存里在数据操作过程中省略了数据从磁盘读取到内存的步骤也可以有效的减少数据移动次数和读写时间。内存集群重新设计空间数据体系结构，使之更加贴近于电网应用操作，并且改进数据缓存、快速算法、并行操作，数据处理速度比传统磁盘的数据处理速度要快很多，轻易便可以达到10倍以上。GIS平台启动后，随着客户端浏览、查询等操作，分批次的将持久化数据库中需要用到的数据加载到内存集群中，因此随着系统使用时间增长及用户浏览、查询使用的空间数据增多，内存集群中的数据不断增加，最终达到将持久化数据库中的数据全部镜像到内存集群中的目的。这样可以防止G本文档来自技高网...

【技术保护点】
一种海量GIS数据实时处理方法，其特征在于，包括步骤：将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式，GIS平台的渲染单元根据所述设备渲染样式渲染所述用户所选择的设备。

【技术特征摘要】
1.一种海量GIS数据实时处理方法，其特征在于，包括步骤：
将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；
当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；
当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式，GIS平台的渲染单元根据所述设备渲染样式渲染所述用户所选择的设备。
2.如权利要求1所述的海量GIS数据实时处理方法，其特征在于，所述通用内存存储设备具体为普通电脑内存。
3.如权利要求1所述的海量GIS数据实时处理方法，其特征在于，所述空间索引为依据空间数据对应的空间对象的位置和形状或空间对象之间的空间关系建立的数据结构。
4.如权利要求3所述的海量GIS数据实时处理方法，其特征在于，所述空间索引为R-Tree索引。
5. 如权利要求1所述的海量GIS数据实时处理方法，其特征在于，所述根据所述设备样式数据和设备属性数据计算出设备渲染样式，具体包括：
根据设备属性数据适配合适的渲染器；
将所述用户所选择的设备与对应的设备样式数据匹配；
将每一设备的匹配后的所述设备样式数据转化为渲染样式描述数据；
把所述渲染样式描述数据和几何信息转化为渲染单元识别的描述。
6. 一种海量GIS数据实时处理系统，...

【专利技术属性】
技术研发人员：苏超，钟世冠，莫东平，何海帆，赖兆基，陈少敏，李文航，潘世成，
申请(专利权)人：广东电网有限责任公司清远供电局，
类型：发明
国别省市：广东;44