一种基于读写分离的信息系统内外网数据库优化方法技术方案

一种基于读写分离的信息系统内外网数据库优化方法。其包括内外网数据库存储分区、读写分库；快照到外网后合并分区到同一实例多个库；优化分布式数据库查询；优化分布式数据库写服务；记录优化日志等阶段。本发明专利技术提供的基于读写分离的信息系统内外网数据库优化方法的有益效果：本发明专利技术宗旨是以数据分散存储，查询并发执行为主线索即有效的组织了海量数据，提升了海量数据的查询性能，是对现阶段海量数据、高并发查询平台的创造性优化设计。

【技术实现步骤摘要】

本专利技术属于企业信息化
，特别是涉及。
技术介绍
在信息化日益普及的大背景下，信息系统的大型化和复杂化是必然趋势。目前大型的信息系统，在数据库层面大都采用读写分离技术，一个主库和多个从库。主库负责数据更新和实时数据查询，从库负责非实时数据查询。因为在实际的应用中，数据库都是读多写少(即读取数据的频率高，更新数据的频率相对较少)，而系统越复杂、系统数据越多、查询语句越复杂，读取数据的耗时就越长，占用数据库服务器的CPU也较多，从而降低了系统性能，影响用户体验。而现有的数据库读写分离技术只是单纯地将读写库进行分离来提高并发率，而没有解决诸如内外网之间的数据同步不方便，库体过大及查询语句复杂导致查询慢等问题。
技术实现思路
为了解决上述问题，本专利技术的目的在于提供。为了达到上述目的，本专利技术提供的基于读写分离的信息系统内外网数据库优化方法包括按顺序进行的下列步骤:步骤一:内外网数据库存储分区、读写分库的SOl阶段:将信息系统内外网数据库进行读写分离，并将数据分区存储；步骤二:快照到外网后合并分区到同一实例多个库的S02阶段:将步骤一中分离的内网数据库快照到步骤一中分离的外网数据库中，然后将步骤一中不同分区下的数据库合并到同一实例中；步骤三:优化分布式数据库查询的S03阶段:将大数据集中查询分解为可匹配步骤二中的内外网数据库且自身逻辑相关联的几个小数据集进行并发查询；步骤四:优化分布式数据库写服务的S04阶段:结合步骤三得到的优化查询，通过并发写程序与步骤一中的分区策略将不同的数据写入分配到不同的数据库中，最终得到读写分离的数据库和匹配读写分离数据库的优化方法；步骤五:记录优化日志的S05阶段:记录步骤二中的快照过程和步骤三、步骤四中的优化过程日志及步骤三、步骤四的优化执行结果日志。在步骤三中，所述的分布式数据库查询主要是将客户程序提交的数据库查询解析成多条相对简单的数据库查询语句，并向存储在不同分区上的数据库同时发起查询请求，通过并发的速度优势和简单语句查询时间短的优势来提升查询性能，在查询完结果集后，引擎将查询结果组织成一个数据集返回给客户程序。本专利技术提供的基于读写分离的信息系统内外网数据库优化方法的有益效果:本专利技术宗旨是以数据分散存储，查询并发执行为主线索即有效的组织了海量数据，提升了海量数据的查询性能，是对现阶段海量数据、高并发查询平台的创造性优化设i+o【附图说明】图1为本专利技术提供的基于读写分离的信息系统内外网数据库优化方法流程图。图2为信息系统内网数据库水平分区示意图。图3为信息系统外网数据库示意图。【具体实施方式】下面结合附图和具体实施例对本专利技术提供的基于读写分离的信息系统内外网数据库优化方法进行详细说明。如图1所示，本专利技术提供的基于读写分离的信息系统内外网数据库优化方法包括按顺序进行的下列步骤:步骤一:内外网数据库存储分区、读写分库的SOl阶段:将信息系统内外网数据库进行读写分离，并将数据分区存储；步骤二:快照到外网后合并分区到同一实例多个库的S02阶段:将步骤一中分离的内网数据库快照到步骤一中分离的外网数据库中，然后将步骤一中不同分区下的数据库合并到同一实例中；步骤三:优化分布式数据库查询的S03阶段:将大数据集中查询分解为可匹配步骤二中的内外网数据库且自身逻辑相关联的几个小数据集进行并发查询；步骤四:优化分布式数据库写服务的S04阶段:结合步骤三得到的优化查询，通过并发写程序与步骤一中的分区策略将不同的数据写入分配到不同的数据库中，最终得到读写分离的数据库和匹配读写分离数据库的优化方法；步骤五:记录优化日志的S05阶段:记录步骤二中的快照过程和步骤三、步骤四中的优化过程日志及步骤三、步骤四的优化执行结果日志。在步骤一中，所述的外网数据库通常包括系统关键数据与敏感数据，为适应数据量扩展需要及高性能完成数据库的写入与查询；首先将信息系统内外网的数据库进行读写分离，并将数据分区存储；数据库读写分离是为解决原有的信息系统写入数据量大，将读操作单独分享到一个数据库中，以避免读操作对写数据库资源的占用。数据库分区存储意在解决将大规模数据分散存储，以提升数据库查询效率。在步骤二中，所述的快照是创建与内网数据库事务一致的只读静态视图，通过快照映射(FlashCopy)将其恢复到外网数据库上，解决内外网隔离问题，建立内网数据库更新到外网数据库的有效通道，并将不同分区下的数据库合并到同一实例中，以便客户程序的一次查询可以在负载均衡的一台机器上完成。信息系统外网的查询服务完全基于快照来完成。在步骤三中，所述的分布式数据库查询是提升查询性能的关键。本专利技术创造性地将大数据集中查询分解为逻辑相关的几个小数据集并发查询，理论上让一次查询的时间显著降低:优化后的查询时间=小数据集的最大查询时间。查询后组织查询结果，以透明的单次查询反馈给客户程序，可大大提升查询效率。在步当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于读写分离的信息系统内外网数据库优化方法，其特征在于：所述的基于读写分离的信息系统内外网数据库优化方法包括按顺序进行的下列步骤：步骤一：内外网数据库存储分区、读写分库的S01阶段：将信息系统内外网数据库进行读写分离，并将数据分区存储；步骤二：快照到外网后合并分区到同一实例多个库的S02阶段：将步骤一中分离的内网数据库快照到步骤一中分离的外网数据库中，然后将步骤一中不同分区下的数据库合并到同一实例中；步骤三：优化分布式数据库查询的S03阶段：将大数据集中查询分解为可匹配步骤二中的内外网数据库且自身逻辑相关联的几个小数据集进行并发查询；步骤四：优化分布式数据库写服务的S04阶段：结合步骤三得到的优化查询，通过并发写程序与步骤一中的分区策略将不同的数据写入分配到不同的数据库中，最终得到读写分离的数据库和匹配读写分离数据库的优化方法；步骤五：记录优化日志的S05阶段：记录步骤二中的快照过程和步骤三、步骤四中的优化过程日志及步骤三、步骤四的优化执行结果日志。

【技术特征摘要】

【专利技术属性】
技术研发人员：郭晓艳，尚博祥，孙轶凡，翟玮，吴凯，
申请(专利权)人：国网天津市电力公司，国家电网公司，
类型：发明
国别省市：天津;12