【技术实现步骤摘要】
本专利技术涉及数据库构建，具体为一种分布式数据库构建方法及系统。
技术介绍
1、分布式数据库是指利用计算机高速网络将物理上分散的多个数据库、组成一个逻辑上统一的大型数据库，其基本思想是将原来集中式数据库中的数据分散到多个数据存储节点上，以增加数据的存储总量，提高并发访问效率；
2、现有的分布式数据库在遇到各种故障时，数据库内部数据容易丢失，而现有的分布式数据库在丢失数据后，只能从备份中恢复数据，而遇到故障时，备份数据同样会受到损坏，导致数据恢复效果不佳。
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种分布式数据库构建方法及系统，解决了上述
技术介绍
中提出的问题。
2、为解决上述技术问题，根据本专利技术的一个方面，更具体的说是一种分布式数据库构建系统，包括数据库需求分析模块、数据库分片系统、数据库分析模块以及数据库测试模块，其特征在于，所述数据库需求分析模块用于明确分布式数据库的具体需求，并根据需求分析数据的特性和访问模式，为后续的架构设计和技术选型提供依据，所述数据库分片系统用于将空间数据按照选定的分片策略进行分片，并将每个分片存储到不同的节点上，所述数据库分析模块用于对数据库的运行状态进行实时监控和日志分析，所述数据库测试模块用于对数据库系统的功能、性能和稳定性进行测试。
3、更进一步的，包括以下步骤：
4、s1、数据库需求分析：明确数据库所需的数据量大小、数据类型、访问频率、一致性要求、可用性要求以及故障恢复策略，并根据
5、s2、设置数据库架构：设置分片集群模式的数据库架构，并对str算法进行分布式改造，完成分布式索引构建及数据插入；
6、s2.1、在分片集群数据库架构内部设置postgresql数据库管理系统，并配置相应的硬件资源；
7、s2.2、在分片集群数据库架构内部设置硬盘驱动器、列式存储格式以及数据分布策略；
8、s2.3、设计用于管理数据模型、索引信息的元数据管理机制；
9、s3、结合遗传算法优化并行计算框架任务分配，通过种群初始化、适应度函数设计、遗传操作执行、任务分配方案确定完成
10、s4、数据分片：根据数据的特性和业务需求，将空间数据按照选定的分片策略进行分片，并将每个分片存储到不同的节点上；
11、s5、数据库分析与测试：对数据库的运行状态进行实时监控和日志分析，并对数据库系统的故障恢复系统与数据一致性维护系统进行测试；
12、s5.1、测试通过：将数据库系统部署到生产环境中，并进行持续监控和维护；
13、s5.2、测试未通过：对数据库系统的故障恢复系统以及数据一致性维护系统进行维护，并在维护后再次对数据库分析模块以及数据库测试模块进行测试。
14、更进一步的，所述s4中，根据数据的特性和业务需求，数据库分片系统通过水平分片以及垂直分片将大量的数据分散存储在多个节点上；
15、水平分片：按照一定的条件把全局关系按行分为若干不相交子集，每个子集为关系的一个片段；
16、垂直分片：把每一个全局关系的属性集分为若干子集，在子集上做投影运算，每个投影为垂直分片。
17、更进一步的，所述s5中，数据库测试的故障恢复系统是为了保证系统的稳定性和可靠性，在分布式数据库在运行过程中因遇到各种故障，而导致数据受损时，能够自动检测和修复故障节点，并从备份中恢复数据。
18、更进一步的，所述s5中，数据库测试的数据一致性维护系统是为了提高分布式数据库的可用性和容错性，在某个节点发生故障时，可以从其他节点恢复数据，同时，通过一致性维护系统保证数据库内部数据的一致性。
19、更进一步的，所述s2中，str算法进行分布式改造完成分布式索引构建包含以下步骤；
20、s1、最小边界矩形(mbr)
21、mbr＝(x1，y1，x2，y2)
22、s2、空间范围面积：假设空间对象为“o”，空间对象o的空间范围面积的计算公式为
23、s＝(x2-x1)(y2-y1)
24、式中，s为空间对象o的范围面积，x1，y1，x2，y2分别为空间对象中的节点；
25、s3、空间重叠度计算
26、
27、式中，rspace为空间重叠度，xoverlap为x方向的重叠长度，yoverpal为y方向的重叠长度；sn为节点n的空间范围面积；其中：
28、xoverlap＝max(0，min(x2，xn2)-max(x1，xn1))
29、yoverlap＝max(0，min(y2，yn2)-max(y1，yn1))；
30、s4、时间重叠度计算
31、
32、式中，rtime为时间重叠度；toverlap为节点n的重叠时间区间，tn为节点n的时间区间长度；
33、s5、基于str完成数据插入
34、选择空间重叠度和时间重叠度较大且节点未满的节点进行插入，如果有多个节点满足条件，再根据一定的策略进行进一步筛选；
35、当选择的节点已满时，需要进行节点分裂操作，使用的分裂策略是线性分裂；
36、首先计算节点中所有空间对象的mbr在x和y方向的中位数，分别记为xmedian和ymedian，然后将节点中的空间对象分为两部分：一部分是mbr的x2小于xmedian的空间对象，另一部分是mbr的x1大于等于xmedian的空间对象，对于y方向也进行类似的划分，这样就将原来的节点分裂为两个新的节点，调整它们的mbr和时间区间信息。
37、更进一步的，所述步骤s3中，结合遗传算法优化并行计算框架任务分配包含以下步骤：
38、s1、定义适应度函数
39、
40、式中，u为资源利用率，t为任务执行时间，f1(x)与f2(x)分别为自适应度函数，自适应度函数f1(x)适应度值越大，所有任务执行的最大执行时间越短，自适应度函数f2(x)适应度值越大，资源利用率越高；
41、s2、任务个体编码：个体编码采用整数编码方式，一个个体，其中表示任务分配到的计算节点编号；
42、s3、优化自适应函数
43、对于两个个体xa＝(xa1，xa2，...,xa2n)和xb＝(xb1，xb2，...，xbn)，随机选择一个交叉点k(1＜＝k＜＝n-1)。
44、交叉后得到新的个体xa’和xb’：
45、xa＝(xa1，xa2，...，xak，xb(k+1)，xb(k+2)，...，xbn)
46、xb＝(xb1，xb2，...，xbk，xa(k+1)，xa(k+2)，...，xan)
47、基于单点交叉公式，统计各种组合的自适应函数结果，不断优化自使用函数。
48、本专利技术一种分布式数本文档来自技高网...
【技术保护点】
1.一种分布式数据库构建系统，包括数据库需求分析模块、数据库分片系统、数据库分析模块以及数据库测试模块，其特征在于，所述数据库需求分析模块用于明确分布式数据库的具体需求，并根据需求分析数据的特性和访问模式，为后续的架构设计和技术选型提供依据，所述数据库分片系统用于将空间数据按照选定的分片策略进行分片，并将每个分片存储到不同的节点上，所述数据库分析模块用于对数据库的运行状态进行实时监控和日志分析，所述数据库测试模块用于对数据库系统的功能、性能和稳定性进行测试。
2.根据权利要求1所述的一种分布式数据库构建方法，其特征在于：包括以下步骤：
3.根据权利要求2所述的一种分布式数据库构建方法，其特征在于：所述S4中，根据数据的特性和业务需求，数据库分片系统通过水平分片以及垂直分片将大量的数据分散存储在多个节点上；
4.根据权利要求2所述的一种分布式数据库构建方法，其特征在于：所述S5中，数据库测试的故障恢复系统是为了保证系统的稳定性和可靠性，在分布式数据库在运行过程中因遇到各种故障，而导致数据受损时，能够自动检测和修复故障节点，并从备份中恢复数据。p>
5.根据权利要求1所述的一种分布式数据库构建方法，其特征在于：所述S5中，数据库测试的数据一致性维护系统是为了提高分布式数据库的可用性和容错性，在某个节点发生故障时，可以从其他节点恢复数据，同时，通过一致性维护系统保证数据库内部数据的一致性。
6.根据权利要求1所述的一种分布式数据库构建方法，其特征在于：所述S2中，STR算法进行分布式改造完成分布式索引构建包含以下步骤；
7.根据权利要求1所述的一种分布式数据库构建方法，其特征在于：所述步骤S3中，结合遗传算法优化并行计算框架任务分配包含以下步骤：
...【技术特征摘要】
1.一种分布式数据库构建系统，包括数据库需求分析模块、数据库分片系统、数据库分析模块以及数据库测试模块，其特征在于，所述数据库需求分析模块用于明确分布式数据库的具体需求，并根据需求分析数据的特性和访问模式，为后续的架构设计和技术选型提供依据，所述数据库分片系统用于将空间数据按照选定的分片策略进行分片，并将每个分片存储到不同的节点上，所述数据库分析模块用于对数据库的运行状态进行实时监控和日志分析，所述数据库测试模块用于对数据库系统的功能、性能和稳定性进行测试。
2.根据权利要求1所述的一种分布式数据库构建方法，其特征在于：包括以下步骤：
3.根据权利要求2所述的一种分布式数据库构建方法，其特征在于：所述s4中，根据数据的特性和业务需求，数据库分片系统通过水平分片以及垂直分片将大量的数据分散存储在多个节点上；
4.根据权利要...
【专利技术属性】
技术研发人员：吴军，王薇，韩旭，吕融望，付满仓，顾波涛，
申请(专利权)人：苏州苏高新数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。