一种分布式内存数据库管理系统技术方案

本发明专利技术公开了一种分布式内存数据库管理系统，涉及数据库管理技术领域，包括数据库创建单元，数据库创建单元针对所需要的字段进行确认，并且对数据库的字段名称规范化命名，添加必要的约束条件，然后根据字段创建数据库，数据库操作单元，数据库操作单元通过命令向表中添加记录，或者对已插入的记录进行删除，通过查询操作查看我们需要的记录，同时也可以对表名更改的操作、对表中字段名更改的操作和对表中已经插入的记录更改的操作。本发明专利技术通过元数据管理节点模块302从源端数据库同步系统初始化日志读取线程、日志解析线程和日志缓存线程，在元数据管理节点下运行模式下。在元数据管理节点下运行模式下。在元数据管理节点下运行模式下。

【技术实现步骤摘要】
一种分布式内存数据库管理系统


[0001]本专利技术涉及数据库管理
，具体为一种分布式内存数据库管理系统。

技术介绍

[0002]目前，数据库是一个大型的数据集成的集合,数据库主要由实体和关系构成，数据管理是指如何对数据进行分类、组织、编码、存储、检索和维护，是数据处理的中心问题，数据管理经历了从人工管理到文件系统到数据库系统的三个阶段，主要功能包括数据定义、数据查询、数据更新、数据删除、数据备份和恢复等，它们的实现依赖于一个或多个文件，这些文件存储了所有数据，每个文件有自己的结构，以及关键字段和索引等特性，以便于快速检索和处理数据，数据库管理系统是一个非常强大的计算机工具，可以帮助组织和管理大量的数据，它既可以在企业级系统中使用，也可以用于小型工具和应用程序中，因此，数据库管理系统的重要性日益增长，并且成为当今计算机
中的必需工具之一；
[0003]尽管如此，数据库管理系统仍然存在数据库异步存储，单个工作线程将要写入数据库的记录放在某个指定的缓冲区，等待缓冲区的记录取出，才能再次向数据库写入数据，导致数据库管理系统处理数据的效率低下，同时存在每个节点是同步但是不独立的，同步的事务不分散，同步的数据不是整体、一致的，没有办法并发处理导致无法提升同步整体的性能。

技术实现思路

[0004]本专利技术的目的在于提供一种分布式内存数据库管理系统，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种分布式内存数据库管理系统，包括数据库创建单元，所述数据库创建单元针对所需要的字段进行确认，并且对数据库的字段名称规范化命名，添加必要的约束条件，然后根据字段创建数据库；
[0006]数据库操作单元，所述数据库操作单元通过命令向表中添加记录，或者对已插入的记录进行删除，通过查询操作查看我们需要的记录，同时也可以对表名更改的操作、对表中字段名更改的操作和对表中已经插入的记录更改的操作；
[0007]数据库同步单元，所述数据库同步单元在源端数据库部署源端数据同步系统，在目标端部署目标端数据同步系统，分别在元数据管理节点和数据节点运行模式下，对源端数据同步至系统进行初始化，并将这些解析包操作应用到目标端数据库；
[0008]数据库异步单元，所述数据库异步单元开启多个工作线程及对应的缓冲队列，收到数据库信息，将数据库语句放入缓冲队列后，并且通过异步算法写入数据库系统。
[0009]优选的，所述数据库创建单元包括数据库字段确认模块、数据库名称规范模块、数据库约束模块和数据库创建模块，所述数据库字段确认模块在创建数据库之前，针对该表所需要的字段拟出来并且对所需要的字段进行确认，所述数据库名称规范模块对于确定好的字段，需要规范，所述数据库约束模块包括为主键约束、唯一约束、检查约束、默认约束和
外键约束，所述主键约束保证数据的唯一性，并且主键列数据不能为空，所述唯一约束保证数据的唯一性，唯一约束列可以为空，所述检查约束保证数据的有效性，让值在有效范围内取值，对该列数据的范围、格式的限制，所述默认约束保证数据的完整性，如果没有填入信息时，会使用默认的信息填入，保证数据的完整性，所述外键约束需要建立两表间的关系并引用主表的列，保证数据的完整性互相依赖的数据不能丢失。
[0010]优选的，所述数据库操作单元包括数据库插入模块和数据库删除模块，所述数据库插入模块通过CREATE TABLE TABLENAME(字段名1类型，字段名2类型
……
)创建表，再通过INSERT命令向表中插入记录操作，所述数据库删除模块通过DROP命令对整张表进行删除，通过DELETE可以删除已插入的记录，在不需要此条记录的情况下进行删除。
[0011]优选的，所述数据库操作单元还包括数据库更新模块和数据库查看模块，所述数据库更新模块通过UPDATE命令对表名更改的操作、对表中字段名更改的操作和对表中已经插入的记录更改的操作，所述数据库查看模块通过DESC命令查询数据库中是不是有这张表，通过QUERY命令查询这张表中有没有需要的记录。
[0012]优选的，所述数据库同步单元包括源端数据同步模块和元数据管理节点模块，所述源端数据同步模块在源端数据库部署源端数据同步系统，在目标端部署目标端数据同步系统，所述元数据管理节点模块从源端数据库同步系统初始化日志读取线程、日志解析线程和日志缓存线程，在元数据管理节点下运行模式下。
[0013]优选的，所述数据库同步单元还包括数据节点运行模块和应用目标数据库模块，所述数据节点运行模块从源端数据库同步系统初始化日志读取线程、日志解析线程和日志缓存线程，将日志打包发送到目标端数据同步系统，在数据节点运行模式下，所述应用目标数据库模块收到从源端数据库发送过来的数据后解包，并将解包后的数据应用到目标数据库。
[0014]优选的，所述数据库异步单元包括开启模块和接收模块，所述开启模块根据对应的缓冲队伍开启多个工作线程，所述接收模块用数据库语句放入缓冲队列中并将其放入数据库接收数据库的信息。
[0015]优选的，所述数据库异步单元还包括生成模块和写入模块，所述生成模块根据数据库的信息生成对应的数据库语句，所述写入模块通过控制工作线程将数据库语句从缓冲队列中取出，将控制数据库语句写入数据库系统。
[0016]异步算法包括分布式阶梯算法，分布式阶梯算法具体为：
[0017][0018]式中：p
k
代表计算节点k上数据点的索引的集合，n
k
代表计算节点个数，f
i
(w)代表每个计算节点的损失点；
[0019]异步算法包括异步界限分析算法，异步界限分析算法具体为：
[0020][0021]式中：H
u,k
代表异步数据库矩阵，代表伪异步数据库矩阵，(P
u,k|k
‑1)代表节点数矩阵。
[0022]与现有技术相比，本专利技术的有益效果是：
[0023]本专利技术通过数据库异步单元对数据进行异步存储，通过多个工作线程将要写入数据库的记录放在某个指定的缓冲区，不需要等待缓冲区的记录取出，可以再次向数据库写入数据，使数据库管理系统处理数据的效率提高，同时存在每个节点是同步独立的，同步的事务是分散的，同步的数据是一个整体、一致的，数据可以并发处理，可以提升同步整体的性能。
附图说明
[0024]图1为本专利技术的整体框图；
[0025]图2为本专利技术的数据库创建单元框图；
[0026]图3为本专利技术的数据库操作单元框图；
[0027]图4为本专利技术的数据库同步单元框图；
[0028]图5为本专利技术的数据库异步单元框图。
[0029]图中：1、数据库创建单元；101、数据库字段确认模块；102、数据库名称规范模块；103、数据库约束模块；104、数据库创建模块；2、数据库操作单元；201、数据库插入模块；202、数据库删除模块；203、数据库更新模块；204、数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式内存数据库管理系统，其特征在于：包括数据库创建单元(1)，所述数据库创建单元(1)针对所需要的字段进行确认，并且对数据库的字段名称规范化命名，添加必要的约束条件，然后根据字段创建数据库；数据库操作单元(2)，所述数据库操作单元(2)通过命令向表中添加记录，或者对已插入的记录进行删除，通过查询操作查看我们需要的记录，同时也可以对表名更改的操作、对表中字段名更改的操作和对表中已经插入的记录更改的操作；数据库同步单元(3)，所述数据库同步单元(3)在源端数据库部署源端数据同步系统，在目标端部署目标端数据同步系统，分别在元数据管理节点和数据节点运行模式下，对源端数据同步至系统进行初始化，并将这些解析包操作应用到目标端数据库；数据库异步单元(4)，所述数据库异步单元(4)开启多个工作线程及对应的缓冲队列，收到数据库信息，将数据库语句放入缓冲队列后，并且通过异步算法写入数据库系统。2.根据权利要求1所述的一种分布式内存数据库管理系统，其特征在于：所述数据库创建单元(1)包括数据库字段确认模块(101)、数据库名称规范模块(102)、数据库约束模块(103)和数据库创建模块(104)，所述数据库字段确认模块(101)在创建数据库之前，针对该表所需要的字段拟出来并且对所需要的字段进行确认，所述数据库名称规范模块(102)对于确定好的字段，需要规范，所述数据库约束模块(103)包括为主键约束、唯一约束、检查约束、默认约束和外键约束，所述主键约束保证数据的唯一性，并且主键列数据不能为空，所述唯一约束保证数据的唯一性，唯一约束列可以为空，所述检查约束保证数据的有效性，让值在有效范围内取值，对该列数据的范围、格式的限制，所述默认约束保证数据的完整性，如果没有填入信息时，会使用默认的信息填入，保证数据的完整性，所述外键约束需要建立两表间的关系并引用主表的列，保证数据的完整性互相依赖的数据不能丢失。3.根据权利要求1所述的一种分布式内存数据库管理系统，其特征在于：所述数据库操作单元(2)包括数据库插入模块(201)和数据库删除模块(202)，所述数据库插入模块(201)通过CREATE TABLE TABLENAME(字段名1类型，字段名2类型
……
)创建表，再通过INSERT命令向表...

【专利技术属性】
技术研发人员：付强，
申请(专利权)人：无锡数科云科技有限公司，
类型：发明
国别省市：