分布式数据库的数据存储传输方法和装置以及存储介质制造方法及图纸

技术编号:24176396 阅读:32 留言:0更新日期:2020-05-16 04:48
本申请提供了分布式数据库的数据存储传输方法和装置以及非瞬时性计算机可读存储介质。该分布式数据库的数据存储传输方法包括:接收数据写入请求,并根据所述数据写入请求确定待写入数据的主副本所处的第一数据节点以及所述第一数据节点的第一网络模式;向所述第一数据节点发送所述待写入数据,并在所述第一数据节点在所述第一网络模式下写入所述待写入数据,以作为所述主副本;根据所述数据写入请求确定所述待写入数据的次副本所处的第二数据节点以及所述第二数据节点的第二网络模式,其中所述第二数据节点与所述第一数据节点处于不同地域,所述第二网络模式不同于所述第一网络模式;指示所述第一数据节点向所述第二数据节点在所述第二网络模式下发送所述待写入数据,并在所述第二数据节点在所述第二网络模式下写入所述待写入数据,以作为所述次副本。

【技术实现步骤摘要】
分布式数据库的数据存储传输方法和装置以及存储介质
本申请涉及数据库存储
,尤其涉及分布式数据库的数据存储传输方法和装置以及非瞬时性计算机可读存储介质。
技术介绍
分布式数据库系统自出现以来已获得了越来越广泛的应用。目前,越来越多的企业均采用分布式数据库系统来建立自己的数据库或企业内部的管理或服务等系统。分布式数据库系统通常采用多台计算机作为其中的节点,每台计算机可在物理上单独放置,也就是说,不同的节点可位于不同位置或地域。分布式数据库系统中的每个节点中都可能具有数据库管理系统的一份完整拷贝副本,或者部分拷贝副本,并具有自己局部的数据库。
技术实现思路
本申请提供了分布式数据库的数据存储传输方法和装置以及非瞬时性计算机可读存储介质。根据本申请的第一方面,提供了一种分布式数据库的数据存储传输方法,包括:接收数据写入请求,并根据所述数据写入请求确定待写入数据的主副本所处的第一数据节点以及所述第一数据节点的第一网络模式;向所述第一数据节点发送所述待写入数据,并在所述第一数据节点在所述第一网络模式下写入所述待写入数据,以作为所述主副本;根据所述数据写入请求确定所述待写入数据的次副本所处的第二数据节点以及所述第二数据节点的第二网络模式,其中所述第二数据节点与所述第一数据节点处于不同地域,所述第二网络模式不同于所述第一网络模式;指示所述第一数据节点向所述第二数据节点在所述第二网络模式下发送所述待写入数据,并在所述第二数据节点在所述第二网络模式下写入所述待写入数据,以作为所述次副本。根据本申请的第二方面,提供了一种装置,包括:处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述处理器执行时,使得所述处理器实现如上所述的任一种方法。根据本申请的第三方面,提供了一种非瞬时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时,使得所述处理器实现如上所述的任一种方法。附图说明通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:图1示出了根据本申请一个实施方式的分布式数据库的数据存储传输方法的流程图;图2示出了根据本申请一个实施方式根据数据写入请求确定待写入数据的主副本所处的第一数据节点以及第一数据节点的第一网络模式的流程图;图3示出了根据本申请一个实施方式根据数据写入请求确定待写入数据的次副本所处的第二数据节点以及第二数据节点的第二网络模式的流程图;图4示出了根据本申请一个实施方式在第一数据节点在第一网络模式下写入待写入数据的流程图;图5示出了根据本申请一个实施方式指示第一数据节点向第二数据节点在第二网络模式下发送待写入数据的流程图;图6示出了根据本申请另一实施方式的分布式数据库的数据存储传输方法的流程图;图7示出了根据本申请一个实施方式的分布式数据库的系统架构示意图。具体实施方式以下参照附图对本申请的实施方式进行详细描述。应注意,以下描述仅仅是示例性的,而并不旨在限制本申请。此外,在以下描述中,将采用相同的附图标号表示不同附图中的相同或相似的部件。在以下描述的不同实施方式中的不同特征,可彼此结合,以形成本申请范围内的其他实施方式。图1示出了根据本申请一个实施方式的分布式数据库的数据存储传输方法的流程图。如图1所示,该方法100可包括步骤S110至S140。在步骤S110中,接收数据写入请求,并根据数据写入请求确定待写入数据的主副本所处的第一数据节点以及第一数据节点的第一网络模式。当用户需要向分布式数据库中写入数据时,可发出数据写入请求(例如,可以是初次保存数据文件的某个物理单元,也可以是对数据文件的某个物理单元进行的修改)。基于该数据写入请求,数据库管理系统可确定待写入数据的主副本所处的第一数据节点。当该数据是初次写入时,可为其主副本分配用于存储的第一数据节点;当该数据是对某个已存在于分布式数据库系统内的物理单元的修改内容时,则可确定原物理单元的主副本的存储位置,即,位于哪个数据节点。此外,还需要确定该第一数据节点的网络模式。对于待写入数据的主副本,可采用第一数据节点所支持的第一网络模式进行数据的写入。根据一个实施例,第一数据节点所支持的第一网络模式可以是低延时网络模式,例如,RDMA(RemoteDirectMemoryAccess:远程直接数据存取)网络模式。RDMA网络模式是为降低网络传输中数据处理的延迟而设计,需要专属硬件,在高质量网络环境下效率高,但跨地域等低质量网络下数据传输效率低。随后,在步骤S120中,向第一数据节点发送待写入数据,并在第一数据节点在第一网络模式下写入待写入数据,以作为主副本。也就是说,在第一数据节点支持低延时网络模式的情况下,可大大提高待写入数据的主副本的数据传输和写入效率。在步骤S130中,根据数据写入请求确定待写入数据的次副本所处的第二数据节点以及第二数据节点的第二网络模式。在本实施方式中,第二数据节点与第一数据节点处于不同地域,且第二网络模式不同于第一网络模式。在写入了主副本之后,为了保证数据的可靠性,可在分布式数据库系统中再为待写入数据保存次副本。根据数据写入请求,数据库管理系统可确定待写入数据的次副本所处的第二数据节点。当该数据是初次写入时,可为其次副本分配用于存储的第二数据节点;当该数据是对某个已存在于分布式数据库系统内的物理单元的修改内容时,则可确定原物理单元的次副本的存储位置,即,位于哪个数据节点。此外,还需要确定该第二数据节点的网络模式。对于待写入数据的次副本,可采用第二数据节点所支持的第二网络模式进行数据的写入。此外,由于主副本和次副本存储于不同地域的数据节点中,也就是说其数据复制是跨地域的。根据一个实施例,第二数据节点所支持的第二网络模式可以是高延时网络模式,例如,TCP/IP(TransmissionControlProtocol/InternetProtocol:传输控制协议/因特网互联协议)网络模式。TCP/IP网络模式是数据传输最基本的协议,通用性强,但并非针对高性能网络通信的场景设计,然而其在跨地域等低质量网络下数据传输效率相较RDMA网络模式高。随后,在步骤S140中,指示第一数据节点向第二数据节点在第二网络模式下发送待写入数据,并在第二数据节点在第二网络模式下写入待写入数据,以作为次副本。也就是说,在第二数据节点支持高延时网络模式的情况下,也可提高待写入数据的主副本和次副本之间的跨地域数据传输和写入效率。由此,在分布式数据库系统中对于一份数据,在不同的数据节点上分别存储有主副本和次副本,从而对于整个分布式数据库系统,可在不同地域具有完整的数据冗余,以提高数据的可靠性,实现异地容灾。为了提高数据库的可靠性,避免因数据中心级别灾害丢失用户数据,对于每一份数本文档来自技高网...

【技术保护点】
1.一种分布式数据库的数据存储传输方法,包括:/n接收数据写入请求,并根据所述数据写入请求确定待写入数据的主副本所处的第一数据节点以及所述第一数据节点的第一网络模式;/n向所述第一数据节点发送所述待写入数据,并在所述第一数据节点在所述第一网络模式下写入所述待写入数据,以作为所述主副本;/n根据所述数据写入请求确定所述待写入数据的次副本所处的第二数据节点以及所述第二数据节点的第二网络模式,其中所述第二数据节点与所述第一数据节点处于不同地域,所述第二网络模式不同于所述第一网络模式;/n指示所述第一数据节点向所述第二数据节点在所述第二网络模式下发送所述待写入数据,并在所述第二数据节点在所述第二网络模式下写入所述待写入数据,以作为所述次副本。/n

【技术特征摘要】
1.一种分布式数据库的数据存储传输方法,包括:
接收数据写入请求,并根据所述数据写入请求确定待写入数据的主副本所处的第一数据节点以及所述第一数据节点的第一网络模式;
向所述第一数据节点发送所述待写入数据,并在所述第一数据节点在所述第一网络模式下写入所述待写入数据,以作为所述主副本;
根据所述数据写入请求确定所述待写入数据的次副本所处的第二数据节点以及所述第二数据节点的第二网络模式,其中所述第二数据节点与所述第一数据节点处于不同地域,所述第二网络模式不同于所述第一网络模式;
指示所述第一数据节点向所述第二数据节点在所述第二网络模式下发送所述待写入数据,并在所述第二数据节点在所述第二网络模式下写入所述待写入数据,以作为所述次副本。


2.如权利要求1所述的方法,其中接收数据写入请求,并根据所述数据写入请求确定待写入数据的主副本所处的第一数据节点以及所述第一数据节点的第一网络模式包括:
根据所述数据写入请求创建或查询数据路由表,所述数据路由表记录所述待写入数据的所述主副本和所述次副本所处的数据节点和所述数据节点的网络模式;
根据所述数据路由表,确定所述主副本所处的第一数据节点以及所述第一数据节点的第一网络模式。


3.如权利要求2所述的方法,其中根据所述数据写入请求确定所述待写入数据的次副本所处的第二数据节点以及所述第二数据节点的第二网络模式包括:
根据所述数据写入请求查询所述数据路由表;
根据所述数据路由表,确定所述次副本所处的第二数据节点以及所述第二数据节点的第二网络模式。


4.如权利要求1所述的方法,其中向所述第一数据节点发送所述待写入数据,并在所述第一数据节点在所述第一网络模式下写入所述待写入数据,以作为所述主副本包括:
检测所述第一数据节点是...

【专利技术属性】
技术研发人员:尹亮赵钊
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛;KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1