一种针对分布式数据库的数据处理方法、装置及系统制造方法及图纸

本发明专利技术实施例提供了一种针对分布式数据库的数据处理方法、装置及系统。该方法应用于分布式数据库系统中的管理服务器，所述管理服务器中记录有针对目标文件的、分布式存储的多个子文件的文件标识，以及关于每一子文件的文件标识与该子文件所位于分片节点的对应关系；该方法包括：确定多个子文件中待迁移的子文件的目标文件标识；基于目标文件标识以及对应关系，确定待迁移的子文件所位于的分片节点，作为初始节点；将初始节点中的具有目标文件标识的子文件，迁移至扩容节点，扩容节点为系统扩容时在分布式数据系统中预先增设的分片节点。通过本方案，可以解决分布式数据库扩容过程中计算开销和日志开销较大的问题。计算开销和日志开销较大的问题。计算开销和日志开销较大的问题。

【技术实现步骤摘要】
一种针对分布式数据库的数据处理方法、装置及系统


[0001]本专利技术涉及数据处理
，特别是涉及一种针对分布式数据库的数据处理方法、装置及系统。

技术介绍

[0002]在分布式数据库系统中，管理服务器将任一文件分布存储于多个分片节点，这样形成了逻辑文件+分区文件的存储形式。例如：表格文件分布存储于多个分片节点，每个分片节点中存储有表格文件的部分文件内容。
[0003]弹性扩容是分布式数据库系统必备的基础功能。其中，在分布式数据库系统中增设扩容节点后，即增加新的分片节点后，将文件的数据内容进行数据重分布，以完成扩容，具体而言：将至少一个分片节点中的文件的数据内容，迁移至新增加的扩容节点中。
[0004]相关技术中，管理服务器在确定出用于筛选待迁移数据的查询条件后，从分片节点中按照行级来读取满足查询条件的数据，进而将读取到的数据写入到新增加的扩容节点中。
[0005]可见，由于按照行级来读取满足查询条件的数据，因此，导致扩容过程中的计算开销和日志开销较大。

技术实现思路

[0006]本专利技术实施例的目的在于提供一种针对分布式数据库的数据处理方法、装置及系统，以解决现有技术扩容过程中计算开销和日志开销较大的问题，同时对分布式数据库系统进行灵活扩容，避免硬件资源的浪费。具体技术方案如下：
[0007]本专利技术实施例的目的在于提供一种针对分布式数据库的数据处理方法、装置及系统，以解决现有技术扩容过程中计算开销和日志开销较大的问题。具体技术方案如下：
[0008]第一方面，本专利技术实施例提供了一种针对分布式数据库的数据处理方法，应用于分布式数据库系统中的管理服务器，所述管理服务器中记录有针对目标文件的、分布式存储的多个子文件的文件标识，以及关于每一子文件的文件标识与该子文件所位于分片节点的对应关系；所述方法包括：
[0009]确定所述多个子文件中待迁移的子文件的目标文件标识；
[0010]基于所述目标文件标识以及所述对应关系，确定所述待迁移的子文件所位于的分片节点，作为初始节点；
[0011]将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点，所述扩容节点为系统扩容时在所述分布式数据系统中预先增设的分片节点。
[0012]可选地，所述将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点的步骤之后，所述方法还包括：
[0013]将所述对应关系中所述目标文件标识所对应的分片节点，更改为所述扩容节点。
[0014]可选地，所述将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容
节点，包括：
[0015]向所述初始节点发送针对具有所述目标文件标识的子文件的迁移指令，以使所述初始节点在接收到所述迁移指令后，确定具有所述文件标识的子文件待迁移至的扩容节点，通过文件传输方式，将具有所述目标文件标识的子文件传输至所述扩容节点。
[0016]可选地，所述方法还包括：在具有所述目标文件标识的子文件传输完成后，检测所述初始节点中具有所述目标文件标识的子文件，相对于所述扩容节点中的具有所述目标文件标识的子文件，是否存在增量数据；
[0017]若存在增量数据，则将增量数据写入到所述初始节点中的具有所述目标文件标识的子文件中。
[0018]可选地，所述确定所述多个文件中待迁移的子文件的目标文件标识，包括：
[0019]按照负载均衡的原则，确定待迁移出子文件的目标分片节点，以及从所述目标分片节点中待迁移出子文件的目标数量；
[0020]从所述对应关系中，确定所述目标分片节点对应的文件标识，从所确定出文件标识中选取所述目标数量个文件标识，得到所述多个子文件中待迁移的子文件的目标文件标识。
[0021]可选地，所述方法还包括：在接收到针对所述目标文件的访问请求后，按照预定的文件拆分规则，确定所述访问请求待访问的子文件的文件标识，作为待利用标识；其中，所述文件拆分规则为用于将所述目标文件拆分为分布存储的所述多个子文件的规则；
[0022]向所述对应关系中所述待利用标识对应的分片节点，下发事务处理请求，以使所述待利用标识对应的分片节点响应所述事务处理请求；
[0023]其中，所述事务处理请求用于对具有所述待利用标识的子文件执行所述访问请求中的请求内容。
[0024]第二方面，本专利技术实施例提供了一种分布式数据库系统，包括：管理服务器和多个分片节点，其中，所述管理服务器中记录有针对目标文件的、分布式存储的多个子文件的文件标识，以及关于每一子文件的文件标识与该子文件所位于分片节点的对应关系；
[0025]每一分片节点，用于存储针对所述目标文件的子文件；
[0026]所述管理服务器，用于确定所述多个子文件中待迁移的子文件的目标文件标识；基于所述目标文件标识以及所述对应关系，确定所述待迁移的子文件所位于的分片节点，作为初始节点；将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点，所述扩容节点为系统扩容时在所述分布式数据系统中预先增设的分片节点。
[0027]可选地，所述管理服务器还用于：
[0028]在将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点之后，将所述对应关系中所述目标文件标识所对应的分片节点，更改为所述扩容节点。
[0029]可选地，所述管理服务器将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点，具体为：
[0030]向所述初始节点发送针对具有所述目标文件标识的子文件的迁移指令；
[0031]所述初始节点，还用于在接收到所述迁移指令后，确定具有所述目标文件标识的子文件待迁移至的扩容节点，通过文件传输方式，将具有所述目标文件标识的子文件传输至所述扩容节点。
[0032]可选地，所述管理服务器还用于：
[0033]在具有所述目标文件标识的子文件传输完成后，检测所述初始节点中具有所述目标文件标识的子文件，相对于所述扩容节点中的具有所述目标文件标识的子文件，是否存在增量数据；
[0034]若存在增量数据，则将增量数据写入到所述扩容节点中的具有所述目标文件标识的子文件中。
[0035]可选地，所述管理服务器确定所述多个子文件中待迁移的子文件的目标文件标识，具体为：
[0036]按照负载均衡的原则，确定待迁移出子文件的目标分片节点，以及从所述目标分片节点中待迁移出子文件的目标数量；
[0037]从所述对应关系中，确定所述目标分片节点对应的文件标识，从所确定出文件标识中选取所述目标数量个文件标识，得到所述多个子文件中待迁移的子文件的目标文件标识。
[0038]可选地，所述管理服务器还用于：
[0039]在接收到针对所述目标文件的访问请求后，按照预定的文件拆分规则，确定所述访问请求待访问的子文件的文件标识，作为待利用标识；向所述对应关系中所述待利用标识对应的分片节点，下发事务处理请求；其中，所述文件拆分规则为用于将所述目标文件拆分为分布存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对分布式数据库的数据处理方法，其特征在于，应用于分布式数据库系统中的管理服务器，所述管理服务器中记录有针对目标文件的、分布式存储的多个子文件的文件标识，以及关于每一子文件的文件标识与该子文件所位于分片节点的对应关系；所述方法包括：确定所述多个子文件中待迁移的子文件的目标文件标识；基于所述目标文件标识以及所述对应关系，确定所述待迁移的子文件所位于的分片节点，作为初始节点；将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点，所述扩容节点为系统扩容时在所述分布式数据系统中预先增设的分片节点。2.根据权利要求1所述的方法，其特征在于，所述将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点的步骤之后，所述方法还包括：将所述对应关系中所述目标文件标识所对应的分片节点，更改为所述扩容节点。3.根据权利要求1或2所述的方法，其特征在于，所述将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点，包括：向所述初始节点发送针对具有所述目标文件标识的子文件的迁移指令，以使所述初始节点在接收到所述迁移指令后，确定具有所述目标文件标识的子文件待迁移至的扩容节点，通过文件传输方式，将具有所述目标文件标识的子文件传输至所述扩容节点。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在具有所述目标文件标识的子文件传输完成后，检测所述初始节点中具有所述目标文件标识的子文件，相对于所述扩容节点中的具有所述目标文件标识的子文件，是否存在增量数据；若存在增量数据，则将增量数据写入到所述扩容节点中的具有所述目标文件标识的子文件中。5.根据权利要求1或2所述的方法，其特征在于，所述确定所述多个文件中待迁移的子文件的目标文件标识，包括：按照负载均衡的原则，确定待迁移出子文件的目标分片节点，以及从所述目标分片节点中待迁移出子文件的目标数量；从所述对应关系中，确定所述目标分片节点对应的文件标识，从所确定出文件标识中选取所述目标数量个文件标识，得到所述多个子文件中待迁移的子文件的目标文件标识。6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：在接收到针对所述目标文件的访问请求后，按照预定的文件拆分规则，确定所述访问请求待访问的子文件的文件标识，作为待利用标识；其中，所述文件拆分规则为用于将所述目标文件拆分为分布存储的所述多个子文件的规则；向所述对应关系中所述待利用标识对应的分片节点，下发事务处理请求，以使所述待利用标识对应的分片节点响应所述事务处理请求；其中，所述事务处理请求用于对具有所述待利用标识的子文件执行所述访问请求中的请求内容。7.一种分布式数据库系统，其特征在于，包括：管理服务器和多个分片节点，其中，所述管理服务器中记录有针对目标文件的、分布式存储的多个子文件的文件标识，以及关于每
一子文件的文件标识与该子文件所位于分片节点的对应关系；每一分片节点，用于存储针对所述目标文件的子文件；所述管理服务器，用于确定所述多个子文件中待迁移的子文件的目标文件标识；基于所述目标文件标识以及所述对应关系，确定所述待迁移的子文件所位于的分片节点，作为初始节点；将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点，所述扩容节点为系统扩容时在所述分布式数据系统中预先增设的分片节点。8.根据...

【专利技术属性】
技术研发人员：王天宇，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：