【技术实现步骤摘要】
本申请涉及信息技术(informat ion techno logy，i t)，尤其涉及一种数据处理方法、装置及计算设备。
技术介绍
1、为了避免主数据节点(data node，dn)上的数据丢失，常在备用数据节点(简称“备dn”)对数据进行备份。主dn和备dn之间主要通过预写日志(wr ite ahead logging，wal)进行数据备份。目前，在备dn长时间出现故障和/或主dn上的数据大量被修改后，在主dn上常会出现wal积压，进而引发主dn上的磁盘占用量过高。同时，由于wal需要线性回放，这使得在主dn上的wal积压过多时，备dn同步数据所耗费的时间过长。因此，如何解决主dn上wal积压问题是目前亟需解决的技术问题。
技术实现思路
1、本申请提供了一种数据处理方法、装置、计算设备、计算设备集群、计算机存储介质及计算机产品，能够解决主dn上wal积压问题。
2、第一方面，本申请提供一种数据处理方法，在备数据节点出现故障或者预设时长内主数据节点的数据库中数据的修改量大于预设值的情况下，主数据节点基于该主数据节点的生成的至少一个预写日志wal记录的操作事件，对该主数据节点的存储介质中数据出现变化的数据页进行识别；该主数据节点记录该主数据节点的存储介质中数据出现变化的数据页；主数据节点在将至少一个wal记录的操作事件写入到该主数据节点的存储介质中后，删除至少一个wal；在主数据节点和备数据节点间同步数据时，主数据节点将其自身记录的自身的存储介质中数据出现变化的数据页均
3、这样，不以时间顺序和事件去描述数据的变化，而是以数据页的方式描述数据的变化，使得可以通过一个数据页可以描述多个事件，并通过数据拷贝的方式进行数据备份，从而在确保可以进行数据备份的情况下解决了主数据节点中wal积压的问题。同时，通过数据拷贝的方式实现了主备数据节点间的数据同步，提升了数据备份的效率。示例性的，主数据节点也可以称之为主dn。
4、在一种可能的实现方式中，在备数据节点出现故障的情况下，至少一个wal为主数据节点在目标日志序列号lsn之后生成的wal，目标lsn为备数据节点已写入该备数据节点的存储介质的最新的wal的lsn。也即是说，在备数据节点故障后，主数据节点即已数据页的方式描述数据的变化，从而使得主数据节点中wal的大小始终维持在两个lsn之间，降低了主数据节点中wal所占的资源。
5、在一种可能的实现方式中，在备数据节点从故障中恢复，或者，用户完成对主数据节点的数据库中数据的修改后，主数据节点和备数据节点间需同步数据。
6、在一种可能的实现方式中，该方法还包括：在备数据节点从故障中恢复后，主数据节点停止对该主数据节点的存储介质中数据出现变化的数据页进行识别；主数据节点在将目标wal记录的操作事件写入到该主数据节点的存储介质中，且将目标wal发送至备数据节点后，删除目标wal，目标wal为主数据节点在备数据节点从故障中恢复后生成的wal。也即是说，在备数据节点从故障中恢复后，即可以继续采用原因的wal回放的方式进行数据同步。
7、在一种可能的实现方式中，该方法还包括：主数据节点在目标文件所关联的数据页对应的wal中记录的操作事件所描述的操作动作均为目标动作时，将目标文件的标识和基于目标动作生成的目标指令发送至备数据节点；其中，目标动作包括：新建、删除或清空，目标指令为新建目标文件、删除目标文件或清空目标文件。这样，在用户删除、新建或清空某个文件上时，可以在备份时快速使得备数据节点删除、新建或清空相应的文件，提升数据备份效率。
8、在一种可能的实现方式中，该方法还包括：主数据节点记录的该主数据节点的存储介质中数据出现变化的数据页所关联的文件的文件路径，和/或，记录该主数据节点的存储介质中数据出现变化且与同一文件关联的数据页对应的wal中记录的操作事件所描述的操作动作是否均为目标动作，目标动作包括：新建、删除或清空。由此以使得可以快速获知到数据页出现变化的文件的位置，和相应的文件是否被删除、新建或清空等。
9、在一种可能的实现方式中，主数据节点记录该主数据节点的存储介质中数据出现变化的数据页，具体包括：主数据节点通过位图记录该主数据节点的存储介质中数据出现变化的数据页。由此以节省存储空间。
10、第二方面，本申请提供一种数据处理装置，该装置可以部署于主数据节点。该装置包括：识别模块，用于在备数据节点出现故障或者预设时长内主数据节点的数据库中数据的修改量大于预设值的情况下，基于主数据节点生成的至少一个预写日志wal记录的操作事件，对主数据节点的存储介质中数据出现变化的数据页进行识别；记录模块，用于记录主数据节点的存储介质中数据出现变化的数据页；处理模块，用于在将至少一个wal记录的操作事件写入到主数据节点的存储介质中后，删除至少一个wal；同步模块，用于在主数据节点和备数据节点间需同步数据时，将记录模块记录的主数据节点的存储介质中数据出现变化的数据页均发送至备数据节点。
11、在一种可能的实现方式中，在备数据节点出现故障的情况下，至少一个wal为主数据节点在目标日志序列号lsn之后生成的wal，目标lsn为备数据节点已写入该备数据节点的存储介质的最新的wal的lsn。
12、在一种可能的实现方式中，在备数据节点从故障中恢复，或者，用户完成对主数据节点的数据库中数据的修改后，主数据节点和备数据节点间需同步数据。
13、在一种可能的实现方式中，记录模块，还用于在备数据节点从故障中恢复后，停止对主数据节点的存储介质中数据出现变化的数据页进行识别；处理模块，还用于在该处理模块将目标wal记录的操作事件写入到主数据节点的存储介质中，且同步模块将目标wal发送至备数据节点后，删除目标wal，目标wal为主数据节点在备数据节点从故障中恢复后生成的wal。
14、在一种可能的实现方式中，同步模块，还用于：在目标文件所关联的数据页对应的wal中记录的操作事件所描述的操作动作均为目标动作时，将目标文件的标识和基于目标动作生成的目标指令发送至备数据节点；其中，目标动作包括：新建、删除或清空，目标指令为新建目标文件、删除目标文件或清空目标文件。
15、在一种可能的实现方式中，记录模块，还用于：记录主数据节点的存储介质中数据出现变化的数据页所关联的文件的文件路径，和/或，记录主数据节点的存储介质中数据出现变化且与同一文件关联的数据页对应的wal中记录的操作事件所描述的操作动作是否均为目标动作，目标动作包括：新建、删除或清空。
16、在一种可能的实现方式中，记录模块在记录主数据节点的存储介质中数据出现变化的数据页时，具体用于：通过位图记录主数据节点的存储介质本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述备数据节点出现故障的情况下，所述至少一个WAL为所述主数据节点在目标日志序列号LSN之后生成的WAL，所述目标LSN为所述备数据节点已写入所述备数据节点的存储介质的最新的WAL的LSN。
3.根据权利要求1或2所述的方法，其特征在于，在所述备数据节点从故障中恢复，或者，用户完成对所述主数据节点的数据库中数据的修改后，所述主数据节点和所述备数据节点间同步数据。
4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1-6任一所述的方法，其特征在于，所述主数据节点记录所述主数据节点的存储介质中数据出现变化的数据页，具体包括：
8.一种数据处理装置，其特征在于，部署于主数据节点，包括：
9.根据权利要求8所述的装置，其特征在于，在所
10.根据权利要求8或9所述的装置，其特征在于，在所述备数据节点从故障中恢复，或者，用户完成对所述主数据节点的数据库中数据的修改后，所述主数据节点和所述备数据节点间同步数据。
11.根据权利要求8-10任一所述的装置，其特征在于，
12.根据权利要求8-11任一所述的装置，其特征在于，所述同步模块，还用于：
13.根据权利要求8-12任一所述的装置，其特征在于，所述记录模块，还用于：
14.根据权利要求8-13任一所述的装置，其特征在于，所述记录模块在记录所述主数据节点的存储介质中数据出现变化的数据页时，具体用于：
15.一种计算设备，其特征在于，包括：
16.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备均包括处理器和存储器；
17.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机程序指令由计算设备或计算设备集群执行时，所述计算设备或计算设备集群执行如权利要求1-7任一所述的方法。
18.一种包含指令的计算机程序产品，其特征在于，当所述指令被计算设备集群运行时，使得所述计算设备集群执行如权利要求的1-7任一所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述备数据节点出现故障的情况下，所述至少一个wal为所述主数据节点在目标日志序列号lsn之后生成的wal，所述目标lsn为所述备数据节点已写入所述备数据节点的存储介质的最新的wal的lsn。
3.根据权利要求1或2所述的方法，其特征在于，在所述备数据节点从故障中恢复，或者，用户完成对所述主数据节点的数据库中数据的修改后，所述主数据节点和所述备数据节点间同步数据。
4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1-6任一所述的方法，其特征在于，所述主数据节点记录所述主数据节点的存储介质中数据出现变化的数据页，具体包括：
8.一种数据处理装置，其特征在于，部署于主数据节点，包括：
9.根据权利要求8所述的装置，其特征在于，在所述备数据节点出现故障的情况下，所述至少一个wal为所述主数据节点在目标日志序列号lsn之后生成的wal，所述目标lsn为所述备数据节点已写...
【专利技术属性】
技术研发人员：周孟韬，张信用，高宏达，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。