数据处理方法、相关装置及设备制造方法及图纸

本申请实施例公开了数据处理方法、相关装置及设备，用于提升数据恢复后系统的性能。本申请实施例方法包括：获取行数据集合的位置信息集合，行数据集合包括热数据，位置信息集合包括热数据对应的第一位置信息，热数据的访问频率高于行数据集合中其他数据的访问频率；获取数据恢复指令，数据恢复指令用于指示恢复行数据集合中的数据；响应数据恢复指令，根据第一位置信息，将热数据加载到内存中。将热数据加载到内存中。将热数据加载到内存中。

【技术实现步骤摘要】
数据处理方法、相关装置及设备


[0001]本申请实施例涉及计算机领域，尤其涉及数据处理方法、相关装置及设备。

技术介绍

[0002]内存数据库是将数据全部直接存放在内存中的数据库，相较于将数据存放在磁盘中的方案，能够显著提升访问速度。但是由于存储介质本身的易失性，掉电或者数据库重启之后，内存数据会丢失。如何进行数据恢复成为了亟待解决的问题。
[0003]一种数据处理的方法中，在执行检查点操作时，备份行数据在日志“副本”中的位置信息，在数据恢复时，基于日志，把数据库中所有行数据的位置信息完整恢复出来。在系统运行时，基于这些位置信息，在运行时加载行数据。
[0004]在这种方法中，在数据恢复时，恢复的是行数据的位置信息，在系统运行时才加载行数据，导致数据恢复后，系统可用的性能不高。

技术实现思路

[0005]本申请实施例提供了数据处理方法、相关装置及设备，将访问频率高的行数据定义为热数据，在执行检查点操作时，备份所有行数据的位置信息。在数据恢复时，根据热数据的第一位置信息，将热数据加载到内存中，从而热数据不需要在运行时加载。结合齐夫分布可知，大部分的业务都是基于对少部分的数据(热数据)访问实现的。因此本申请实施例提供的数据恢复方法通过保证访问热数据的业务的性能，提升了数据恢复后系统的性能。
[0006]本申请实施例第一方面提供了一种数据处理方法，包括：
[0007]在内存数据库中，存储至少一个行数据，这至少一个行数据包含于行数据集合中。在执行检查点操作时，网络设备获取行数据集合对应的位置信息集合，该位置信息集合中的位置信息与行数据集合中的行数据一一对应，位置信息指示行数据在日志中的位置。行数据集合中包括热数据，热数据的访问频率高于行数据集合中其他数据的访问频率，位置信息集合中包括行数据对应的第一位置信息。在内存数据库发生故障的情况下，第一网络设备能够获取数据恢复指令，该数据恢复指令用于指示恢复行数据集合中的数据。网络设备会响应数据恢复指令，根据第一位置信息，将热数据加载到内存中。使得数据恢复之后，可以直接在内存中访问到热数据。
[0008]从以上技术方案可以看出，本申请实施例具有以下优点：
[0009]将访问频率高的行数据定义为热数据，在执行检查点操作时，备份所有行数据的位置信息。在数据恢复时，根据热数据的第一位置信息，将热数据加载到内存中，从而热数据不需要在运行时加载。结合齐夫分布可知，大部分的业务都是基于访问少部分的数据(热数据)实现的。因此本申请实施例提供的数据恢复方法通过保证访问热数据的业务的性能，提升了数据恢复后系统的性能。
[0010]在第一方面的一些可选的实施例中，在获取行数据集合的位置信息集合之前，方法还包括：记录行数据集合中每个行数据的热度信息，该热度信息用于指示每个行数据的
访问频率。
[0011]本申请实施例中，通过记录热度信息反映行数据的访问频率，为确定行数据集合中的热数据提供了依据，提升了技术方案的可实现性。
[0012]在第一方面的一些可选的实施例中，热度信息包括访问次数，记录行数据集合中每个行数据的热度信息，包括：获取第一数据访问请求，第一数据访问请求指示访问行数据集合中的第一目标行数据。然后根据第一数据访问请求，增加第一目标行数据对应的访问次数。本申请实施例中，记录访问次数的方式有多种情况，可以设置频度计数器、过期时间、和/或定时器都能够方式，记录访问次数，具体此处不做限定。
[0013]本申请实施例中，提供了多种获取热度信息的方式，在实际应用中，可以灵活选择，提升了本申请技术方案的灵活性和实用性。
[0014]在第一方面的一些可选的实施例中，方法还包括：网络设备还可以提供热度阈值配置接口，通过热度阈值配置接口获取用户输入的热度阈值。热度阈值可以指示热数据在行数据集合中的占比，也可以指示热数据对应的访问次数的最小值，具体此处不做限定。在一些可选的实施例中，热度阈值还可以根据应用类型设置，或者由研发/测试人员设置，具体此处不做限定。网络设备可以根据热度信息和热度阈值，从行数据集合中确定热数据。
[0015]本申请实施例中，可以由用户设置热度阈值，增强了用户体验。此外，热度阈值有多种定义方式，可以根据实际应用的需要选择，进一步提升了本申请技术方案的灵活性。
[0016]在第一方面的一些可选的实施例中，其他数据包括冷数据，位置信息集合中还包括冷数据对应的第二位置信息。在数据恢复完后，也即在将热数据加载到内存中之后，本申请还可以执行数据访问过程。具体来说，网络设备可以获取来自于终端设备的第二数据访问请求，第二数据访问请求指示访问行数据集合中的第二目标行数据。根据第二目标行数据对应的不同数据类型，基于不同的方式访问第二目标行数据。若第二目标行数据为热数据，则在内存中访问热数据；若第二目标行数据为冷数据，则根据第二位置信息加载冷数据。其中，访问第二目标行数据，除了包括对第二目标行数据进行读或写操作之外，还可以包括对第二目标行数据进行其他的操作，例如，修改第二目标行数据的内容等，具体此处不做限定。
[0017]本申请实施例中，将内存数据库中的行数据集合分为热数据和冷数据，在数据恢复过程中对不同的数据进行不同的处理，访问频率高的热数据预先记载到内存中，在访问热数据时可以直接在内存中访问，保证了系统有良好的性能表现。访问频率低的冷数据则备份为位置信息，在访问冷数据时，根据位置信息在运行时加载，减少了内存数据库整体的数据恢复时间。
[0018]本申请实施例第二方面提供了一种数据处理方法，该方法应用于第一网络设备，第一网络设备包含于数据处理系统，数据处理系统还包括第二网络设备，方法包括：
[0019]获取热检查点信息，热检查点信息对应于行数据集合中的热数据，热数据的访问频率高于行数据集合中其他数据的访问频率；并向第二网络设备发送热检查点信息，以使第一网络设备故障后，基于第二网络设备访问热数据。
[0020]本申请实施例中，第一网络设备向第二网络设备同步的是热检查点信息而不是日志信息，使得第一网络设备和第二网络设备的同步速度相匹配，更符合实际应用的需要，也提升了本申请技术方案的实用性。
[0021]在第二方面的一些可选的实施例中，热检查点信息包括热数据，使得第二网络设备收到该热数据之后，将热数据存储至内存中。
[0022]在第二方面的一些可选的实施例中，热检查点信息包括热数据对应的位置信息，该位置信息用于指示热数据在日志中的位置，使得第二网络设备收到该位置信息之后，会根据该位置信息将热数据加载至内存中。
[0023]本申请实施例中，热检查点的信息有多种，可以根据实际应用的需要确定，提升了技术方案的灵活性。
[0024]在第二方面的一些可选的实施例中，在第一网络设备没有故障的情况下，第一网络设备可以还执行前述第一方面的方法。相关有益效果与第一方面类似，详见第一方面所示，此处不再赘述。
[0025]本申请实施例第三方面提供了一种数据处理方法，该方法应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取行数据集合的位置信息集合，所述行数据集合包括热数据，所述位置信息集合包括所述热数据对应的第一位置信息，所述热数据的访问频率高于所述行数据集合中其他数据的访问频率；获取数据恢复指令，所述数据恢复指令用于指示恢复所述行数据集合中的数据；响应所述数据恢复指令，根据所述第一位置信息，将所述热数据加载到内存中。2.根据权利要求1所述的方法，其特征在于，在所述获取行数据集合的位置信息集合之前，所述方法还包括：记录所述行数据集合中每个行数据的热度信息，所述热度信息用于指示所述每个行数据的访问频率。3.根据权利要求2所述的方法，其特征在于，所述热度信息包括访问次数，所述记录所述行数据集合中每个行数据的热度信息，包括：获取第一数据访问请求，所述第一数据访问请求指示访问所述行数据集合中的第一目标行数据；根据所述第一数据访问请求，增加所述第一目标行数据对应的访问次数。4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：提供热度阈值配置接口，所述热度阈值配置接口用于获取用户输入的热度阈值；根据所述热度信息和所述热度阈值，从所述行数据集合中确定所述热数据。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述其他数据包括冷数据，所述位置信息集合还包括所述冷数据对应的第二位置信息；在所述将所述热数据加载到内存中之后，所述方法还包括：获取来自于终端设备的第二数据访问请求，所述第二数据访问请求指示访问所述行数据集合中的第二目标行数据；若所述第二目标行数据为所述热数据，则在所述内存中访问所述热数据；若所述第二目标行数据为所述冷数据，则根据所述第二位置信息加载所述冷数据。6.一种数据处理方法，其特征在于，所述方法应用于第一网络设备，所述第一网络设备包含于数据处理系统，所述数据处理系统还包括第二网络设备，所述方法包括：获取热检查点信息，所述热检查点信息对应于行数据集合中的热数据，所述热数据的访问频率高于所述行数据集合中其他数据的访问频率；向第二网络设备发送所述热检查点信息，以使所述第一网络设备故障后，基于第二网络设备访问所述热数据。7.根据权利要求6所述的方法，其特征在于，所述热检查点信息包括所述热数据。8.根据权利要求6所述的方法，其特征在于，所述热检查点信息包括所述热数据对应的位置信息，所述位置信息用于指示所述热数据在日志中的位置。9.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括第一网络设备和第二网络设备，所述方法包括：所述第一网络设备获取热检查点信息，所述热检查点信息对应于行数据集合中的热数据，所述热数据的访问频率高于所述行数据集合中其他数据的访问频率；所述第一网络设备向所述第二网络设备发送所述热检查点信息；
所述第二网络设备根据所述热检查点信息，在内存中加载所述热数据；若所述第一网络设备故障，所述第二网络设备接收数据访问请求，所述数据访问请求指示访问所述热数据；所述第二网络设备响应所述数据访问请求，在内存中访问所述热数据。10.一种网络设备，其特征在于，包括：获取单元，用于获取行数据集合的位置信息集合，所述行数据集合包括热数据，所述位置信息集合包括所述热数据对应的第一位置信息，所述热数据的访问频率高于所述行数据集合中其他数据的访问...

【专利技术属性】
技术研发人员：李梁，张文亮，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：