数据处理方法、装置及电子设备、存储介质制造方法及图纸

本申请提供一种数据处理方法、装置及电子设备、存储介质。该方法包括：每隔预设时长，根据单位时间数据写请求量、单位时间数据读请求量、单位时间的写请求耗时、单位时间的读请求耗时、写请求平均耗时和读请求平均耗时，确定当前的缓存模式调整量；当缓存模式调整量大于预设调整量的情况下接收到数据读请求时，若缓存系统的数据处理状态为第一状态，则将接收到的数据读请求添加至待处理读请求列表，并在待处理读请求列表关联的数据写请求处理完成后，并行处理完成待处理读请求列表中的每个数据读请求。本申请的方法可以解决在写请求越来越多时，如何避免缓存系统频繁阻塞，从而提高数据处理的整体吞吐量的问题。据处理的整体吞吐量的问题。据处理的整体吞吐量的问题。

【技术实现步骤摘要】
数据处理方法、装置及电子设备、存储介质


[0001]本申请涉及数据交互技术，尤其涉及一种数据处理方法、装置及电子设备、存储介质。

技术介绍

[0002]互联网金融领域经常会涉及到大量数据的交互，该大量数据通常存储在关系型数据库中。随着数据量的不断增大，数据的读请求和写请求的处理速度越来越慢，因此引入缓存技术来提高读请求和写请求的处理速度。
[0003]但是，当写请求越来越多时，目前的缓存技术存在缓存系统频繁阻塞的问题。具体的原因是：每当有写请求到达时，读请求就会被阻塞，只有当写请求处理完成后，读请求才会被处理。如此，在写请求多而读请求少的场景下就会导致读请求的阻塞时间过长，进而造成数据处理的整体吞吐量降低和缓存系统频繁阻塞的问题。
[0004]因此，在写请求越来越多时，如何避免缓存系统频繁阻塞，从而提高数据处理的整体吞吐量，仍然是需要考虑的。

技术实现思路

[0005]本申请提供一种数据处理方法、装置及电子设备、存储介质，用以解决在写请求越来越多时，如何避免缓存系统频繁阻塞，从而提高数据处理的整体吞吐量的问题。
[0006]一方面，本申请提供一种数据处理方法，包括：
[0007]每隔预设时长，获取一次缓存系统已记录的单位时间数据写请求量、单位时间数据读请求量、单位时间的写请求耗时、单位时间的读请求耗时、写请求平均耗时和读请求平均耗时；
[0008]根据所述单位时间数据写请求量、所述单位时间数据读请求量、所述单位时间的写请求耗时、所述单位时间的读请求耗时、所述写请求平均耗时和读请求平均耗时，确定当前的缓存模式调整量，其中，所述单位时间数据写请求量越大，且，所述单位时间数据读请求量越大时，所述缓存模式调整量越大；
[0009]当缓存模式调整量大于预设调整量的情况下接收到数据读请求时，若缓存系统的数据处理状态为第一状态，则将接收到的数据读请求添加至待处理读请求列表，并在所述待处理读请求列表关联的数据写请求处理完成后，并行处理完成所述待处理读请求列表中的每个数据读请求，其中，所述第一状态表明存在处理中的数据写请求或存在处理中的数据读请求。
[0010]另一方面，本申请提供一种数据处理装置，包括：
[0011]获取模块，用于每隔预设时长，获取一次缓存系统已记录的单位时间数据写请求量、单位时间数据读请求量、单位时间的写请求耗时、单位时间的读请求耗时、写请求平均耗时和读请求平均耗时；
[0012]处理模块，用于根据所述单位时间数据写请求量、所述单位时间数据读请求量、所
述单位时间的写请求耗时、所述单位时间的读请求耗时、所述写请求平均耗时和读请求平均耗时，确定当前的缓存模式调整量，其中，所述单位时间数据写请求量越大，且，所述单位时间数据读请求量越大时，所述缓存模式调整量越大；
[0013]添加模块，用于当缓存模式调整量大于预设调整量的情况下接收到数据读请求时，若缓存系统的数据处理状态为第一状态，则将接收到的数据读请求添加至待处理读请求列表，其中，所述第一状态表明存在处理中的数据写请求或存在处理中的数据读请求；
[0014]所述处理模块还用于在所述待处理读请求列表关联的数据写请求处理完成后，并行处理完成所述待处理读请求列表中的每个数据读请求。
[0015]另一方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
[0016]所述存储器存储计算机执行指令；
[0017]所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的数据处理方法。
[0018]另一方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如第一方面所述的数据处理方法。
[0019]另一方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面所述的数据处理方法。
[0020]本申请的实施例提供一种数据处理方法，包括：每隔预设时长，获取一次缓存系统已记录的单位时间数据写请求量、单位时间数据读请求量、单位时间的写请求耗时、单位时间的读请求耗时、写请求平均耗时和读请求平均耗时；根据该单位时间数据写请求量、该单位时间数据读请求量、该单位时间的写请求耗时、该单位时间的读请求耗时、该写请求平均耗时和读请求平均耗时，确定当前的缓存模式调整量，其中，该单位时间数据写请求量越大，且，该单位时间数据读请求量越大时，该缓存模式调整量越大；当缓存模式调整量大于预设调整量的情况下接收到数据读请求时，若缓存系统的数据处理状态为第一状态，则将接收到的数据读请求添加至待处理读请求列表，并在待处理读请求列表关联的数据写请求处理完成后，并行处理完成该待处理读请求列表中的每个数据读请求，其中，该第一状态表明存在处理中的数据写请求或存在处理中的数据读请求。
[0021]即，先根据该单位时间数据写请求量、该单位时间数据读请求量、该单位时间的写请求耗时、该单位时间的读请求耗时、该写请求平均耗时和读请求平均耗时等，确定当前处于写请求多读请求少(写多读少)的状态，还是当前处于读请求多写请求少(读多写少)的状态。当缓存模式调整量大于预设调整量时，确定当前处于写多读少的状态，此状态下接收到数据读请求时，如果缓存系统的数据处理状态为不可读不可写的状态(第一状态)，则将接收到的数据读请求添加至待处理读请求列表，并在待处理读请求列表关联的数据写请求处理完成后，并行处理完成该待处理读请求列表中的每个数据读请求。如此，通过并行处理完成该待处理读请求列表中的每个数据读请求，极大程度缩减了读请求的处理时长，下一个写请求到来时，可以及时进行写操作。因此本申请提供的方法在很大程度上提高了缓存系统在应对写请求多时的缓存性能，从而解决了在写多读少场景下由于缓存性能问题降低造成缓存不可用的问题。也就是说，在写请求越来越多时，本申请提供的方法可以避免缓存系
统频繁阻塞，从而提高数据处理的整体吞吐量。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0023]图1为本申请提供的数据处理方法的一种应用场景示意图；
[0024]图2为本申请的一个实施例提供的数据处理方法的流程示意图；
[0025]图3为本申请的一个实施例提供的缓存系统的缓存空间示意图；
[0026]图4为本申请的一个实施例提供的RW
‑
UuidList的结构示意图；
[0027]图5为本申请的另一个实施例提供的数据处理方法的流程示意图；
[0028]图6为本申请的又一个实施例提供的数据处理方法的流程示意图；
[0029]图7为本申请的另一个实施例提供的数据处理方法的流程示意图；
[0030]图8为本申请的一个实施例提供的数据处理装置的示意图；
[0031]图9为本申请的一个实施例提供的电子设备的示意图。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：每隔预设时长，获取一次缓存系统已记录的单位时间数据写请求量、单位时间数据读请求量、单位时间的写请求耗时、单位时间的读请求耗时、写请求平均耗时和读请求平均耗时；根据所述单位时间数据写请求量、所述单位时间数据读请求量、所述单位时间的写请求耗时、所述单位时间的读请求耗时、所述写请求平均耗时和读请求平均耗时，确定当前的缓存模式调整量，其中，所述单位时间数据写请求量越大，且，所述单位时间数据读请求量越大时，所述缓存模式调整量越大；当缓存模式调整量大于预设调整量的情况下接收到数据读请求时，若缓存系统的数据处理状态为第一状态，则将接收到的数据读请求添加至待处理读请求列表，并在所述待处理读请求列表关联的数据写请求处理完成后，并行处理完成所述待处理读请求列表中的每个数据读请求，其中，所述第一状态表明存在处理中的数据写请求或存在处理中的数据读请求。2.根据权利要求1所述的方法，其特征在于，所述若缓存系统的数据处理状态为第一状态，则将接收到的数据读请求添加至待处理读请求列表包括：若存在处理中的数据写请求，则获取所述处理中的数据写请求携带的键，以及获取键对应的唯一写列表标识为查询标识，或，若存在处理中的数据读请求，则获取最近一个处理完成的数据写请求所携带的键，以及获取键对应的唯一写列表标识为查询标识；获取与所述查询标识关联的所述待处理读请求列表，并将接收到的数据读请求添加至所述待处理读请求列表中的最后一项。3.根据权利要求1所述的方法，其特征在于，所述当缓存模式调整量大于预设调整量的情况下接收到数据读请求时之前，所述方法还包括：当接收到数据写请求时，生成数据写请求的写列表标识，并创建与写列表标识关联的待处理读请求列表；在接收到数据写请求之后和接收到下一个数据写请求之前的一段时间，为每个接收到的数据读请求生成一个读标识，并根据每个接收到的数据读请求的时序，将每个数据读请求对应的读标识依序记录在所述待处理读请求列表的项中；所述将接收到的数据读请求添加至待处理读请求列表包括：为接收到的数据读请求生成一个读标识，并将生成的读标识添加至所述待处理读请求列表中的最后一项。4.根据权利要求3所述的方法，其特征在于，所述并行处理完成所述待处理读请求列表中的每个数据读请求包括：针对所述待处理读请求列表中的每个读标识对应的数据读请求，响应数据读请求，查询出目标读取数据并反馈至数据读请求的发起端。5.根据权利要求1所述的方法，其特征在于，所述并行处理完成所述待处理读请求列表中的每个数据读请求后，所述方法还包括：删除所述待处理读请求列表，并将缓存系统的数据处理状态更新为第二状态，其中，所述第二状态表明无处理中的数据写请求，以及无处理中的数据读请求。6.根据权利要求1所述的方法，其特征在于，所述当缓存模式调整量大于预设调整量的
情况下接收到数据读请求时，所述方法还包括：若缓存系统的数据处理状态为第二状态，则响应接收到的数据读请求，查询出目标读取数据并反馈至接收到的数据读请求的发起端，其中，所述第二状态表明无处理中的数据写请求，以及无处理中的数据读请求。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述方法还包括：当缓存模式调整量大于预设调整量的情况下接收到数据写请求时，若缓存系统的数据处理状态为第一状态，则根据接收到的数据写请求携带的键，生成接收到的数据写请求的写列表标识，并创建与写列表标识关联的待处理读请求列表；当上一个数据写请求处理完成，以及上一个数据写请求关联的待处理读请求列表中的每个读请求均处理完成后，响应所述接收到的数据写请求并写入数据；当与接收到的数据写请求关联的待处理读请求列表中无待处理的数据读请求时，删除待处理读请求列表并更新缓存系统的数据处理状态为第二状态，其中，所述第二状态表明无处理中的数据写请求，以及无处理中的数据读请求。8.根据权利要求7所述的方法，其特征在于，所述当缓存模式调整量大于预设调整量的情况下接收到数据写请求时，所述方法还包括：若缓存系统的数据处理状态为所述第二状态，更新缓存系统的数据处理状态为第一状态，并根据接收到的数据写请求携带的键，生成接收到的数据写请求的写列表标识，并创建与写列表标识关联的待处理读请求列表；响应所述接收到的数据写请求并写入数据；当与接收到的数据写请求关联的待处理读请求列表中无待处理的数据读请求时，删除待处理读请求列表并更新缓存系统的数据处理状态为所述第二状态。9.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述缓存系统包括第一缓存空间和第二缓...

【专利技术属性】
技术研发人员：梅敏，郭凯凯，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：