热点数据处理方法、装置、电子装置和存储介质制造方法及图纸

本申请涉及一种热点数据处理方法、装置、电子装置和存储介质，其中，该热点数据处理方法包括：获取目标写批次中的多个写入请求；基于每一写入请求的标识信息，将多个写入请求分别分配至N个等待队列中；通过N个等待队列对应的数据处理线程，对相应的等待队列中的写入请求进行处理。通过本申请，解决了多线程流数据处理的吞吐量和响应速率低的问题，减少了写入冲突的产生，提升了数据库的吞吐量和响应速率。率。率。

【技术实现步骤摘要】
热点数据处理方法、装置、电子装置和存储介质


[0001]本申请涉及数据处理
，特别是涉及一种热点数据处理方法、装置、电子装置和存储介质。

技术介绍

[0002]在对金融风险进行评估的过程中，通常会涉及对流数据的处理，在风险评估中，用户的高频交易记录，其反应在流计算的风控指标中通常为热点数据。对热点数据的更新操作在没有同步机制时，有极大可能会产生数据冲突进而导致写数据丢失，影响数据处理系统的性能。
[0003]当多线程并发更新此类热点数据对应的风控指标时，为了避免数据丢失，通常采用锁机制，然而采用锁机制来防止数据丢失，则会因为频繁加锁而影响数据处理系统整体的吞吐量和响应速率。
[0004]针对相关技术中存在多线程流数据处理的吞吐量和响应速率低的问题，目前还没有提出有效的解决方案。

技术实现思路

[0005]在本实施例中提供了一种热点数据处理方法、装置、电子装置和存储介质，以解决相关技术中多线程流数据处理的吞吐量和响应速率低的问题。
[0006]第一个方面，在本实施例中提供了一种热点数据处理方法，所述方法应用于数据管理服务端，所述数据管理服务端包括多个等待队列，每一等待队列绑定有对应的数据处理线程，所述方法包括：获取目标写批次中的多个写入请求；基于每一写入请求的标识信息，将多个所述写入请求分别分配至N个所述等待队列中；通过N个所述等待队列对应的数据处理线程，对相应的等待队列中的写入请求进行处理。
[0007]在其中的一些实施例中，在所述获取目标写批次中的多个写入请求之前，还包括：获取流计算节点发送的多个写入操作请求；将多个所述写入操作请求转换为至少两个写批次，每一写批次包括至少两个所述写入请求；所述目标写批次为至少两个写批次中的任一写批次。
[0008]在其中的一些实施例中，在基于每一写入请求的标识信息，将多个所述写入请求分别分配至N个所述等待队列中之后，还包括：设置条件变量；将所述条件变量添加至每一等待队列的写入请求之后；在所述通过N个所述等待队列对应的数据处理线程，对相应的等待队列中的写入
请求进行处理之后，还包括：根据所述条件变量确定对应等待队列中写入请求的处理进度。
[0009]在其中的一些实施例中，所述根据所述条件变量确定对应等待队列中写入请求的处理进度之后，还包括：基于N个所述等待队列中写入请求的处理进度，确定所述目标写批次中写入请求的处理进度。
[0010]在其中的一些实施例中，所述通过N个所述等待队列对应的数据处理线程，对相应的等待队列中的写入请求进行处理，包括：通过目标数据处理线程执行以下操作：基于写入请求的写入顺序，依次地读取目标等待队列中的写入请求，直至读取到所述条件变量，所述目标等待队列为N个所述等待队列中的任一等待队列，所述目标数据处理线程为所述目标等待队列对应的数据处理线程；基于读取的多个写入请求的数据值，对所述目标等待队列中的写入请求进行压缩，得到压缩后的写入请求；将所述压缩后的写入请求中的数据写入数据库。
[0011]在其中的一些实施例中，所述基于读取的多个写入请求的数据值，对所述目标等待队列中的写入请求进行压缩，得到压缩后的写入请求，包括：基于连续多个写入请求的数据值之和，对相应的多个写入请求中的数据进行合并，得到压缩后的写入请求。
[0012]在其中的一些实施例中，所述标识信息包括写入请求的主键值。
[0013]第二个方面，在本实施例中提供了一种热点数据处理装置，所述装置应用于数据管理服务端，所述数据管理服务端包括多个等待队列，每一等待队列绑定有对应的数据处理线程，所述装置包括：获取模块，用于获取目标写批次中的多个写入请求；请求分配模块，用于基于每一写入请求的标识信息，将多个所述写入请求分别分配至N个所述等待队列中；请求处理模块，用于通过N个所述等待队列对应的数据处理线程，对相应的等待队列中的写入请求进行处理。
[0014]第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的热点数据处理方法。
[0015]第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的热点数据处理方法。
[0016]与相关技术相比，在本实施例中提供的热点数据处理方法，通过获取目标写批次中的多个写入请求，并根据写入请求的标识信息，将多个写入请求分配至N个等待队列中，从而使相同标识信息的写入请求分配至同一等待对列中，其中，每一等待队列绑定有对应的数据处理线程，进而通过每一等待队列对应的数据处理线程对相应等待队列中的写入请求进行处理，使每一数据处理线程只处理相同标识信息对应的写入请求，有效地避免了热点数据同时通过多个线程进行数据更新时，产生的写入冲突，并且，通过将多个写入请求分
配至多个等待队列中，每一等待队列通过单一数据线程进行处理，进而在多线程的流数据计算过程中，无需通过锁机制来防止数据冲突和丢失，进一步地提高了多线程流数据处理的吞吐量和响应速率。
[0017]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0018]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本申请实施例提供的一种热点数据处理方法的应用场景示意图；图2是本申请实施例提供的一种热点数据处理方法的流程图；图3是本申请实施例提供的一种写入请求压缩示意图；图4是本申请实施例提供的另一种写入请求压缩示意图；图5是本申请实施例提供的一种热点数据处理方法的实施例流程图；图6是本申请实施例提供的一种写入请求信息示意图；图7是本申请实施例提供的一种写入请求分配示意图；图8是本申请实施例提供的热点数据处理装置的结构框图；图9是本申请实施例提供的一种计算机设备内部结构图。
具体实施方式
[0019]为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
[0020]除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属
具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种热点数据处理方法，其特征在于，所述方法应用于数据管理服务端，所述数据管理服务端包括多个等待队列，每一等待队列绑定有对应的数据处理线程，所述方法包括：获取目标写批次中的多个写入请求；基于每一写入请求的标识信息，将多个所述写入请求分别分配至N个所述等待队列中；通过N个所述等待队列对应的数据处理线程，对相应的等待队列中的写入请求进行处理。2.根据权利要求1所述的热点数据处理方法，其特征在于，在所述获取目标写批次中的多个写入请求之前，还包括：获取流计算节点发送的多个写入操作请求；将多个所述写入操作请求转换为至少两个写批次，每一写批次包括至少两个所述写入请求；所述目标写批次为至少两个写批次中的任一写批次。3.根据权利要求1所述的热点数据处理方法，其特征在于，在基于每一写入请求的标识信息，将多个所述写入请求分别分配至N个所述等待队列中之后，还包括：设置条件变量；将所述条件变量添加至每一等待队列的写入请求之后；在所述通过N个所述等待队列对应的数据处理线程，对相应的等待队列中的写入请求进行处理之后，还包括：根据所述条件变量确定对应等待队列中写入请求的处理进度。4.根据权利要求3所述的热点数据处理方法，其特征在于，所述根据所述条件变量确定对应等待队列中写入请求的处理进度之后，还包括：基于N个所述等待队列中写入请求的处理进度，确定所述目标写批次中写入请求的处理进度。5.根据权利要求3所述的热点数据处理方法，其特征在于，所述通过N个所述等待队列对应的数据处理线程，对相应的等待队列中的写入请求进行处理，包括：通过目标数据处理线程执行以下操作：基于写入请求的写入顺序，依次地读取目...

【专利技术属性】
技术研发人员：王刚，王新宇，王新根，杨运平，彭聪，
申请(专利权)人：浙江邦盛科技股份有限公司，
类型：发明
国别省市：