数据处理方法、装置、电子设备及介质制造方法及图纸

本发明专利技术涉及大数据，提供一种数据处理方法、装置、电子设备及介质。该方法在检测到待处理数据属于大数据时，生成待处理任务并拆分，得到子任务及执行顺序，生成子任务的识别码并确定子任务的目标服务器，将子任务依次发送至目标服务器中，当接收到目标服务器发送的反馈数据包时，监测目标服务器处理子任务时的指标参数，并动态调整目标服务器处理子任务的实时线程数量，当接收到目标服务器发送的响应数据包时，根据执行顺序整合响应数据包，得到目标结果。本发明专利技术不仅能够使目标服务器的资源被合理利用，还能够提高子任务的处理效率，以提高待处理任务的处理效率，适用于科技金融领域。此外，本发明专利技术还涉及区块链技术，目标结果可存储于区块链中。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及介质
本专利技术涉及大数据
，尤其涉及一种数据处理方法、装置、电子设备及介质。
技术介绍
目前，为了提高企业的核心竞争力，企业通常会对日常服务过程中产生的业务数据进行分析，如通过研究业务数据以帮助企业确定用户需求，进而便于企业作出合适的决策。在现有方案中，企业往往直接调用线程池中所有闲置线程对业务数据进行分析处理，然而，由于线程池中的线程数量有限，为此，在面对海量的业务数据时，无法对业务数据进行快速分析，严重影响了业务的进展。
技术实现思路
鉴于以上内容，有必要提供一种数据处理方法、装置、电子设备及介质，不仅能够使服务器的资源被合理利用，还能够提高子任务的处理效率，从而提高待处理任务的处理效率。一种数据处理方法，所述数据处理方法包括：当接收到数据处理请求时，检测所述数据处理请求对应的待处理数据是否属于大数据；当检测到所述待处理数据属于所述大数据时，根据所述待处理数据生成待处理任务；拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码；根据每个子任务的识别码确定每个子任务对应的目标服务器，并将每个子任务依次发送至对应的目标服务器中；当接收到每个目标服务器发送的反馈数据包时，监测每个目标服务器处理每个子任务时的指标参数；根据所述指标参数动态调整每个目标服务器处理每个子任务的实时线程数量；当接收到每个目标服务器发送的响应数据包时，根据所述执行顺序整合所述响应数据包，得到目标结果。根据本专利技术优选实施例，所述检测所述数据处理请求对应的待处理数据是否属于大数据包括：确定所述待处理数据的总数据量，并检测所述总数据量是否大于第一预设阈值；获取所述待处理数据的数据类型；确定所述数据类型的类型总量，并检测所述类型总量是否大于第二预设阈值；当检测到所述总数据量大于所述第一预设阈值，或者所述类型总量大于所述第二预设阈值时，确定所述待处理数据属于所述大数据。根据本专利技术优选实施例，所述封装所述待处理数据，得到待处理任务包括：确定所述待处理数据所属的业务类型，得到第一类型；封装所述待处理数据及所述第一类型，得到所述待处理任务。根据本专利技术优选实施例，所述拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码包括：解析所述待处理任务的报文头，得到所述待处理任务对应的第二类型；根据所述第二类型从配置库中获取目标规则，所述目标规则包括多个执行指令；依据所述目标规则拆分所述待处理任务，得到所述多个子任务，并将所述待处理任务的拆分顺序确定为所述执行顺序，所述多个子任务与所述多个执行指令相对应；获取与每个执行指令对应的标签，并将获取到的标签作为每个子任务的标签；融合每个子任务的标签及每个子任务的执行顺序，得到每个子任务的识别码。根据本专利技术优选实施例，所述根据每个子任务的识别码确定每个子任务对应的目标服务器包括：对于任意子任务，确定与所述任意子任务的识别码对应的多个空闲服务器；获取所述多个空闲服务器的服务器参数，并获取与所述服务器参数相同的多个非空闲服务器；确定所述多个非空闲服务器的处理速率，并以确定的多个处理速率作为所述多个空闲服务器的处理速率；从所述多个空闲服务器的处理速率中选取最大的处理速率，作为目标处理速率；将所述目标处理速率对应的空闲服务器确定为所述任意子任务对应的目标服务器。根据本专利技术优选实施例，所述数据处理方法还包括：当接收到任意目标服务器发送的任意反馈数据包时，解析所述任意反馈数据包，得到目标标识；对与所述目标标识对应的目标子任务进行锁定。根据本专利技术优选实施例，所述根据所述指标参数动态调整每个目标服务器处理每个子任务的实时线程数量包括：当所述指标参数为CPU利用率时，检测所述CPU利用率是否超过预设标准阈值，当所述CPU利用率未超过所述预设标准阈值时，计算所述预设标准阈值与所述CPU利用率之间的差值，并根据所述CPU利用率以及预设数量，计算当前每个线程的平均CPU利用率，根据所述差值以及所述平均CPU利用率，确定待增加的线程的第一数量，将所述第一数量加上所述预设数量的运算结果确定为所述目标服务器处理所述多个子任务的实时线程数量；或者当所述指标参数为CPU负载时，检测所述CPU负载是否超过预设负载阈值，当所述CPU负载超过所述预设负载阈值时，计算所述CPU负载与所述预设负载阈值之间的差值，并获取每个线程的最大负载值，根据所述差值以及所述最大负载值，确定待增加的线程的第二数量，将所述第二数量加上所述预设数量的运算结果确定为所述目标服务器处理所述多个子任务的实时线程数量。一种数据处理装置，所述数据处理装置包括：检测单元，用于当接收到数据处理请求时，检测所述数据处理请求对应的待处理数据是否属于大数据；封装单元，用于当检测到所述待处理数据属于所述大数据时，根据所述待处理数据生成待处理任务；拆分单元，用于拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码；确定单元，用于根据每个子任务的识别码确定每个子任务对应的目标服务器，并将每个子任务依次发送至对应的目标服务器中；监测单元，用于当接收到每个目标服务器发送的反馈数据包时，监测每个目标服务器处理每个子任务时的指标参数；处理单元，用于根据所述指标参数动态调整每个目标服务器处理每个子任务的实时线程数量；整合单元，用于当接收到每个目标服务器发送的响应数据包时，根据所述执行顺序整合所述响应数据包，得到目标结果。一种电子设备，所述电子设备包括：存储器，存储至少一个指令；及处理器，执行所述存储器中存储的指令以实现所述数据处理方法。一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述数据处理方法。由以上技术方案可以看出，本专利技术在检测到所述待处理数据属于所述大数据时，根据所述待处理数据生成待处理任务，拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码，对所述待处理任务进行拆分，能够将拆分得到的多个子任务分别发送至目标服务器进行处理，减轻单个服务器的压力，还能加快所述待处理任务的处理，根据每个子任务的识别码确定每个子任务对应的目标服务器，并将每个子任务依次发送至对应的目标服务器中，根据识别码能够确定有处理权限的服务器，通过确定有处理权限的服务器能够提高任务处理的安全性，当接收到每个目标服务器发送的反馈数据包时，监测每个目标服务器处理每个子任务时的指标参数，根据所述指标参数动态调整每个目标服务器处理每个子任务的实时线程数量，通过动态调整实时线程数据，不仅能够使目标服务器的资源被合理利用，还能够提高子任务的处理效率，以提高待处理任务的处本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述数据处理方法包括：/n当接收到数据处理请求时，检测所述数据处理请求对应的待处理数据是否属于大数据；/n当检测到所述待处理数据属于所述大数据时，根据所述待处理数据生成待处理任务；/n拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码；/n根据每个子任务的识别码确定每个子任务对应的目标服务器，并将每个子任务依次发送至对应的目标服务器中；/n当接收到每个目标服务器发送的反馈数据包时，监测每个目标服务器处理每个子任务时的指标参数；/n根据所述指标参数动态调整每个目标服务器处理每个子任务的实时线程数量；/n当接收到每个目标服务器发送的响应数据包时，根据所述执行顺序整合所述响应数据包，得到目标结果。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括：
当接收到数据处理请求时，检测所述数据处理请求对应的待处理数据是否属于大数据；
当检测到所述待处理数据属于所述大数据时，根据所述待处理数据生成待处理任务；
拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码；
根据每个子任务的识别码确定每个子任务对应的目标服务器，并将每个子任务依次发送至对应的目标服务器中；
当接收到每个目标服务器发送的反馈数据包时，监测每个目标服务器处理每个子任务时的指标参数；
根据所述指标参数动态调整每个目标服务器处理每个子任务的实时线程数量；
当接收到每个目标服务器发送的响应数据包时，根据所述执行顺序整合所述响应数据包，得到目标结果。


2.如权利要求1所述的数据处理方法，其特征在于，所述检测所述数据处理请求对应的待处理数据是否属于大数据包括：
确定所述待处理数据的总数据量，并检测所述总数据量是否大于第一预设阈值；
获取所述待处理数据的数据类型；
确定所述数据类型的类型总量，并检测所述类型总量是否大于第二预设阈值；
当检测到所述总数据量大于所述第一预设阈值，或者所述类型总量大于所述第二预设阈值时，确定所述待处理数据属于所述大数据。


3.如权利要求1所述的数据处理方法，其特征在于，所述根据所述待处理数据生成待处理任务包括：
确定所述待处理数据所属的业务类型，得到第一类型；
封装所述待处理数据及所述第一类型，生成所述待处理任务。


4.如权利要求1所述的数据处理方法，其特征在于，所述拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码包括：
解析所述待处理任务的报文头，得到所述待处理任务对应的第二类型；
根据所述第二类型从配置库中获取目标规则，所述目标规则包括多个执行指令；
依据所述目标规则拆分所述待处理任务，得到所述多个子任务，并将所述待处理任务的拆分顺序确定为所述执行顺序，所述多个子任务与所述多个执行指令相对应；
获取与每个执行指令对应的标签，并将获取到的标签作为每个子任务的标签；
融合每个子任务的标签及每个子任务的执行顺序，得到每个子任务的识别码。


5.如权利要求1所述的数据处理方法，其特征在于，所述根据每个子任务的识别码确定每个子任务对应的目标服务器包括：
对于任意子任务，确定与所述任意子任务的识别码对应的多个空闲服务器；
获取所述多个空闲服务器的服务器参数，并获取与所述服务器参数相同的多个非空闲服务器；
确定所述多个非空闲服务器的处理速率，并以确定的多个处理速率作为所述多个空闲服务器的处理速率；
从所述多个空闲服务器的处理速率中选取最大的处理速率，作为目...

【专利技术属性】
技术研发人员：李贯吉，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44