一种数据处理方法、装置、设备以及可读存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备以及可读存储介质，方法包括：在到达目标内核检测时刻时，读取关于内核的请求记录文件；请求记录文件记录有通过内核访问分布式存储系统中块存储组件的访问请求；对请求记录文件中的访问请求进行请求检测处理，确定请求记录文件中访问请求的请求等待状态；在请求记录文件中访问请求的请求等待状态为持续异常等待状态时，确定内核存在异常，对内核进行卸载处理。采用本申请，可以针对性地识别存在异常的内核，提升异常内核的异常处理及时性。提升异常内核的异常处理及时性。提升异常内核的异常处理及时性。

【技术实现步骤摘要】
一种数据处理方法、装置、设备以及可读存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、装置、设备以及可读存储介质。

技术介绍

[0002]Ceph是一种开源的分布式存储系统，能同时提供对象、文件以及块存储服务。Ceph具体可通过块存储组件（Rados block device，RBD）提供分布式存储服务，其可以类似服务器上的一个物理硬盘。其中，RBD可以通过两种方式对外提供服务，一种是通过librbd提供用户态的访问，另一种则是通过内核组件（KRBD）提供内核态的访问。对于内核态访问而言，由于使用内核组件所以性能更好，所以对于一些性能要求比较高的业务应用会通过内核组件来对RBD进行内核态的访问。
[0003]然而，通过内核组件来进行内核态访问的方式，在Ceph存储系统出现故障的时候，Ceph存储系统会无法及时处理相关的请求，导致内核组件发出的请求一直得不到响应，出现卡顿， 那么这些请求相关的应用进程会一直处于得不到响应的状态，从而使得大量的应用进程无法顺利进行、也无法终止，只能维持卡顿的状态。而为了解决内核卡顿、应用进程卡顿的情况，相关技术只能采用强制硬重启的方式来将业务应用所在的物理服务器进行强制重启，由此来终止掉物理服务器上运行的所有内核，从而将运行的所有应用进程进行终止。这种强制硬重启物理服务器的方式，虽然可以一劳永逸解决应用进程卡顿的问题，但是一般需要由人工操作，可能存在滞后性；同时，物理服务器上可能还存在有其他服务的应用进程，一刀切的硬重启方式会使得其他正常运行的应用进程得到终止。可见，当前亟需一种可以解决存在卡顿的应用进程且不影响其他正常运行的应用进程继续运行的方式。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、装置、设备以及可读存储介质，可以针对性地识别存在异常的内核，提升异常内核的异常处理及时性。
[0005]本申请实施例一方面提供了一种数据处理方法，包括：在到达目标内核检测时刻时，读取关于内核的请求记录文件；请求记录文件记录有通过内核访问分布式存储系统中块存储组件的访问请求；对请求记录文件中的访问请求进行请求检测处理，确定请求记录文件中访问请求的请求等待状态；在请求记录文件中访问请求的请求等待状态为持续异常等待状态时，确定内核存在异常，对内核进行卸载处理。
[0006]本申请实施例一方面提供了一种数据处理装置，包括：文件读取模块，用于在到达目标内核检测时刻时，读取关于内核的请求记录文件；请求记录文件记录有通过内核访问分布式存储系统中块存储组件的访问请求；请求检测模块，用于对请求记录文件中的访问请求进行请求检测处理，确定请求
记录文件中访问请求的请求等待状态；异常确定模块，用于在请求记录文件中访问请求的请求等待状态为持续异常等待状态时，确定内核存在异常；内核卸载模块，用于对内核进行卸载处理。
[0007]在一个实施例中，请求检测模块对请求记录文件中的访问请求进行请求检测处理，确定请求记录文件中访问请求的请求等待状态的具体实现方式，包括：获取请求记录文件中具有最小发送时间戳的访问请求，将请求记录文件中具有最小发送时间戳的访问请求，确定为目标内核检测时刻对应的目标最早访问请求；将目标内核检测时刻的上一个内核检测时刻，确定为目标内核检测时刻的历史内核检测时刻；获取历史内核检测时刻对应的历史最早访问请求，根据目标内核检测时刻对应的目标最早访问请求以及历史内核检测时刻对应的历史最早访问请求，确定请求记录文件中访问请求的请求等待状态。
[0008]在一个实施例中，请求检测模块根据目标内核检测时刻对应的目标最早访问请求以及历史内核检测时刻对应的历史最早访问请求，确定请求记录文件中访问请求的请求等待状态的具体实现方式，包括：将目标最早访问请求与历史最早访问请求进行比较；若确定目标最早访问请求与历史最早访问请求相同，则基于目标内核检测时刻与历史内核检测时刻之间的时间段，确定请求记录文件中访问请求的请求等待状态；若确定目标最早访问请求与历史最早访问请求不同，则确定请求记录文件中访问请求的请求等待状态为合理等待状态。
[0009]在一个实施例中，请求检测模块基于目标内核检测时刻与历史内核检测时刻之间的时间段，确定请求记录文件中访问请求的请求等待状态的具体实现方式，包括：确定目标内核检测时刻与历史内核检测时刻之间的时间段；将目标内核检测时刻与历史内核检测时刻之间的时间段，确定为内核在目标内核检测时刻时的增量阻塞时长；获取内核在历史内核检测时刻时的历史请求阻塞时长，将增量阻塞时长与历史请求阻塞时长进行相加运算处理，得到内核在目标内核检测时刻时的目标请求阻塞时长；在目标请求阻塞时长大于时长阈值时，确定请求记录文件中访问请求的请求等待状态为持续异常等待状态。
[0010]在一个实施例中，内核卸载模块对内核进行卸载处理的具体实现方式，包括：获取内核所对应的内核版本；按照内核版本所属的版本区间，确定内核的内核卸载规则；按照内核卸载规则对内核进行卸载处理。
[0011]在一个实施例中，内核卸载模块按照内核版本所属的版本区间，确定内核的内核卸载规则的具体实现方式，包括：在内核版本所属的版本区间为第一区间时，将配置卸载规则集合中的低版本卸载规则确定为内核的内核卸载规则；在内核版本所属的版本区间为第二区间时，将配置卸载规则集合中的高版本卸载
规则确定为内核的内核卸载规则；第一区间低于第二区间。
[0012]在一个实施例中，内核卸载规则为低版本卸载规则；请求记录文件中包含访问请求S
i
，i为正整数；内核卸载模块按照内核卸载规则对内核进行卸载处理的具体实现方式，包括：按照低版本卸载规则将访问请求S
i
进行请求设置处理，将请求设置处理后的访问请求S
i
的请求状态确定为请求成功状态；当确定请求记录文件中，每个访问请求的请求状态均为请求成功状态时，将请求记录文件中包含的访问请求进行清空处理；在确定请求记录文件中未包含访问请求时，通过内核卸载指令对内核进行卸载处理。
[0013]在一个实施例中，内核卸载模块按照低版本卸载规则将访问请求S
i
进行请求设置处理的具体实现方式，包括：按照低版本卸载规则，获取访问请求S
i
的请求标识；获取低版本卸载规则对应的第一请求终止逻辑代码，根据第一请求终止逻辑代码与访问请求S
i
的请求标识，生成针对访问请求S
i
的第一请求终止命令；按照第一请求终止命令，将请求记录文件中的访问请求S
i
的请求执行状态设置为执行完成状态，将访问请求S
i
的完成码设置为第一完成码；第一完成码用于指示访问请求S
i
已正常执行完成。
[0014]在一个实施例中，内核卸载规则为高版本卸载规则；请求记录文件中包含访问请求S
i
，i为正整数；内核卸载模块按照内核卸载规则对内核进行卸载处理的具体实现方式，包括：按照高版本卸载规则将访问请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：在到达目标内核检测时刻时，读取关于内核的请求记录文件；所述请求记录文件记录有通过所述内核访问分布式存储系统中块存储组件的访问请求；对所述请求记录文件中的访问请求进行请求检测处理，确定所述请求记录文件中访问请求的请求等待状态；在所述请求记录文件中访问请求的请求等待状态为持续异常等待状态时，确定所述内核存在异常，对所述内核进行卸载处理。2.根据权利要求1所述的方法，其特征在于，所述对所述请求记录文件中的访问请求进行请求检测处理，确定所述请求记录文件中访问请求的请求等待状态，包括：获取所述请求记录文件中具有最小发送时间戳的访问请求，将所述请求记录文件中具有最小发送时间戳的访问请求，确定为所述目标内核检测时刻对应的目标最早访问请求；将所述目标内核检测时刻的上一个内核检测时刻，确定为所述目标内核检测时刻的历史内核检测时刻；获取所述历史内核检测时刻对应的历史最早访问请求，根据所述目标内核检测时刻对应的目标最早访问请求以及所述历史内核检测时刻对应的历史最早访问请求，确定所述请求记录文件中访问请求的请求等待状态。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标内核检测时刻对应的目标最早访问请求以及所述历史内核检测时刻对应的历史最早访问请求，确定所述请求记录文件中访问请求的请求等待状态，包括：将所述目标最早访问请求与所述历史最早访问请求进行比较；若确定所述目标最早访问请求与所述历史最早访问请求相同，则基于所述目标内核检测时刻与所述历史内核检测时刻之间的时间段，确定所述请求记录文件中访问请求的请求等待状态；若确定所述目标最早访问请求与所述历史最早访问请求不同，则确定所述请求记录文件中访问请求的请求等待状态为合理等待状态。4.根据权利要求3所述的方法，其特征在于，所述基于所述目标内核检测时刻与所述历史内核检测时刻之间的时间段，确定所述请求记录文件中访问请求的请求等待状态，包括：确定所述目标内核检测时刻与所述历史内核检测时刻之间的时间段；将所述目标内核检测时刻与所述历史内核检测时刻之间的时间段，确定为所述内核在所述目标内核检测时刻时的增量阻塞时长；获取所述内核在所述历史内核检测时刻时的历史请求阻塞时长，将所述增量阻塞时长与所述历史请求阻塞时长进行相加运算处理，得到所述内核在所述目标内核检测时刻时的目标请求阻塞时长；在所述目标请求阻塞时长大于时长阈值时，确定所述请求记录文件中访问请求的请求等待状态为持续异常等待状态。5.根据权利要求1所述的方法，其特征在于，所述对所述内核进行卸载处理，包括：获取所述内核所对应的内核版本；按照所述内核版本所属的版本区间，确定所述内核的内核卸载规则；按照所述内核卸载规则对所述内核进行卸载处理。
6.根据权利要求5所述的方法，其特征在于，所述按照所述内核版本所属的版本区间，确定所述内核的内核卸载规则，包括：在所述内核版本所属的版本区间为第一区间时，将配置卸载规则集合中的低版本卸载规则确定为所述内核的内核卸载规则；在所述内核版本所属的版本区间为第二区间时，将所述配置卸载规则集合中的高版本卸载规则确定为所述内核的内核卸载规则；所述第一区间低于所述第二区间。7.根据权利要求5所述的方法，其特征在于，所述内核卸载规则为低版本卸载规则；所述请求记录文件中包含访问请求S
i
，i为正整数；所述按照所述内核卸载规则对所述内核进行卸载处理，包括：按照所述低版本卸载规则将所述访问请求S
i
进行请求设置处理，将请求设置处理后的访问请求S
i
的请求状态确定为请求成功状态；当确定所述请求记录文件中，每个访问请求的请求状态均为请求成功状态时，将所述请求记录文件中包含的访问请求进行清空处理；在确定所述请求记录文件中未包含访问请求时，通过内核卸载指令对所述内核进行卸载处理。8.根据权利要求7所述的方法，其特征在于，所述按照所述低版本卸载规则将所述访问请求S
i
进行请求设置处理，包括按照所述低版本卸载规则，获取所述访问请求S
i
的请求标识；获取所述低版本卸载规则对应的第一请求终止逻辑代码，根据所述第一请求终止逻辑代码与所述访问请求S
i
的请求标识，生成针...

【专利技术属性】
技术研发人员：葛凯凯，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：