【技术实现步骤摘要】
本申请涉及计算机存储，特别是涉及一种数据处理装置、方法、计算机设备、存储介质和计算机程序产品。
技术介绍
1、随着计算机技术的快速发展，分布式存储系统的应用已越来越广泛。但分布式存储系统中的硬件存储设备容易发生故障，如主机故障、硬盘故障等等。一旦发生故障，其中存储的数据必然受到影响，这就需要分布式存储系统具有容错机制。
2、目前常用的一种容错方法是通过纠删码方式存储数据，然而，若通过纠删码方式存储数据，一般只有在接收到计算请求时才会进行数据故障检测，且在检测到数据故障并进行数据修复的过程需要跨越多个不同的主机，这将使得存储系统的请求响应时长产生部分延迟。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够加快分布式存储系统响应速度的数据处理装置、方法、计算机设备、存储介质和计算机程序产品。
2、第一方面，本申请提供了一种数据处理装置，包括：
3、数据划分模块，用于将待处理数据划分为多个数据块；
4、多个计算存储节点，用于从所述数据划分模块获取至少一个所述数据块，并将获取的所述数据块分别存储；
5、多个纠删码校验节点，用于从各所述计算存储节点获取所述待处理数据，并基于所述待处理数据生成校验码数据，并将所述校验码数据分别存储；
6、至少一所述计算存储节点或至少一所述纠删码校验节点设置有后端驻守进程模块，所述后端驻守进程模块用于向各所述计算存储节点发送周期性检测指令，并基于检测结果判断是否存在异常的计算存
7、当所述后端驻守进程模块检测到存在异常的计算存储节点时，所述纠删码校验节点还用于获取正常的计算存储节点中存储的待处理数据，基于正常的计算存储节点中存储的待处理数据及所述纠删码校验节点中存储的校验码数据生成恢复数据，并将所述恢复数据反馈存储于正常的计算存储节点。
8、在其中一个实施例中，所述数据处理装置还包括：
9、客户端，所述客户端用于向各所述计算存储节点发送待处理数据计算指令；
10、各所述计算存储节点还用于基于所述待处理计算指令对各自存储的所述待处理数据进行并行计算处理，以得到待处理数据计算结果；并向所述客户端回传所述待处理数据计算结果；
11、所述客户端还基于回传的所述待处理数据计算结果，判断各所述计算存储节点中是否存在异常的计算存储节点。
12、在其中一个实施例中，所述客户端还用于向存储有所述恢复数据的计算存储节点发送恢复数据计算指令；以使存储有所述恢复数据的计算存储节点基于恢复数据计算指令对所述恢复数据进行计算处理，在得到恢复数据计算结果后将所述恢复数据计算结果回传至所述客户端。
13、在其中一个实施例中，所述计算存储节点还包括加速卡，所述后端驻守进程模块设置于所述加速卡内。
14、在其中一个实施例中，各所述计算存储节点还包括：计算存储模块及驱动器，所述驱动器与位于同一所述计算存储节点内的所述计算存储模块相连接；所述后端驻守进程模块的数量为一个，所述后端驻守进程模块位于所述计算存储节点内或位于所述纠删码校验节点内，并与各所述计算存储节点中的所述驱动器均相连接。
15、在其中一个实施例中，各所述计算存储节点还包括：计算存储模块及驱动器；各所述计算存储节点内均设有所述后端驻守进程模块，所述后端驻守进程模块与位于同一所述计算存储节点内的所述计算存储模块及位于同一所述计算存储节点内的所述驱动器均相连接。
16、第二方面，本申请还提供了一种数据处理方法，应用于上述任一实施例所述的数据处理装置，所述数据处理方法包括：
17、将待处理数据划分为多个数据块，并分别存储于多个计算存储节点；
18、纠删码校验节点获取各所述计算存储节点存储的所述待处理数据，并基于所述待处理数据生成校验码数据，分别存储至多个所述纠删码校验节点；至少一所述计算存储节点或至少一所述纠删码校验节点具有后端驻守进程模块；
19、所述后端驻守进程模块向各所述计算存储节点发送周期性检测指令，并基于检测结果判断是否存在异常的计算存储节点；
20、当所述后端驻守进程模块检测到存在异常的计算存储节点时，所述纠删码校验节点获取正常的计算存储节点中存储的待处理数据，基于正常的计算存储节点中存储的待处理数据及所述纠删码校验节点中存储的校验码数据生成恢复数据；
21、所述纠删码校验节点将所述恢复数据反馈并存储于正常的计算存储节点。
22、在其中一个实施例中，所述将待处理数据划分为多个数据块，并分别存储于多个计算存储节点之后，还包括：
23、客户端向各所述计算存储节点发送待处理数据计算指令；
24、各所述计算存储节点基于所述待处理计算指令对各自存储的所述待处理数据进行并行计算处理，以得到待处理数据计算结果；并向所述客户端回传所述待处理数据计算结果；
25、基于向所述客户端回传的所述待处理数据计算结果判断各所述计算存储节点中是否存在异常的计算存储节点。
26、在其中一个实施例中，所述纠删码校验节点将所述恢复数据反馈并存储于正常的计算存储节点之后，还包括：
27、客户端向存储有所述恢复数据的计算存储节点发送恢复数据计算指令；
28、存储有所述恢复数据的计算存储节点基于恢复数据计算指令对所述恢复数据进行计算处理，以得到恢复数据计算结果。
29、在其中一个实施例中，所述存储有所述恢复数据的计算存储节点基于恢复数据计算指令对所述恢复数据进行计算处理，以得到恢复数据计算结果之后，还包括：
30、存储有所述恢复数据的计算存储节点将所述恢复数据计算结果回传至所述客户端。
31、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述的数据处理方法。
32、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的数据处理方法。
33、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序产品被处理器执行时实现上述任一实施例所述的数据处理方法。
34、上述数据处理装置、方法、计算机设备、存储介质和计算机程序产品，实现了在检测到异常的计算存储节点时，能够自动再生成异常数据的替换数据，保证了响应时延，同时，将恢复数据存储到计算存储节点中，可以通过其他计算存储节点进行计算指令的响应，从而节约消耗的网络带宽，增加网络的利用率。
本文档来自技高网...【技术保护点】
1.一种数据处理装置，其特征在于，包括：
2.根据权利要求1所述的数据处理装置，其特征在于，所述数据处理装置还包括：
3.根据权利要求2所述的数据处理装置，其特征在于，所述客户端还用于向存储有所述恢复数据的计算存储节点发送恢复数据计算指令；以使存储有所述恢复数据的计算存储节点基于恢复数据计算指令对所述恢复数据进行计算处理，在得到恢复数据计算结果后将所述恢复数据计算结果回传至所述客户端。
4.根据权利要求1所述的数据处理装置，其特征在于，所述计算存储节点还包括加速卡，所述后端驻守进程模块设置于所述加速卡内。
5.根据权利要求1-4中任一项所述的数据处理装置，其特征在于，各所述计算存储节点还包括：计算存储模块及驱动器，所述驱动器与位于同一所述计算存储节点内的所述计算存储模块相连接；所述后端驻守进程模块的数量为一个，所述后端驻守进程模块位于所述计算存储节点内或位于所述纠删码校验节点内，并与各所述计算存储节点中的所述驱动器均相连接。
6.根据权利要求1-4中任一项所述的数据处理装置，其特征在于，各所述计算存储节点还包括：计算存储
7.一种数据处理方法，其特征在于，应用于如权利要求1-6中任一项所述的数据处理装置，所述数据处理方法包括：
8.根据权利要求7所述的方法，其特征在于，所述将待处理数据划分为多个数据块，并分别存储于多个计算存储节点之后，还包括：
9.根据权利要求7所述的方法，其特征在于，所述纠删码校验节点将所述恢复数据反馈并存储于正常的计算存储节点之后，还包括：
10.根据权利要求9所述的方法，其特征在于，所述存储有所述恢复数据的计算存储节点基于恢复数据计算指令对所述恢复数据进行计算处理，以得到恢复数据计算结果之后，还包括：
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7至10中任一项所述的数据处理方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7至10中任一项所述的数据处理方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求7至10中任一项所述的数据处理方法的步骤。
...【技术特征摘要】
1.一种数据处理装置，其特征在于，包括：
2.根据权利要求1所述的数据处理装置，其特征在于，所述数据处理装置还包括：
3.根据权利要求2所述的数据处理装置，其特征在于，所述客户端还用于向存储有所述恢复数据的计算存储节点发送恢复数据计算指令；以使存储有所述恢复数据的计算存储节点基于恢复数据计算指令对所述恢复数据进行计算处理，在得到恢复数据计算结果后将所述恢复数据计算结果回传至所述客户端。
4.根据权利要求1所述的数据处理装置，其特征在于，所述计算存储节点还包括加速卡，所述后端驻守进程模块设置于所述加速卡内。
5.根据权利要求1-4中任一项所述的数据处理装置，其特征在于，各所述计算存储节点还包括：计算存储模块及驱动器，所述驱动器与位于同一所述计算存储节点内的所述计算存储模块相连接；所述后端驻守进程模块的数量为一个，所述后端驻守进程模块位于所述计算存储节点内或位于所述纠删码校验节点内，并与各所述计算存储节点中的所述驱动器均相连接。
6.根据权利要求1-4中任一项所述的数据处理装置，其特征在于，各所述计算存储节点还包括：计算存储模块及驱动器；各所述计算存储节点内均设有所述后端驻守进程模块，所述后端驻守进程模块与位于同一所述计算存储节点内的所述计...
【专利技术属性】
技术研发人员：戴瑾，张凯，张云森，
申请(专利权)人：北京超弦存储器研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。