System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、设备和程序产品制造方法及图纸_技高网

数据处理方法、装置、设备和程序产品制造方法及图纸

技术编号:43917097 阅读:17 留言:0更新日期:2025-01-03 13:22
本发明专利技术提供了一种数据处理方法、装置、设备和程序产品,可以应用于分布式数据库技术领域。该方法包括:获取查询语句的执行结果集合,执行结果集合中的每个执行结果包括查询语句、用于执行查询语句的分布式节点和查询语句执行完成信息;在确定执行结果集合中的查询语句执行完成信息符合预定完成类型的情况下,从执行结果集合中确定与执行结果对应的目标分布式节点;在目标分布式节点的任务执行数量大于预设目标阈值的情况下,将目标分布式节点确定为出错节点;在确定分布式集群中存在出错节点所包括的分片对应的备份分片的情况下,将出错节点下线。

【技术实现步骤摘要】

本专利技术涉及分布式数据库,更具体地涉及一种数据处理方法、装置、设备和程序产品


技术介绍

1、由于物理机硬件不稳定,偶发独立磁盘冗余阵列故障,导致某个节点出现物理损坏,使得后续在此节点上执行的查询语句因此节点硬件问题一直报错。由于此节点有硬件问题而导致的在此节点上执行的查询语句一直报错,掩盖了一些其他问题,同时也会在日志中产生大量重复的报错信息,不利于问题的排查。


技术实现思路

1、鉴于上述问题,本专利技术提供了一种数据处理方法、装置、设备、介质和程序产品。

2、根据本专利技术的第一个方面,提供了一种数据处理方法,包括:获取查询语句的执行结果集合,其中,查询语句满足语句执行时间大于预设阈值,执行结果集合中的每个执行结果包括查询语句、用于执行查询语句的分布式节点和查询语句执行完成信息;在确定执行结果集合中的查询语句执行完成信息符合预定完成类型的情况下,从执行结果集合中确定与执行结果对应的目标分布式节点;在目标分布式节点的任务执行数量大于预设目标阈值的情况下,将目标分布式节点确定为出错节点,其中,任务执行数量表征查询语句执行完成信息符合预定完成类型的执行结果数量;在确定分布式集群中存在出错节点所包括的分片对应的备份分片的情况下,将出错节点下线,其中,备份分片分布在分布式集群的除出错节点外的其他节点上。

3、可选的,数据处理方法还包括:确定出错节点中至少一个分片各自的分片信息;基于分片信息,从分布式集群的其他节点中查询与至少一个分片一一对应的至少一个备份分片;在确定分布式集群的其他节点上存在至少一个备份分片的情况下,确定在分布式集群中存在出错节点所包括的分片对应的备份分片。

4、可选的,在将出错节点下线之前,数据处理方法还包括:对备份分片对应其他节点进行预定任务处理,得到任务处理结果;基于备份分片对应其他节点的任务处理结果,确定备份分片的可用状态信息,以便在备份分片的可用状态信息指示备份分片可用的情况下,将出错节点下线。

5、可选的,数据处理方法还包括:从执行结果集合中确定目标分布式节点的节点标识出现数量;根据节点标识出现数量,确定任务执行数量。

6、可选的,数据处理方法还包括:在确定分布式集群的其他节点上不存在备份分片的情况下,将该情况存储于日志中。

7、可选的,从执行结果集合中确定与执行结果对应的目标分布式节点,包括:从执行结果集合中确定与执行结果对应的初始分布式节点;在基于初始分布式节点的状态参数确定初始分布式节点为网络运行正常的情况下,将初始分布式节点作为目标分布式节点。

8、本专利技术的第二方面提供了一种数据处理装置,包括:

9、获取模块,用于获取查询语句的执行结果集合,其中,查询语句满足语句执行时间大于预设阈值,执行结果集合中的每个执行结果包括查询语句、用于执行查询语句的分布式节点和查询语句执行完成信息;确定模块,用于在确定执行结果集合中的查询语句执行完成信息符合预定完成类型的情况下,从执行结果集合中确定与执行结果对应的目标分布式节点;出错节点确定模块,用于在目标分布式节点的任务执行数量大于预设目标阈值的情况下,将目标分布式节点确定为出错节点,其中,任务执行数量表征查询语句执行完成信息符合预定完成类型的执行结果数量;下线模块,用于在确定分布式集群中存在出错节点所包括的分片对应的备份分片的情况下,将出错节点下线,其中,备份分片分布在分布式集群的除出错节点外的其他节点上。

10、本专利技术的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得一个或多个处理器执行上述方法。

11、本专利技术的第四方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。

12、根据本专利技术的实施例,通过获取查询语句的执行结果集合,执行结果集合中的每个执行结果包括查询语句、用于执行查询语句的分布式节点和查询语句执行完成信息,在确定执行结果集合中的查询语句执行完成信息符合预定完成类型的情况下,从执行结果集合中确定与执行结果对应的目标分布式节点,在目标分布式节点的任务执行数量大于预设目标阈值的情况下,将目标分布式节点确定为出错节点,在确定分布式集群中存在出错节点所包括的分片对应的备份分片的情况下,将出错节点下线。在确定分布式集群中存在出错节点所包括的分片对应的备份分片的情况下,将出错节点下线,由此解决因节点损坏而带来的一系列问题的同时,保障查询语句正常执行。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,在将所述出错节点下线之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述从所述执行结果集合中确定与所述执行结果对应的目标分布式节点,包括:

7.根据权利要求1所述的方法,其特征在于,所述将所述出错节点下线包括:

8.一种数据处理装置,其特征在于,所述装置包括:

9.一种电子设备,包括:

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求1~7中任一项所述方法的步骤。

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,在将所述出错节点下线之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其...

【专利技术属性】
技术研发人员:马凯旋
申请(专利权)人:天津南大通用数据技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1