【技术实现步骤摘要】
本说明书属于大数据，尤其涉及集群数据的处理方法、装置和服务器。
技术介绍
1、在涉及大数据的交易业务处理场景中，由于涉及到的数据处理量较为庞大，通常会引入分布式集群采用分布式缓存技术来处理、存储相关的业务数据。随着业务的发展，时常需要对分布式集群进行扩容。为了尽量减少对交易业务的正常处理所造成的影响，许多分布式集群大多会采用在线扩容的方式来扩容。
2、但是，由于分布式集群的在线扩容时所涉及到的数据处理情况相对比较复杂，导致基于现有方法在对扩容前后的集群数据进行一致性校对时很容易出现误差，进而无法精准地检查并修复集群数据中的异常数据。
3、针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
1、本说明书提供了一种集群数据的处理方法、装置和服务器，能够较好地适用于集群在线扩容的复杂业务场景，自动且高效地实现针对在线扩容前后的集群数据的一致性校对，精准地确定出集群数据中的异常数据，并及时作相应修正。
2、本说明书提供了一种集群数据的处理方法，包括：
3、监测是否要开始目标集群的在线扩容；其中，所述目标集群包括redis集群；
4、在确定要开始目标集群的在线扩容的情况下，导出针对扩容前的目标集群的rdb文件；并触发启动aof同步日志记录；其中，所述rdb文件包含有在线扩容前的目标集群的全量集群数据；
5、在确定目标集群的在线扩容结束的情况下，获取aof日志和目标集群当前的集群数据；其中，所述aof日志记录有从目标
6、根据预设的校对规则，利用目标集群当前的集群数据和rdb文件进行关于集群数据一致性的第一校对处理，确定出差异数据和差异数据的差异场景类型；
7、根据预设的校对规则，利用aof日志、差异数据的差异场景类型，以及目标集群当前的集群数据针对所述差异数据进行关于集群数据一致性的第二校对处理，确定出所述差异数据中的异常数据；并作相应修正。
8、在一个实施例中，监测是否要开始目标集群的在线扩容，包括：
9、监测是否接收到关于目标集群的在线扩容提示；其中，所述在线扩容提示至少携带有在线扩容的开始时间；
10、在确定接收到关于目标集群的在线扩容提示的情况下，获取所述在线扩容的开始时间；
11、在监测到距离在线扩容的开始时间的时间间隔小于预设的时间参考阈值时，确定要开始目标集群的在线扩容。
12、在一个实施例中，根据预设的校对规则，利用目标集群当前的集群数据和rdb文件进行关于集群数据一致性的第一校对处理，包括：
13、根据预设的校对规则，对目标集群当前的集群数据和rdb文件进行集群数据的数据标识和数据值的匹配，得到对应的匹配结果；
14、根据匹配结果，确定出数据标识在目标集群当前的集群数据和rdb文件中同时存在，且数据值相同的集群数据，作为正常数据；
15、将目标集群当前的集群数据和rdb文件所包含的集群数据中除所述正常数据以外的其他集群数据，确定为差异数据；并根据匹配结果，确定出差异数据的差异场景类型。
16、在一个实施例中，根据匹配结果，确定出差异数据的差异场景类型，包括：
17、根据匹配结果，在确定目标集群当前的集群数据中不存在差异数据的数据标识，且rdb文件中存在该差异数据的数据标识，将该差异数据的差异场景类型确定为增量数据异常；
18、根据匹配结果，在确定目标集群当前的集群数据中存在差异数据的数据标识，且rdb文件中不存在该差异数据的数据标识，将该差异数据的差异场景类型确定为存量数据丢失；
19、根据匹配结果，在确定目标集群当前的集群数据中存在差异数据的数据标识，rdb文件中存在该差异数据的数据标识，且该差异数据在目标集群当前的集群数据中的数据值与在rdb文件中的数据值不同的情况下，将该差异数据的差异场景类型确定为存量数据异常。
20、在一个实施例中，在根据匹配结果，确定出差异数据的差异场景类型之后，所述方法还包括：
21、生成用于指示差异数据的差异场景类型的类型标签；并利用相应的类型标签标注差异数据。
22、在一个实施例中，根据预设的校对规则，利用aof日志、差异数据的差异场景类型，以及目标集群当前的集群数据针对所述差异数据进行关于集群数据一致性的第二校对处理，包括：
23、根据差异数据的差异场景类型，将所述差异数据划分为多个数据组；其中，一个数据组对应一种差异场景类型；
24、从预设的校对规则中，确定出与差异场景类型相匹配的处理规则；并在目标集群当前的集群数据和aof日志中，分别查询数据组中的差异数据，得到对应的查询结果；
25、根据相匹配的处理规则，利用查询结果、aof日志和目标集群当前的集群数据，对多个数据组分别进行相对应的第二校对处理。
26、在一个实施例中，在数据组对应的差异场景类型为增量数据异常的情况下，按照以下方式，对该数据组进行相对应的第二校对处理：
27、根据与增量数据异常相匹配的处理规则和查询结果，在确定该数据组中的差异数据存在于目标集群当前的集群数据中，且aof日志中存在与该差异数据相关的写操作命令的情况下，确定该差异数据为目标集群在线扩容时产生的增量数据；并根据aof日志中与该差异数据相关的写操作命令对目标集群当前的集群数据中的该差异数据进行核验；在确定核验不通过的情况下，将该差异数据确定为异常数据；根据aof日志，对目标集群当前的集群数据作对应修正；
28、根据查询结果，在确定该差异数据不存在于目标集群当前的集群数据中，且aof日志中存在与该差异数据相关的写操作命令的情况下，确定该差异数据为目标集群在线扩容时产生且后续正常被删除的增量数据，不作处理。
29、在一个实施例中，在数据组对应的差异场景类型为存量数据丢失的情况下，按照以下方式，对该数据组进行相对应的第二校对处理：
30、根据与存量数据丢失相匹配的处理规则和查询结果，在确定该数据组中的差异数据不存在于目标集群当前的集群数据中，且aof日志中不存在与该差异数据相关的写操作命令的情况下，将该差异数据确定为异常数据；根据rdb文件，对目标集群当前的集群数据作对应修正；
31、在确定该差异数据不存在于目标集群当前的集群数据中，且aof日志中存在与该差异数据相关的写操作命令的情况下，对该差异数据不作处理；
32、在确定该差异数据存在于目标集群当前的集群数据中，且aof日志中存在与该差异数据相关的写操作命令的情况下，将该差异数据确定为异常数据；根据aof日志，对目标集群当前的集群数据作对应修正。
33、在一个实施例中，在数据组对应的差异场景类型为存量数据异常的情况下，按照以下方式，对该数据组进行相对应的第二校对处理：
34、根据与存量数据异常本文档来自技高网...
【技术保护点】
1.一种集群数据的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，监测是否要开始目标集群的在线扩容，包括：
3.根据权利要求1所述的方法，其特征在于，根据预设的校对规则，利用目标集群当前的集群数据和RDB文件进行关于集群数据一致性的第一校对处理，包括：
4.根据权利要求3所述的方法，其特征在于，根据匹配结果，确定出差异数据的差异场景类型，包括：
5.根据权利要求3所述的方法，其特征在于，在根据匹配结果，确定出差异数据的差异场景类型之后，所述方法还包括：
6.根据权利要求4所述的方法，其特征在于，根据预设的校对规则，利用AOF日志、差异数据的差异场景类型，以及目标集群当前的集群数据针对所述差异数据进行关于集群数据一致性的第二校对处理，包括：
7.根据权利要求6所述的方法，其特征在于，在数据组对应的差异场景类型为增量数据异常的情况下，按照以下方式，对该数据组进行相对应的第二校对处理：
8.根据权利要求6所述的方法，其特征在于，在数据组对应的差异场景类型为存量数据丢失的情况下，按
9.根据权利要求6所述的方法，其特征在于，在数据组对应的差异场景类型为存量数据异常的情况下，按照以下方式，对该数据组进行相对应的第二校对处理：
10.根据权利要求1所述的方法，其特征在于，所述RDB文件、所述AOF日志包括基于预设的同态加密算法加密后的密文数据。
11.根据权利要求1所述的方法，其特征在于，在开始目标集群的在线扩容后，所述方法还包括：
12.根据权利要求11所述的方法，其特征在于，在利用预设的异常风险检测模型处理当前时间间隔的增量写操作命令记录，得到对应的异常风险识别结果之后，所述方法还包括：
13.一种集群数据的处理装置，其特征在于，包括：
14.一种服务器，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至12中任一项所述方法的步骤。
15.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被处理器执行时实现权利要求1至12中任一项所述方法的步骤。
...【技术特征摘要】
1.一种集群数据的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，监测是否要开始目标集群的在线扩容，包括：
3.根据权利要求1所述的方法，其特征在于，根据预设的校对规则，利用目标集群当前的集群数据和rdb文件进行关于集群数据一致性的第一校对处理，包括：
4.根据权利要求3所述的方法，其特征在于，根据匹配结果，确定出差异数据的差异场景类型，包括：
5.根据权利要求3所述的方法，其特征在于，在根据匹配结果，确定出差异数据的差异场景类型之后，所述方法还包括：
6.根据权利要求4所述的方法，其特征在于，根据预设的校对规则，利用aof日志、差异数据的差异场景类型，以及目标集群当前的集群数据针对所述差异数据进行关于集群数据一致性的第二校对处理，包括：
7.根据权利要求6所述的方法，其特征在于，在数据组对应的差异场景类型为增量数据异常的情况下，按照以下方式，对该数据组进行相对应的第二校对处理：
8.根据权利要求6所述的方法，其特征在于，在数据组对应的差异场景类型为存量数据丢失的情...
【专利技术属性】
技术研发人员：王占健，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。