【技术实现步骤摘要】
本专利技术涉及数据碰撞处理，尤其是涉及一种数据碰撞处理方法、系统及电子设备。
技术介绍
1、随着大数据的飞速发展，数据建设途径和存储方式也逐渐多样化，导致数据的整合处理愈发困难。在对数据进行碰撞处理的过程中，往往需要运维人员先将数据汇集到指定数据库，然后再通过数据库查询的方式来挨个查询，再将查询结果进行处理。这个过程会在本地浪费大量的存储空间，还需要对接收到的数据进行特定管理。当需要处理时效性比较高的数据时，还需要考虑数据同步机制，这些处理环节的增多必然导致错误发生概率的提高，也造成了资源的浪费。同时，当数据碰撞双方的数据结构或机制发生变动时，也需要双方运维人员同时参与调整，增加了后期运维的复杂度。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种数据碰撞处理方法、系统及电子设备，该方法能够对多种源头的数据源进行数据挖掘得到相应的碰撞规则，并自动利用碰撞规则完成数据碰撞过程，从而大幅度精简了数据碰撞的处理逻辑，降低了运维复杂度，减少了运维人员的工作量。
2、第一方面，本专利技术实施方式提供了一种数据碰撞处理方法，该方法包括：
3、基于数据源的属性信息确定数据源进行数据碰撞时的配置信息；
4、获取数据源中的关键数据字段，并基于配置信息确定关键数据字段的字段关系信息；
5、根据字段关系信息确定数据源中对应的碰撞主体表、待碰撞数据表，并基于配置信息确定碰撞主体表与待碰撞数据表之间的碰撞规则；
6、基于碰撞规则确定碰撞主体
7、利用碰撞规则，控制待碰撞数据表按照待碰撞字段与碰撞主体表进行数据碰撞后得到数据源的碰撞结果。
8、可选的，基于数据源的属性信息确定数据源进行数据碰撞时的配置信息，包括：
9、根据数据源的属性信息确定已完成配置的本地数据源和外部数据源，并获取本地数据源和外部数据源对应的数据表信息及其结构信息；
10、根据数据源的属性信息确定已完成配置的接口信息和文件信息，并获取接口信息对应的接口配置信息和文件信息对应的文件配置信息；
11、基于数据表信息及其对应的结构信息，确定本地数据源和外部数据源对应的数据源配置信息，并利用接口配置信息和文件配置信息确定数据源进行数据碰撞时的配置信息。
12、可选的，获取数据源中的关键数据字段，并基于配置信息确定关键数据字段的字段关系信息，包括：
13、获取数据源对应的配置文件，读取配置文件中包含的关键数据字段；
14、获取配置文件中关键数据字段对应的配置参数，基于配置信息确定配置参数对应的字段关系信息。
15、可选的，获取数据源中的关键数据字段，并基于配置信息确定关键数据字段的字段关系信息，包括：
16、获取数据源对应的配置文件，读取配置文件中包含的关联策略字段；
17、获取配置文件中关联策略字段对应的关联策略，基于关联策略获取对应的关键数据字段；
18、基于配置信息确定关键数据字段对应的字段关系信息。
19、可选的，根据字段关系信息确定数据源中对应的碰撞主体表、待碰撞数据表，并基于配置信息确定碰撞主体表与待碰撞数据表之间的碰撞规则，包括：
20、根据字段关系信息中对应的碰撞主体参数和线索表参数，确定数据源中对应的碰撞主体表；
21、根据字段关系信息中对应的数据源信息和碰撞字段参数，确定数据源中对应的待碰撞数据表；
22、根据字段关系信息中对应的碰撞规则参数和匹配参数，确定碰撞规则。
23、可选的，基于碰撞规则确定碰撞主体表对应的待碰撞数据，并基于碰撞规则确定待碰撞数据对应的待碰撞字段，包括：
24、基于碰撞规则确定碰撞主体表对应的碰撞配置参数，并根据碰撞配置参数从碰撞主体表中获取待碰撞数据；
25、获取待碰撞数据中包含的字段，并基于碰撞规则确定字段对应的待碰撞字段。
26、可选的，获取待碰撞数据中包含的字段，并基于碰撞规则确定字段对应的待碰撞字段，包括：
27、遍历待碰撞数据中包含的字段，获取字段对应的字段数据；
28、利用字段数据中的非空数据与碰撞规则进行校验，获取满足校验的非空数据，并利用非空数据对应的字段确定待碰撞字段。
29、可选的，利用碰撞规则，控制待碰撞数据表按照待碰撞字段与碰撞主体表进行数据碰撞后得到数据源的碰撞结果，包括：
30、获取待碰撞数据表的数据量；
31、若数据量大于预设数量阈值，则基于数据量对待碰撞数据表进行分页处理，得到待碰撞数据表对应的多个分页；
32、按照碰撞规则对多个分页进行循环读取后得到待碰撞字段，控制多个分页依次按照待碰撞字段与碰撞主体表进行数据碰撞后，获取对应的碰撞数据；
33、将碰撞数据按照数据源进行命名处理后，得到碰撞结果。
34、第二方面，本专利技术实施方式提供一种数据碰撞处理系统，该系统包括：
35、配置信息确定模块，用于基于数据源的属性信息确定数据源进行数据碰撞时的配置信息；
36、字段关系信息确定模块，用于获取数据源中的关键数据字段，并基于配置信息确定关键数据字段的字段关系信息；
37、碰撞规则确定模块，用于根据字段关系信息确定数据源中对应的碰撞主体表、待碰撞数据表，并基于配置信息确定碰撞主体表与待碰撞数据表之间的碰撞规则；
38、数据碰撞设置模块，用于基于碰撞规则确定碰撞主体表对应的待碰撞数据，并基于碰撞规则确定待碰撞数据对应的待碰撞字段；
39、数据碰撞执行模块，用于利用碰撞规则，控制待碰撞数据表按照待碰撞字段与碰撞主体表进行数据碰撞后得到数据源的碰撞结果。
40、第三方面，本专利技术实施方式还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现第一方面提供的数据碰撞处理方法的步骤。
41、第四方面，本专利技术实施方式还提供一种存储介质，该存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的数据碰撞处理方法的步骤。
42、本专利技术实施方式提供的一种数据碰撞处理方法、系统及电子设备，在进行数据碰撞的过程中，该方法首先基于数据源的属性信息确定数据源进行数据碰撞时的配置信息；然后获取数据源中的关键数据字段，并基于配置信息确定关键数据字段的字段关系信息；随后根据字段关系信息确定数据源中对应的碰撞主体表、待碰撞数据表，并基于配置信息确定碰撞主体表与待碰撞数据表之间的碰撞规则；然后基于碰撞规则确定碰撞主体表对应的待碰撞数据，并基于碰撞规则确定待碰撞数据对应的待碰撞字段；最后利用碰撞规则控制待碰撞数据表按照待碰撞字段与碰撞主体表进行数据碰撞后得到数据源的碰撞结果。该方法能够本文档来自技高网...
【技术保护点】
1.一种数据碰撞处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据碰撞处理方法，其特征在于，基于数据源的属性信息确定所述数据源进行数据碰撞时的配置信息，包括：
3.根据权利要求1所述的数据碰撞处理方法，其特征在于，获取所述数据源中的关键数据字段，并基于所述配置信息确定所述关键数据字段的字段关系信息，包括：
4.根据权利要求1所述的数据碰撞处理方法，其特征在于，获取所述数据源中的关键数据字段，并基于所述配置信息确定所述关键数据字段的字段关系信息，包括：
5.根据权利要求1所述的数据碰撞处理方法，其特征在于，根据所述字段关系信息确定所述数据源中对应的碰撞主体表、待碰撞数据表，并基于所述配置信息确定所述碰撞主体表与所述待碰撞数据表之间的碰撞规则，包括：
6.根据权利要求1所述的数据碰撞处理方法，其特征在于，基于所述碰撞规则确定所述碰撞主体表对应的待碰撞数据，并基于所述碰撞规则确定所述待碰撞数据对应的待碰撞字段，包括：
7.根据权利要求6所述的数据碰撞处理方法，其特征在于，获取所述待碰撞数据中包含的字
8.根据权利要求1所述的数据碰撞处理方法，其特征在于，利用所述碰撞规则，控制所述待碰撞数据表按照所述待碰撞字段与所述碰撞主体表进行数据碰撞后得到所述数据源的碰撞结果，包括：
9.一种数据碰撞处理系统，其特征在于，所述系统包括：
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现所述权利要求1至8任一项所述的数据碰撞处理方法的步骤。
...【技术特征摘要】
1.一种数据碰撞处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据碰撞处理方法，其特征在于，基于数据源的属性信息确定所述数据源进行数据碰撞时的配置信息，包括：
3.根据权利要求1所述的数据碰撞处理方法，其特征在于，获取所述数据源中的关键数据字段，并基于所述配置信息确定所述关键数据字段的字段关系信息，包括：
4.根据权利要求1所述的数据碰撞处理方法，其特征在于，获取所述数据源中的关键数据字段，并基于所述配置信息确定所述关键数据字段的字段关系信息，包括：
5.根据权利要求1所述的数据碰撞处理方法，其特征在于，根据所述字段关系信息确定所述数据源中对应的碰撞主体表、待碰撞数据表，并基于所述配置信息确定所述碰撞主体表与所述待碰撞数据表之间的碰撞规则，包括：
6.根据权利要求1所述的数据碰...
【专利技术属性】
技术研发人员：王文超，金波，宋伟强，谢永恒，程强，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。