本申请涉及一种宽表数据的同步方法、装置、电子装置和存储介质，其中，该方法包括：获取待同步数据，所述待同步数据包括预设业务类型对应的多个窄表的数据；基于不同级别的组装器，依次对所述待同步数据进行处理，得到每个级别的所述组装器对应的组装数据，其中：每个所述组装器与目标宽表中每个项目的数据对应，相邻级别的所述组装器之间存在关联关系；对多个级别的所述组装数据进行汇总，得到所述目标宽表。通过本申请，解决了相关技术中存在的宽表数据同步的开发成本过高，且同步效率较低的技术问题，同步逻辑简单且易于控制，实现降低了窄表数据同步至宽表的开发成本，提高了同步效率。效率。效率。
【技术实现步骤摘要】
宽表数据的同步方法、装置、电子装置和存储介质
[0001]本申请涉及数据处理领域，特别是涉及一种宽表数据的同步方法、装置、电子装置和存储介质。
技术介绍
[0002]随着数据使用场景的复杂化，以及针对不同维度、不同条件的查询分析需求的增加，原有的通过窄表提供数据信息并通过表关联关系进行查询的方式，已经无法满足当前的业务需求。因此，需要通过聚合的方式，将不同业务模型的窄表数据汇聚到同一张宽表内，基于宽表中直观展示的数据，可以直接实现不同维度、不同条件的查询需求。
[0003]在相关技术中，为了将不同业务的窄表数据实时聚合同步到同一张宽表中，一般使用Flink数据处理框架，作为数据实时同步的工具。在对不同业务模型的窄表数据进行同步组装时，由于不同业务模型的关联关系和组装顺序各不相同，因此同步过程中的链路关系比较复杂。针对每一种同步链路，均需要对应地定制相应的代码。在面对大量的跨业务数据的同步需求时，往往会出现步骤繁琐、代码重复、开发工作量大等问题，使得相关技术中宽表数据同步的开发成本过高，且同步效率较低。
[0004]针对相关技术中存在的宽表数据同步的开发成本过高，且同步效率较低的技术问题，目前还没有提出有效的解决方案。
技术实现思路
[0005]在本实施例中提供了一种宽表数据的同步方法、装置、电子装置和存储介质，以解决相关技术中宽表数据同步的开发成本过高，且同步效率较低的问题。
[0006]第一个方面，在本实施例中提供了一种宽表数据的同步方法，包括：获取待同步数据，所述待同步数据包括预设业务类型对应的多个窄表的数据；基于不同级别的组装器，依次对所述待同步数据进行处理，得到每个级别的所述组装器对应的组装数据，其中：每个所述组装器与目标宽表中每个项目的数据对应，相邻级别的所述组装器之间存在关联关系；对多个级别的所述组装数据进行汇总，得到所述目标宽表。
[0007]在其中的一些实施例中，所述基于不同级别的组装器，依次对所述待同步数据进行处理之前还包括：基于所述目标宽表中每个项目的数据的获取逻辑，建立对应的所述组装器。
[0008]在其中的一些实施例中，所述基于不同级别的组装器，依次对所述待同步数据进行处理，得到每个级别对应的组装数据之前还包括：建立组装器逻辑关系，其中：所述组装器逻辑关系包括组装器链路关系以及组装器级别关系，同一链路相邻的两个所述组装器之间存在所述关联关系，同一级别的每两个所述组装器对应的组装器链路不同。
[0009]在其中的一些实施例中，所述组装数据包括所述目标宽表中对应的项目的数据，
以及存在关联关系的下一级别的所述组装器的组装器标识。
[0010]在其中的一些实施例中，基于单个级别的组装器，对所述待同步数据进行处理包括：基于单个级别的多个所述组装器，确定对应的多个线程；基于多个线程对所述待同步数据进行并行处理，得到多个所述组装器对应的多个所述组装数据。
[0011]在其中的一些实施例中，基于单个级别的组装器，对所述待同步数据进行处理之后还包括：将单个级别的所述组装器对应的所述组装数据保存至指定的存储空间；若存在下一级别的所述组装器，则将所述组装数据输入至下一级别存在关联关系的所述组装器中。
[0012]在其中的一些实施例中，所述获取待同步数据包括：获取多个待同步子数据，每个所述待同步子数据与每个窄表相对应；判断每个所述待同步子数据的业务类型与所述预设业务类型是否相同，若相同，则对多个所述待同步子数据进行汇总，得到所述待同步数据。
[0013]在其中的一些实施例中，所述判断每个所述待同步子数据的业务类型与所述预设业务类型是否相同之后还包括：若所述待同步子数据的业务类型与所述预设业务类型不同，则在数据库中查找与所述待同步子数据的业务类型关联的所述预设业务类型对应的窄表数据，得到所述待同步数据。
[0014]在其中的一些实施例中，所述获取多个待同步子数据包括：获取初始数据；获取与所述待同步数据的预设业务类型相关联的第一数据，所述第一数据的位置与所述初始数据的业务类型相关联；基于所述初始数据的业务类型以及所述第一数据，得到所述待同步子数据。
[0015]在其中的一些实施例中，所述获取待同步数据之前还包括：获取所述预设业务类型对应的窄表的变更信息；基于所述窄表的变更信息，确定所述待同步数据。
[0016]第二个方面，在本实施例中提供了一种宽表数据的同步装置，包括：获取模块，用于获取待同步数据，所述待同步数据包括预设业务类型对应的多个窄表的数据；处理模块，用于基于不同级别的组装器，依次对所述待同步数据进行处理，得到每个级别的所述组装器对应的组装数据，其中：每个所述组装器与目标宽表中每个项目的数据对应，相邻级别的所述组装器之间存在关联关系；汇总模块，用于对多个级别的所述组装数据进行汇总，得到所述目标宽表。
[0017]第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的宽表数据的同步方法。
[0018]第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序
被处理器执行时实现上述第一个方面所述的宽表数据的同步方法。
[0019]与相关技术相比，本申请中提供了一种宽表数据的同步方法、装置、电子装置和存储介质，所述方法包括：获取待同步数据，所述待同步数据包括预设业务类型对应的多个窄表的数据；基于不同级别的组装器，依次对所述待同步数据进行处理，得到每个级别的所述组装器对应的组装数据，其中：每个所述组装器与目标宽表中每个项目的数据对应，相邻级别的所述组装器之间存在关联关系；对多个级别的所述组装数据进行汇总，得到所述目标宽表。通过组装器之间地关联关系构建不同组装器之间的分层执行逻辑，可以方便地对同一级别组装器执行并发操作，对不同级别地组装器构建组装器链路，从而实现了宽表中每个项目数据的同步链路的实时组装，避免了相关技术中对宽表中每个项目的数据分别定制对应的同步链路代码以及不同链路之间同一步骤的重复执行，解决了相关技术中存在的宽表数据同步的开发成本过高，且同步效率较低的技术问题，同步逻辑简单且易于控制，实现降低了窄表数据同步至宽表的开发成本，提高了同步效率。
[0020]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0021]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本申请一实施例的宽表数据的同步方法的终端的硬件结构框图；图2是本申请一实施例的宽表数据的同步方法的流程示意图；图3是本申请一实施例的组装器逻辑关系的示意图；图4是本申请一实施例的待同步数据的获取方法的流程示意图；图5是本申请一实施例的窄表数据监听方法的流程示意图；图6是本申请另一实施例的宽表数据的同步方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种宽表数据的同步方法，其特征在于，包括：获取待同步数据，所述待同步数据包括预设业务类型对应的多个窄表的数据；基于不同级别的组装器，依次对所述待同步数据进行处理，得到每个级别的所述组装器对应的组装数据，其中：每个所述组装器与目标宽表中每个项目的数据对应，相邻级别的所述组装器之间存在关联关系；对多个级别的所述组装数据进行汇总，得到所述目标宽表。2.根据权利要求1所述的宽表数据的同步方法，其特征在于，所述基于不同级别的组装器，依次对所述待同步数据进行处理之前还包括：基于所述目标宽表中每个项目的数据的获取逻辑，建立对应的所述组装器。3.根据权利要求1所述的宽表数据的同步方法，其特征在于，所述基于不同级别的组装器，依次对所述待同步数据进行处理，得到每个级别对应的组装数据之前还包括：建立组装器逻辑关系，其中：所述组装器逻辑关系包括组装器链路关系以及组装器级别关系，同一链路相邻的两个所述组装器之间存在所述关联关系，同一级别的每两个所述组装器对应的组装器链路不同。4.根据权利要求1所述的宽表数据的同步方法，其特征在于，所述组装数据包括所述目标宽表中对应的项目的数据，以及存在关联关系的下一级别的所述组装器的组装器标识。5.根据权利要求1所述的宽表数据的同步方法，其特征在于，基于单个级别的组装器，对所述待同步数据进行处理包括：基于单个级别的多个所述组装器，确定对应的多个线程；基于多个线程对所述待同步数据进行并行处理，得到多个所述组装器对应的多个所述组装数据。6.根据权利要求1所述的宽表数据的同步方法，其特征在于，基于单个级别的组装器，对所述待同步数据进行处理之后还包括：将单个级别的所述组装器对应的所述组装数据保存至指定的存储空间；若存在下一级别的所述组装器，则将所述组装数据输入至下一级别存在关联关系的所述组装器中。7.根据权利要求1所述的宽表数据的同步方法，其特征在于，所述获取待同步数据包括：获取多个待同步子数据，每个所述待同...
【专利技术属性】
技术研发人员：卢志威，唐永波，张海妮，王伟，
申请(专利权)人：杭州小电科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。