数据同步方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例提供数据同步方法、装置、电子设备和存储介质，其中，方法包括：为大数据平台集成批处理引擎，所述批处理引擎用于将所述大数据平台的数据同步到目标平台；获取所述批处理引擎的配置所需信息项；根据所述配置所需信息项生成配置表格，所述配置表格具有所述信息项对应的描述信息；接收填写后的配置表格，对所述配置表格进行解析，得到所述所需信息项对应的信息；根据所述所需信息项对应的信息生成同步请求；将所述同步请求发送到所述大数据平台，以使所述大数据平台根据所述同步请求调用所述处理引擎将所述大数据平台的数据同步到所述目标平台。实施上述实施例，可以快速实现不同大数据平台之间的数据同步。现不同大数据平台之间的数据同步。现不同大数据平台之间的数据同步。

【技术实现步骤摘要】
数据同步方法、装置、电子设备和存储介质


[0001]本申请涉及数据处理
，具体而言，涉及数据同步方法、装置、电子设备和存储介质。

技术介绍

[0002]因Hive受限于Hadoop生态圈，无法做到快速既查即得的效果，Clickhouse是一个开源的，面向列的分析数据库，基于Clickhouse高效的查询速度和诸多特性，部门引入作为分析型引擎开展亿级数据量的即时查询服务，支撑业务进行数据分析。
[0003]数据同步是大数据平台特性之一，是把不同来源的、不同形式的数据同步到ODS层，也是存储在大数据平台的数据同步至其他数据分析平台一，数据同步一般使用两种方案：直连同步与实时增量同步(数据库日志解析)。现有的数据同步时间过长，需要运维人员熟悉掌握不同大数据平台之间的使用方法。

技术实现思路

[0004]有鉴于此，本申请实施例的目的在于提供数据同步方法、装置、电子设备和存储介质，能够减少数据同步时间。
[0005]第一方面，本申请实施例提供了一种数据同步方法，包括：
[0006]为大数据平台集成批处理引擎，所述批处理引擎用于将所述大数据平台的数据同步到目标平台；
[0007]获取所述批处理引擎的配置所需信息项；
[0008]根据所述配置所需信息项生成配置表格，所述配置表格具有所述信息项对应的描述信息；
[0009]接收填写后的配置表格，对所述配置表格进行解析，得到所述所需信息项对应的信息；
[0010]根据所述所需信息项对应的信息生成同步请求；r/>[0011]将所述同步请求发送到所述大数据平台，以使所述大数据平台根据所述同步请求调用所述处理引擎将所述大数据平台的数据同步到所述目标平台。
[0012]在上述实现过程中，大数据平台继承了批处理引擎，因此，批处理引擎能够在短时间内处理大量的数据，从而能够提高数据同步速度。由于批处理引擎，大数据平台，目标平台之间的数据转换，使用学习过程过于复杂，因此，获取批处理引擎的配置所需信息项，根据所述配置所需信息项生成配置表格，述配置表格具有所述信息项对应的描述信息；工作人员可以根据配置表格填写所需要的配置信息，将配置表格进行上传。接收填写后的配置表格，对所述配置表格进行解析，得到所述所需信息项对应的信息；根据所述所需信息项对应的信息生成同步请求；将所述同步请求发送到所述大数据平台，以使所述大数据平台根据所述同步请求调用所述处理引擎将所述大数据平台的数据同步到所述目标平台。基于该实施方式，可以快速实现不同大数据平台之间的数据同步。
[0013]进一步地，所述根据所述信息项对应的信息生成同步请求的步骤，包括：
[0014]根据所述信息项对应的信息生成执行脚本；
[0015]根据所述执行脚本生成同步请求。
[0016]在上述实现过程中，生成执行脚本，执行脚本能够被大数据平台所在的服务器执行，进一步地，根据执行脚本生成同步请求，将该同步请求发送到大数据平台，使该执行脚本能够被发送到大数据平台。
[0017]进一步地，所述根据所述所需信息项对应的信息生成同步请求的步骤，包括：
[0018]获取执行时间；
[0019]根据所述执行时间、所述所需信息项对应的信息生成所述同步请求。
[0020]在上述实现过程中，大数据平台需要和多个平台进行对接，完成多个的数据平台之间的数据转换，因此，确定执行时间，根据所述所需信息项对应的信息生成所述同步请求，能够使得大数据平台根据该执行时间执行对应的数据同步任务。
[0021]进一步地，所述根据所述所需信息项对应的信息生成同步请求的步骤，包括：
[0022]获取当前数据对应的优先级；
[0023]根据所述优先级所述信息项对应的信息生成所述同步请求。
[0024]在上述实现过程中，大数据平台所在的服务器需要面对多个服务器之间的业务数据，将不同业务对应的数据进行格式转换、同步，如果按照顺序进行同步，那么重要信息，如隐私信息，等信息不能被及时同步，会导致数据风险，因此，提出获取当前所述对应的优先级，根据所述优先级所述信息项对应的信息生成所述同步请求。
[0025]进一步地，所述根据所述所需信息项对应的信息生成同步请求的步骤，包括：
[0026]获取执行时间；
[0027]根据所述执行时间、所述所需信息项对应的信息生成所述同步请求。
[0028]在上述实现过程中，获取执行时间，根据所述执行时间，所述所需信息项对应的信息生成所述同步请求能够控制同步请求的执行时间，使得真个数据分析按照工作人员预设的计划进行。
[0029]进一步地，所述根据所述所需信息项对应的信息生成同步请求的步骤，包括：
[0030]获取当前数据对应的触发条件，所述触发条件用于使所述大数据平台在所述触发条件被触发时执行所述同步请求；
[0031]根据所述所需信息项对应的信息、所述触发条件生成所述同步请求。
[0032]在上述实现过程中，同步过程需要和不同的业务，不同的处理流程合作进行，有时，同步过程是整个业务中的一环，为了和其他任务进行配合，可以设置触发条件，根据所述所需信息项对应的信息、所述触发条件生成所述同步请求。
[0033]进一步地，所述触发条件包括：所述大数据平台所在的服务器的工作参数阈值。
[0034]在上述实现过程中，大数据平台所在服务器具有一定的处理性能，当服务器的工作参数达到一定阈值时，执行该同步请求，能够提高大数据平台的工作效率。
[0035]进一步地，所述触发条件包括：所述大数据平台所在的服务器中的预设区域存储有目标文件。
[0036]第二方面，本申请实施例提供一种数据同步装置，包括：
[0037]集成模块，用于为大数据平台集成批处理引擎，所述批处理引擎用于将所述大数
据平台的数据同步到目标平台；
[0038]获取模块，用于获取所述批处理引擎的配置所需信息项；
[0039]配置表格生成模块，用于根据所述配置所需信息项生成配置表格，所述配置表格具有所述信息项对应的描述信息；
[0040]接收模块，用于接收填写后的配置表格，对所述配置表格进行解析，得到所述所需信息项对应的信息；
[0041]请求生成模块，用于根据所述所需信息项对应的信息生成同步请求；
[0042]发送模块，用于将所述同步请求发送到所述大数据平台，以使所述大数据平台根据所述同步请求调用所述处理引擎将所述大数据平台的数据同步到所述目标平台。
[0043]在上述实现过程中，在上述实现过程中，大数据平台继承了批处理引擎，因此，批处理引擎能够在短时间内处理大量的数据，从而能够提高数据同步速度。由于批处理引擎，大数据平台，目标平台之间的数据转换，使用学习过程过于复杂，因此，获取批处理引擎的配置所需信息项，根据所述配置所需信息项生成配置表格，述配置表格具有所述信息项对应的描述信息；工作人员可以根据配置表格填写所需要的配置信息，将配置表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：为大数据平台集成批处理引擎，所述批处理引擎用于将所述大数据平台的数据同步到目标平台；获取所述批处理引擎的配置所需信息项；根据所述配置所需信息项生成配置表格，所述配置表格具有所述信息项对应的描述信息；接收填写后的配置表格，对所述配置表格进行解析，得到所述所需信息项对应的信息；根据所述所需信息项对应的信息生成同步请求；将所述同步请求发送到所述大数据平台，以使所述大数据平台根据所述同步请求调用所述处理引擎将所述大数据平台的数据同步到所述目标平台。2.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述信息项对应的信息生成同步请求的步骤，包括：根据所述信息项对应的信息生成执行脚本；根据所述执行脚本生成同步请求。3.根据权利要求2所述的数据同步方法，其特征在于，所述根据所述所需信息项对应的信息生成同步请求的步骤，包括：获取执行时间；根据所述执行时间、所述所需信息项对应的信息生成所述同步请求。4.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述所需信息项对应的信息生成同步请求的步骤，包括：获取当前数据对应的优先级；根据所述优先级所述信息项对应的信息生成所述同步请求。5.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述所需信息项对应的信息生成同步请求的步骤，包括：获取当前数据对应的触发条件，所述触发条件用于使所述大数据平台在所述触发条件被触发时执行所述同步请求；根据所述所需信息项对应的信息、...

【专利技术属性】
技术研发人员：吴炯伟，赵稳，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：