一种基于大数据的数据同步方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于大数据的离线同步方法及装置，所述方法包括：当接收到将第一目标数据源与第二目标数据源进行数据同步的指令后，将访问第一目标数据源所需的第一访问信息以参数的形式发送给Data Reader，DataReader依据该参数读取第一目标数据源中的待同步数据，并将该数据保存为第一数据抽象，依据预设的处理逻辑将第一数据抽象进行转换；将访问第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter；DataWriter依据该参数将转换后的数据抽象写入第二目标数据源。因此，该过程无需用户手动的进行同步的不同数据源的不同接口类型中不断的切换，不仅操作简便而且节省了成本。

A large data based on data synchronization method and device

The embodiment of the invention provides a device and offline synchronization method based on large data, the method comprises: when receiving the data of the second goal of the first target data source and source command data synchronization, will access the first target data source to the first access information to send parameters to Data Reader according to the parameters, DataReader reads the first target data source in the data to be synchronized, and saves the data for the first data abstraction, on the basis of the first data processing logic abstraction conversion; will visit second target data source of the second required access to information sent to DataWriter through the DataWriter parameter form; on the basis of the parameter conversion after the data is written to the second target data source abstraction. Therefore, the process does not require users to manually synchronize different data sources in different interface types. It is not only easy to operate, but also saves the cost.

【技术实现步骤摘要】
一种基于大数据的数据同步方法及装置
本专利技术涉及大数据处理领域，尤其涉及一种基于大数据的数据同步方法及装置。
技术介绍
随着大数据技术的不断发展，当前各类数据存储服务层出不穷，例如：所述存储服务包括：关系型数据库Mysql、非关系型数据库HBase、数据仓库Hive、文件存储HDFS以及具有存储功能的文件索引服务Elasicsearch等。这些存储数据服务可能会应用到相同的存储数据，因此需要进行数据存储服务间的数据服务。但是，现有技术中，不同类型的数据存储服务之间进行数据同步时，由于不同类型的数据存储服务的接口类型不同，因此需要在不同类型的数据存储服务的接口中不断切换，因此不仅操作过程繁琐、而且实现的成本较高。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于大数据的同步方法及装置，解决了现有技术中由于不同类型的数据存储服务的接口类型不同，需要在不同类型的数据存储服务的接口中不断切换的问题。本专利技术实施例提供了一种基于大数据的同步方法，所述方法可以包括：当接收到将第一目标数据源与第二目标数据源进行数据同步的指令后，将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader；所述DataReader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步数据保存为第一数据抽象；依据预设的处理逻辑将所述第一数据抽象转换成第二数据抽象；其中，所述预设的处理逻辑为用户自定义设置的；将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter；所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源。优选的，所述将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader，包括：获取访问所述第一目标数据源的第一访问信息；将所述第一访问信息转换成相对应的参数；将所述第一访问信息相对应的参数发送给所述DataReader。优选的，所述DataReader依据获得的所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步的数据保存为第一数据抽象，包括：对接收到的第一访问信息对应的参数进行解析，获得所述第一目标数据源的类型和连接信息；依据所述第一目标数据源的连接信息连接到所述第一目标数据源；基于所述第一目标数据源的类型获得所述第一目标数据源的接口类型，并依据所述第一目标数据源的接口类型从所述第一目标数据源中读取待同步的数据。优选的，所述将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter，包括：获取访问所述第二目标数据源所需的第二访问信息；将所述第二访问信息转换成对应的参数；将所述第二访问信息对应的参数发送给所述DataWriter。优选的，所述DataWriter依据获所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源，包括：将所述第二访问信息对应的参数进行解析，获得所述第二目标数据源的类型和连接信息；依据所述第二目标数据源的连接信息连接到所述第二目标数据源；依据所述第二目标数据源的类型，获取所述第二目标数据源的接口类型，并依据所述第二目标数据源的接口类型，通过所述DataWriter将所述第二数据抽象写入到所述第二目标数据源。本专利技术实施例还提供了一种基于大数据的同步装置，所述装置可以包括：第一发送单元，用于当接收到将第一目标数据源与第二目标数据源进行数据同步的指令后，将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader；读取单元，用于所述DataReader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步数据保存为第一数据抽象；转换单元，用于依据预设的处理逻辑将所述第一数据抽象转换成第二数据抽象；其中，所述预设的处理逻辑为用户自定义设置的；第二发送单元，用于将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter；写入单元，用于所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源。可选的，所述第一发送单元，包括：第一获取单元，用于获取访问所述第一目标数据源的第一访问信息；第一转换子单元，用于将所述第一访问信息转换成相对应的参数；第一发送子单元，用于将所述第一访问信息相对应的参数发送给所述DataReader。可选的，所述读取单元，包括：第一解析子单元，用于对接收到的第一访问信息对应的参数进行解析，获得所述第一目标数据源的类型和连接信息；第一连接子单元，用于依据所述第一目标数据源的连接信息连接到所述第一目标数据源；读取子单元，用于基于所述第一目标数据源的类型获得所述第一目标数据源的接口类型，并依据所述第一目标数据源的接口类型从所述第一目标数据源中读取待同步的数据。可选的，所述第二发送单元，包括：第二获取子单元，用于获取访问所述第二目标数据源所需的第二访问信息；第二转换子单元，用于将所述第二访问信息转换成对应的参数；第二发送子单元，用于将所述第二访问信息对应的参数发送给所述DataWriter。可选的，所述写入单元，包括：第二解析子单元，用于将所述第二访问信息对应的参数进行解析，获得所述第二目标数据源的类型和连接信息；第二连接子单元，用于依据所述第二目标数据源的连接信息连接到所述第二目标数据源；写入子单元，用于依据所述第二目标数据源的类型，获取所述第二目标数据源的接口类型，并依据所述第二目标数据源的接口类型，通过所述DataWriter将所述第二数据抽象写入到所述第二目标数据源。本实施例中，当接收到将第一目标数据源与第二目标数据源进行数据同步的指令后，将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader，所述DataReader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步数据保存为第一数据抽象；依据接收到的预设的处理逻辑将所述第一数据抽象转换成第二数据抽象；其中，所述预设的处理逻辑为用户自定义设置的；将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter；其中，所述第一数据抽象和所述第二数据抽象为所述DataReader和所述DataWriter通用的数据抽象；所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源。因此，DataReader从第一目标数据源获取了待同步数据后，可以直接由DataWriter写入到第二目标数据源中，该过程无需用户手动的在第一目标数据源和第二目标数据源的不同接口类型中不断的切换，不仅操作简便而且节省了成本。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种基于大数据的离线同步方法的流程示意图；图2为本专利技术实施例提供的一种基于大数据的离线同步装置的结构示意图。具体实施方式下面将结合本文档来自技高网...

【技术保护点】
一种基于大数据的同步方法，其特征在于，所述方法包括：当接收到将第一目标数据源与第二目标数据源进行数据同步的指令后，将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader；所述DataReader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步数据保存为第一数据抽象；依据预设的处理逻辑将所述第一数据抽象转换成第二数据抽象；其中，所述预设的处理逻辑为用户自定义设置的；将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter；所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源。

【技术特征摘要】
1.一种基于大数据的同步方法，其特征在于，所述方法包括：当接收到将第一目标数据源与第二目标数据源进行数据同步的指令后，将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader；所述DataReader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步数据保存为第一数据抽象；依据预设的处理逻辑将所述第一数据抽象转换成第二数据抽象；其中，所述预设的处理逻辑为用户自定义设置的；将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter；所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源。2.根据权利要求1所述的方法，其特征在于，所述将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader，包括：获取访问所述第一目标数据源的第一访问信息；将所述第一访问信息转换成相对应的参数；将所述第一访问信息相对应的参数发送给所述DataReader。3.根据权利要求1所述的方法，其特征在于，所述DataReader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步的数据保存为第一数据抽象，包括：对接收到的第一访问信息对应的参数进行解析，获得所述第一目标数据源的类型和连接信息；依据所述第一目标数据源的连接信息连接到所述第一目标数据源；基于所述第一目标数据源的类型获得所述第一目标数据源的接口类型，并依据所述第一目标数据源的接口类型从所述第一目标数据源中读取所述待同步的数据。4.根据权利要求1所述的方法其特征在于，所述将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter，包括：获取访问所述第二目标数据源所需的第二访问信息；将所述第二访问信息转换成对应的参数；将所述第二访问信息对应的参数发送给所述DataWriter。5.根据权利要求1所述的方法，其特征在于，所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源，包括：将所述第二访问信息对应的参数进行解析，获得所述第二目标数据源的类型和连接信息；依据所述第二目标数据源的连接信息连接到所述第二目标数据源；依据所述第二目标数据源的类型，获取所述第二目标数据源的接口类型，并依据所述第二目标数据源的接口类型，通过所述DataWriter将所述第二数据抽象写入到所...

【专利技术属性】
技术研发人员：陈越晨，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11