数据同步方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种数据同步方法、装置、电子设备及存储介质。该数据同步方法，应用于第一终端设备中，所述方法包括以下步骤：获取第二终端设备传输的加密数据，所述加密数据第二终端设备采用预设加密算法对待同步数据加密生成；根据与所述加密算法对应的解密算法对所述加密数据进行解密，以得到待同步数据及所述待同步数据对应的模型名字；根据所述模型名字对预设加载脚本进行配置；采用配置后的预设加载脚本在crontab配置定时任务，以对所述待同步数据进行加载。本申请可以提高数据同步效率。

【技术实现步骤摘要】
数据同步方法、装置、电子设备及存储介质
本申请涉及计算机网络
，具体而言，涉及一种数据同步方法、装置、电子设备及存储介质。
技术介绍
随着现代信息技术的不断发展，世界已跨入了互联网+大数据时代。通信行业对大数据处理也出现了更多需求。通信行业用户群体较大，涉及到的数据也就越多，而涉及数据的系统也较多较广，不同系统之间的每天都有大量数据交互，实时接口可以处理实时数据，但在大数据方面，无法得心应手，目前多数大数据采用数据方式进行传输处理，而大数据传输中存在数据无监控、同步程序分散、代码耦合严重、无预警的现状。在这种情况下，做到代码解耦、安全执行、失败预警是迫切需要解决的。而且存在同步效率低的缺点。针对上述问题，目前尚未有有效的技术解决方案。
技术实现思路
本申请实施例的目的在于提供一种数据同步方法、装置、电子设备及存储介质，可以数据同步效率。第一方面，本申请实施例提供了一种数据同步方法，应用于第一终端设备中，所述方法包括以下步骤：获取第二终端设备传输的加密数据，所述加密数据第二终端设备采用预设加密算法对待同步数据加密生成；根据与所述加密算法对应的解密算法对所述加密数据进行解密，以得到待同步数据及所述待同步数据对应的模型名字；根据所述模型名字对预设加载脚本进行配置；采用配置后的预设加载脚本在crontab配置定时任务，以对所述待同步数据进行加载。可选地，在本申请实施例所述的数据同步方法中，所述采用配置后的预设加载脚本在crontab配置定时任务，以对所述待同步数据进行加载的步骤，包括：获取存储所述待同步数据的数据库的类型标识；根据所述类型标识获取对应的目标数据导入函数；采用配置后的预设加载脚本在crontab配置定时任务，并采用所述目标数据导入函数对所述待同步数据加载到数据库中。可选地，在本申请实施例所述的数据同步方法中，所述根据所述类型标识获取对应的目标数据导入函数的步骤包括：若所述数据库为oracle数据库，则采用sqlldr函数作为目标数据导入函数；若所述数据库为mysql数据库，则采用mysql–h函数作为目标数据导入函数。可选地，在本申请实施例所述的数据同步方法中，所述对所述待同步数据进行加载时，所述预设加载脚本采用串行执行或并发执行。可选地，在本申请实施例所述的数据同步方法中，所述对所述待同步数据进行加载时，对数据加载情况进行监控，并在监控到加载异常的数据时，生成提醒信息。可选地，在本申请实施例所述的数据同步方法中，获取第二终端设备传输的加密数据时，所述第二终端设备采用sftp方式传输所述加密数据。第二方面，本申请实施例还提供了一种数据同步装置，应用于第一终端设备中，所述装置包括：获取模块，用于获取第二终端设备传输的加密数据，所述加密数据第二终端设备采用预设加密算法对待同步数据加密生成；解密模块，用于根据与所述加密算法对应的解密算法对所述加密数据进行解密，以得到待同步数据及所述待同步数据对应的模型名字；配置模块，用于根据所述模型名字对预设加载脚本进行配置；加载模块，用于采用配置后的预设加载脚本在crontab配置定时任务，以对所述待同步数据进行加载。可选地，在本申请实施例所述的数据同步装置中，所述加载模块包括：第一获取单元，用于获取存储所述待同步数据的数据库的类型标识；第二获取单元，用于根据所述类型标识获取对应的目标数据导入函数；加载单元，用于采用配置后的预设加载脚本在crontab配置定时任务，并采用所述目标数据导入函数对所述待同步数据加载到数据库中。第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。由上可知，本申请实施例通过获取第二终端设备传输的加密数据，所述加密数据第二终端设备采用预设加密算法对待同步数据加密生成；根据与所述加密算法对应的解密算法对所述加密数据进行解密，以得到待同步数据及所述待同步数据对应的模型名字；根据所述模型名字对预设加载脚本进行配置；采用配置后的预设加载脚本在crontab配置定时任务，以对所述待同步数据进行加载；从而实现对待同步数据的快速加载，可以提高待同步数据的加载效率，并且，由于采用定时类作业对于数据传输、加载、预警实现集中管理，降低了数据传输风险，提高安全性。减少数据同步程序开发工作，提高数据加载效率，节省了成本。并且降低维护成本，提高了异常处理及时性。本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的数据同步方法的一种流程图。图2为本申请实施例提供的数据同步装置的一种结构示意图。图3为本申请实施例提供的电子设备的结构示意图。具体实施方式下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。请参照图1，图1是本本申请一些实施例中的数据同步方法的流程图。该数据同步方法，应用于第一终端设备中，该第一终端设备用于接收该第二终端设备中的待同步数据。所述方法包括以下步骤：S101、获取第二终端设备传输的加密数据，所述加密数据第二终端设备采用预设加密算法对待同步数据加密生成。S102、根据与所述加密算法对应的解密算法对所述加密数据进行解密，以得到待同步数据及所述待同步数据对应的模型名字。S103、根据所述模型名字对预设加载脚本进行配置。...

【技术保护点】
1.一种数据同步方法，应用于第一终端设备中，其特征在于，所述方法包括以下步骤：/n获取第二终端设备传输的加密数据，所述加密数据第二终端设备采用预设加密算法对待同步数据加密生成；/n根据与所述加密算法对应的解密算法对所述加密数据进行解密，以得到待同步数据及所述待同步数据对应的模型名字；/n根据所述模型名字对预设加载脚本进行配置；/n采用配置后的预设加载脚本在crontab配置定时任务，以对所述待同步数据进行加载。/n

【技术特征摘要】
1.一种数据同步方法，应用于第一终端设备中，其特征在于，所述方法包括以下步骤：
获取第二终端设备传输的加密数据，所述加密数据第二终端设备采用预设加密算法对待同步数据加密生成；
根据与所述加密算法对应的解密算法对所述加密数据进行解密，以得到待同步数据及所述待同步数据对应的模型名字；
根据所述模型名字对预设加载脚本进行配置；
采用配置后的预设加载脚本在crontab配置定时任务，以对所述待同步数据进行加载。


2.根据权利要求1所述的数据同步方法，其特征在于，所述采用配置后的预设加载脚本在crontab配置定时任务，以对所述待同步数据进行加载的步骤，包括：
获取存储所述待同步数据的数据库的类型标识；
根据所述类型标识获取对应的目标数据导入函数；
采用配置后的预设加载脚本在crontab配置定时任务，并采用所述目标数据导入函数对所述待同步数据加载到数据库中。


3.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述类型标识获取对应的目标数据导入函数的步骤包括：
若所述数据库为oracle数据库，则采用sqlldr函数作为目标数据导入函数；
若所述数据库为mysql数据库，则采用mysql–h函数作为目标数据导入函数。


4.根据权利要求1所述的数据同步方法，其特征在于，所述对所述待同步数据进行加载时，所述预设加载脚本采用串行执行或并发执行。


5.根据权利要求1所述的数据同步方法，其特征在于，所述对所述待同步数据进行加载时，对数据加载情况进行监控，并...

【专利技术属性】
技术研发人员：闫浩，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京;11