多变数据同步方法、装置、电子装置及存储介质制造方法及图纸

本申请涉及一种多变数据同步方法、装置、电子装置及存储介质。该多变数据同步方法包括：接收多个数据同步请求消息，数据同步请求消息至少包括多个业务系统发送的待同步的同步数据；获取预设的同步配置信息，并根据同步配置信息和待同步的同步数据确定多个同步任务信息，同步任务信息至少包括同步任务和定时任务周期；检测多个同步任务信息的定时任务周期是否小于第一时间间隔，第一时间间隔包括当前时间与上一次数据同步的时间差；在检测到定时任务周期小于第一时间间隔的情况下，按预设执行次序执行多个同步任务信息的同步任务。通过本申请，解决了高并发数据多变场景中数据同步效率低的问题，实现了提升高并发场景下多变数据同步效率的有益效果。

【技术实现步骤摘要】
多变数据同步方法、装置、电子装置及存储介质
本申请涉及计算机
，特别是涉及多变数据同步方法、装置、电子装置及存储介质。
技术介绍
随着互联网的发展，特别是移动互联网，物联网等技术的更新迭代，已经进入了大数据时代。数据成为驱动业务信息系统的血液，不管是互联网企业还是传统的金融，教育，能源等行业，各种系统都离不开数据的驱动。在云环境里，数据被存储到云上，在云系统的开发过程中，为了提高云系统安全和数据安全的性能，常常采用单点登录，然后跳转到第三方进行认证。而在跳转到第三方进行认证之前，需要将数据进行同步；面对第三方不可预测的对数据进行增删、改查的情况时，为了保持数据的正确性，需要反复的进行数据同步；在高并发数据持续修改变化的场景中，对据进行反复同步，会造成数据获取、解析压力大，数据同步效率低。目前针对相关技术中高并发数据多变场景中数据同步效率低的问题，尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种多变数据同步方法、装置、电子装置及存储介质，以至少解决相关技术中高并发数据多变场景中数据同步效率低的问题。第一方面，本申请实施例提供了一种多变数据同步方法，应用于高并发场景下包括：接收多个数据同步请求消息，其中，所述数据同步请求消息至少包括多个业务系统发送的待同步的同步数据；获取预设的同步配置信息，并根据所述同步配置信息和所述待同步的同步数据确定多个同步任务信息，其中，所述同步任务信息至少包括同步任务和定时任务周期；检测所述多个同步任务信息的所述定时任务周期是否小于第一时间间隔，其中，所述第一时间间隔包括当前时间与上一次数据同步的时间差；在检测到所述定时任务周期小于所述第一时间间隔的情况下，按预设执行次序执行所述多个同步任务信息的所述同步任务。在其中一些实施例中，检测所述多个同步任务信息的所述定时任务周期是否小于第一时间间隔包括：通过定时任务检测所述定时任务周期是否小于第一时间间隔。在其中一些实施例中，所述同步配置信息包括任务调度间隔和时间间距极值，根据所述同步配置信息和所述待同步的同步数据确定多个同步任务信息包括：确定每一个所述同步任务对应的同步任务目标，其中，所述同步任务目标至少包括每一个所述业务系统发送的所述待同步的同步数据；根据所述任务调度间隔和所述时间间距极值的差值确定定时任务周期，其中，所述时间间距极值由预设的时间间隔初值通过机器学习算法生成；根据所述同步任务目标和所述定时任务周期生成所述同步任务信息。在其中一些实施例中，所述同步任务信息还包括同步所述待同步的同步数据的消费者，按预设执行次序执行所述多个同步任务信息的所述同步任务包括：采用进程管理组件唤醒多个所述消费者，并通过所述多个消费者轮询消费所述多个同步任务中的待执行的所述同步任务。在其中一些实施例中，在按预设执行次序执行所述多个同步任务之后，所述方法包括：获取所述多个同步任务的第一执行情况，并根据所述第一执行情况更新所述多个同步任务的任务状态，其中，所述任务状态包括：同步中、同步失败和同步完成。在其中一些实施例中，所述同步任务信息还包括同步任务重复执行信息，所述方法还包括：在所述同步任务处于第二执行情况时，根据所述同步任务重复执行信息重复执行所述同步任务，其中，所述第二执行情况包括同步失败；获取根据所述同步任务重复执行信息重复执行所述同步任务后的第三执行情况，并判断在所述第三执行情况下所述同步任务对应的所述任务状态；在判断到在所述第三执行情况下所述同步任务对应的所述任务状态包括所述同步失败的情况下，将所述同步任务的状态更新为同步失败。在其中一些实施例中，在接收多个数据同步请求消息之后，所述方法还包括：对所述请求消息进行验证，得到验证结果；在所述验证结果为验证通过的情况下，执行确定多个同步任务信息和按预设执行次序执行所述多个同步任务信息的所述同步任务的步骤；在所述验证结果为验证不通过的情况下，接受更新调整后请求信息。第二方面，本申请实施例提供了一种多变数据同步装置，包括：接收模块，用于接收多个数据同步请求消息，其中，所述数据同步请求消息至少包括多个业务系统发送的待同步的同步数据；确定模块，用于获取预设的同步配置信息，并根据所述同步配置信息和所述待同步的同步数据确定多个同步任务信息，其中，所述同步任务信息至少包括同步任务和定时任务周期；检测模块，用于检测所述多个同步任务信息的所述定时任务周期是否小于第一时间间隔，其中，所述第一时间间隔包括当前时间与上一次数据同步的时间差；处理模块，用于在检测到所述定时任务周期小于所述第一时间间隔的情况下，按预设执行次序执行所述多个同步任务信息的所述同步任务。第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面所述的多变数据同步方法。第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行第一方面所述的多变数据同步方法。相比于相关技术，本申请实施例提供的一种多变数据同步方法、装置、电子装置及存储介质，通过接收多个数据同步请求消息，其中，数据同步请求消息至少包括多个业务系统发送的待同步的同步数据；获取预设的同步配置信息，并根据同步配置信息和待同步的同步数据确定多个同步任务信息，其中，同步任务信息至少包括同步任务和定时任务周期；检测多个同步任务信息的定时任务周期是否小于第一时间间隔，其中，第一时间间隔包括当前时间与上一次数据同步的时间差；在检测到定时任务周期小于第一时间间隔的情况下，按预设执行次序执行多个同步任务信息的同步任务，解决了相关技术中高并发数据多变场景中数据同步效率低的问题，实现了提升高并发场景下多变数据同步效率的有益效果。本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本专利技术实施例的多变数据同步方法的终端的硬件结构框图；图2是根据本申请实施例的多变数据同步方法的流程图；图3是根据本申请实施例的多变数据同步装置的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是本文档来自技高网...

【技术保护点】
1.一种多变数据同步方法，应用于高并发场景下，其特征在于，包括：/n接收多个数据同步请求消息，其中，所述数据同步请求消息至少包括多个业务系统发送的待同步的同步数据；/n获取预设的同步配置信息，并根据所述同步配置信息和所述待同步的同步数据确定多个同步任务信息，其中，所述同步任务信息至少包括同步任务和定时任务周期；/n检测所述多个同步任务信息的所述定时任务周期是否小于第一时间间隔，其中，所述第一时间间隔包括当前时间与上一次数据同步的时间差；/n在检测到所述定时任务周期小于所述第一时间间隔的情况下，按预设执行次序执行所述多个同步任务信息的所述同步任务。/n

【技术特征摘要】
1.一种多变数据同步方法，应用于高并发场景下，其特征在于，包括：
接收多个数据同步请求消息，其中，所述数据同步请求消息至少包括多个业务系统发送的待同步的同步数据；
获取预设的同步配置信息，并根据所述同步配置信息和所述待同步的同步数据确定多个同步任务信息，其中，所述同步任务信息至少包括同步任务和定时任务周期；
检测所述多个同步任务信息的所述定时任务周期是否小于第一时间间隔，其中，所述第一时间间隔包括当前时间与上一次数据同步的时间差；
在检测到所述定时任务周期小于所述第一时间间隔的情况下，按预设执行次序执行所述多个同步任务信息的所述同步任务。


2.根据权利要求1所述的多变数据同步方法，其特征在于，检测所述多个同步任务信息的所述定时任务周期是否小于第一时间间隔包括：通过定时任务检测所述定时任务周期是否小于第一时间间隔。


3.根据权利要求1所述的多变数据同步方法，其特征在于，所述同步配置信息包括任务调度间隔和时间间距极值，根据所述同步配置信息和所述待同步的同步数据确定多个同步任务信息包括：
确定每一个所述同步任务对应的同步任务目标，其中，所述同步任务目标至少包括每一个所述业务系统发送的所述待同步的同步数据；
根据所述任务调度间隔和所述时间间距极值的差值确定定时任务周期，其中，所述时间间距极值由预设的时间间隔初值通过机器学习算法生成；
根据所述同步任务目标和所述定时任务周期生成所述同步任务信息。


4.根据权利要求1所述的多变数据同步方法，其特征在于，所述同步任务信息还包括同步所述待同步的同步数据的消费者，按预设执行次序执行所述多个同步任务信息的所述同步任务包括：
采用进程管理组件唤醒多个所述消费者，并通过所述多个消费者轮询消费所述多个同步任务中的待执行的所述同步任务。


5.根据权利要求1所述的多变数据同步方法，其特征在于，在按预设执行次序执行所述多个同步任务之后，所述方法包括：
获取所述多个同步任务的第一执行情况，并根据所述第一执行情况更新所述多个同步任务的任务状态，其中，所述任务状态包括：同步中、同步失败和同步完成。

【专利技术属性】
技术研发人员：储江江，范渊，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江;33