【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种离线数据的处理方法及终端。
技术介绍
1、目前大数据行业存在较多离线数据处理的场景，其中最常见的一种处理场景为：通过定时任务的方式，从某一个数据源中把离线数据通过一定的方式同步到新的数据源中，其中新的数据源一般为集群部署方式，存在“一主多从”即一个主节点多个从节点的部署架构；对此，整个数据处理任务中的数据流程主要为：定时任务从离线的数据源中抽取数据，写入到新的数据库集群中的主节点中，新的数据库集群的主节点将写入的数据同步写入至各个从节点中，当所有从节点的数据写入完毕，且主从节点存储数据一致时，则认为该次任务结束。可是在该场景下，存在这样的问题：当任务处理的数据量过大时，导致数据延迟，业务系统无法及时查看相关数据。比如，当天晚上凌晨12点处理数据，当天早上6点即需要查看数据，而整个任务的数据处理流程的时间超过了6小时，将导致业务系统无法及时的从新数据源中查看相关数据。
技术实现思路
1、本专利技术所要解决的技术问题是：提供一种离线数据的处理方法及终端，提高离线数据对应的定时任务的执行效率，避免新旧数据源之间数据不同步无法及时访问离线数据的问题。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种离线数据的处理方法，包括：
4、获取预设时间内每一定时任务的处理数据量；
5、根据所述处理数据量判断所述定时任务是否满足预设条件；
6、若是，则断开数据源的主节点与所有从节点之间的数据
7、为了解决上述技术问题，本专利技术采用的另一种技术方案为：
8、一种离线数据的处理终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
9、获取预设时间内每一定时任务的处理数据量；
10、根据所述处理数据量判断所述定时任务是否满足预设条件；
11、若是，则断开数据源的主节点与所有从节点之间的数据同步，将所述定时任务对应的离线数据写入所述主节点后，结束所述定时任务并开放所述主节点访问。
12、本专利技术的有益效果在于：获取预设时间内的所有定时任务，根据每一定时任务的处理数据量判断所述定时任务是否满足预设条件，当满足预设条件时，表示所有定时任务可能在预设时间内无法完成，因此在执行该定时任务时断开数据源的主节点与从节点之间的数据同步，当定时任务的离线数据全部写入主节点后，即可返回定时任务，从而结束任务并开放主节点访问离线数据。相比于传统的定时任务需要主从节点都写入离线数据后才能结束任务进行数据访问，本专利技术在主节点写入离线数据后开放主节点访问，避免了离线数据再次写入从节点所消耗的时间，以此方式有效地减少预设时间内每个定时任务的执行时间，确保所有定时任务能够在预设时间内将离线数据完整写入数据源，避免新旧数据源之间数据不同步无法及时访问离线数据的问题。
本文档来自技高网...【技术保护点】
1.一种离线数据的处理方法，其特征在于，包括：
2.根据权利要求1所述的一种离线数据的处理方法，其特征在于，所述根据所述处理数据量判断所述定时任务是否满足预设条件包括：
3.根据权利要求1所述的一种离线数据的处理方法，其特征在于，所述开放所述主节点访问之后还包括：
4.根据权利要求3所述的一种离线数据的处理方法，其特征在于，所述同步所述主节点与所述从节点之间的离线数据包括：
5.根据权利要求3所述的一种离线数据的处理方法，其特征在于，所述判断所有所述从节点中是否存在与所述主节点之间数据同步完成的目标从节点包括：
6.一种离线数据的处理终端，存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
7.根据权利要求6所述的一种离线数据的处理终端，其特征在于，所述根据所述处理数据量判断所述定时任务是否满足预设条件包括：
8.根据权利要求6所述的一种离线数据的处理终端，其特征在于，所述开放所述主节点访问之后还包括：
9.根据
10.根据权利要求9所述的一种离线数据的处理终端，其特征在于，判断所述数据代理层是否获取到预设的监控中心的通知信息，若是，则所有所述从节点中存在目标从节点；
...【技术特征摘要】
1.一种离线数据的处理方法，其特征在于，包括：
2.根据权利要求1所述的一种离线数据的处理方法，其特征在于，所述根据所述处理数据量判断所述定时任务是否满足预设条件包括：
3.根据权利要求1所述的一种离线数据的处理方法，其特征在于，所述开放所述主节点访问之后还包括：
4.根据权利要求3所述的一种离线数据的处理方法，其特征在于，所述同步所述主节点与所述从节点之间的离线数据包括：
5.根据权利要求3所述的一种离线数据的处理方法，其特征在于，所述判断所有所述从节点中是否存在与所述主节点之间数据同步完成的目标从节点包括：
6.一种离线数据的处理终端，存储器、处理器及存储在所述存...
【专利技术属性】
技术研发人员：刘德建，郭孟祺，郑坦，郑锦斌，陈宏，
申请(专利权)人：福建天泉教育科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。