数据同步调度方法和装置制造方法及图纸

本发明专利技术提出数据同步调度方法和装置。获取数据库日志生成的速度、采集进程对日志处理的速度、传输进程对队列的传输速度以及投递进程对队列处理的速度。决定采集进程组中采集进程数的多少、传输进程组中传输进程数的多少以及投递进程组中投递进程数的多少。本发明专利技术在不影响生产系统持续正常运行的情况下，提升数据采集和分发的效率，进而提高数据实时交付和实时共享的能力。

【技术实现步骤摘要】

本专利技术涉及对大数据量的数据进行智能实时复制和调度技术，尤其涉及数据同步调度方法和装置。
技术介绍
随电信企业业务量迅速增加、业务种类的日益复杂，电信应用系统的爆炸式发展，企业必须管理不断增长的信息流量。如何实 现业务数据的共享并进行批处理、接近实时的数据交付，如何高速从同构或异构环境抽取并处理数据，成为企业各系统间数据同步与共孚的关键所在。对于超大数据量的实时数据采集和分发来说，如果能够根据进程所在系统的资源占用情况，在实时数据采集和分发的基础上动态增加或减少相关进程数，则一方面可以保障生产系统的持续正常运行，另一方面可以大大提高资源的利用率并满足数据实时交付和实时共享的要求。
技术实现思路
有鉴于此，本专利技术的目的在于提出数据同步调度方法和装置，在不影响生产系统持续正常运行的情况下，提升数据采集和分发的效率，进而提高数据实时交付和实时共享的能力。为了解决上述问题，本专利技术提出数据同步调度方法，包括以下步骤生成系统资源的最大可利用值；获取数据日志生成速度以及数据采集进程对日志的处理速度，结合历史采集效率信息，动态生成数据采集进程组中备用进程的配置数目和每个数据采集进程对应的数据量配置信息；获取数据传输进程和数据投递进程的列队处理速度，结合历史队列处理效率信息，动态生成数据传输进程组和数据投递进程组中备用进程的配置数目、以及每个数据传输进程和数据投递进程对应的数据量配置信息；收集采集进程组、传输进程组以及投递进程组中需要唤醒的备用进程数，根据系统资源的最大可利用值和进程的资源开销系数，决定唤醒和/或停用的备用进程，即时唤醒和/或停用备用进程。本专利技术还提出数据同步调度系统，包括 系统资源监控模块，部署在源数据库服务器和目标数据库服务器上，用于生成系统资源的最大可利用值；数据库日志监控分析模块，部署在源数据库服务器上，用于获取数据日志生成速度以及数据采集进程对日志的处理速度，结合历史采集效率信息，动态生成数据采集进程组中备用进程的配置数目和每个数据采集进程对应的数据量配置信息；队列监控分析模块，部署在源数据库服务器和目标数据库服务器上，用于获取数据传输进程和数据投递进程的列队处理速度，结合历史队列处理效率信息，动态生成数据传输进程组和数据投递进程组中备用进程的配置数目、以及每个数据传输进程和数据投递进程对应的数据量配置信息；智能监控分析库，部署在与源数据库服务器和目标数据库服务器正常通信的服务器上，用于收集采集进程组、传输进程组以及投递进程组中需要唤醒的备用进程数；进程管理模块，部署在与源数据库服务器和目标数据库服务器正常通信的服务器上，用于根据系统资源的最大可利用值和进程的资源开销系数，决定唤醒和/或停用的备用进程，向进程调度模块发送请求； 进程调度模块，部署在与源数据库服务器和目标数据库服务器正常通信的服务器上，用于根据进程管理模块的指示，即时唤醒和/或停用备用进程。基于上述技术方案，本专利技术在基于日志的数据采集机制的基础上，根据系统资源的利用情况动态地进行进程调配，在不影响生产系统持续正常运行的情况下，提升数据采集和分发的效率，进而提闻数据实时交付和实时共孚能力。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中图I为本专利技术数据同步调度方法流程示意图。图2为本专利技术数据同步调度装置示意图。图3为本专利技术数据同步调度装置实施例架构示意图。具体实施例方式下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。如图I所示为数据同步调度方法实施的流程示意图。本专利技术通过动态调整数据采集进程、数据传输进程和数据投递进程的配置个数，以及动态调整每个进程需要处理的数据量，来提升数据复制效率。本实施例的流程包括以下步骤在步骤101，通过系统资源监控模块周期性自动获取数据采集进程、数据传输进程以及数据投递进程所在系统的CPU、内存以及IO等系统资源的利用率。在步骤102，根据CPU、内存以及IO等的利用率分析系统资源的利用趋势。采集、监控系统资源的使用情况并记录到数据库，结合历史值、时间点之间的资源使用情况会形成趋势图。例如，时间点A的CPU使用在50%，内存I. 5G，IO达到4M，时间点B的CPU使用在60%，内存I. 7G，IO达到4M，说明时间点A和B之间，CPU和内存在增加。监控数据越多、分析周期越长，越能发现系统资源利用的趋势和规律。在步骤103，生成系统资源的最大可利用值。作为本专利技术的一个实施例，根据系统资源利用趋势设定系统资源预警阈值，用“系统资源预警阈值”减去“当前系统资源的使用值(如百分比)”，得出系统资源的最大可利用值。通常情况下，当前系统资源的使用值都会设置一个预警值，超过这个值后，系统的不稳定性就会增加。因此，我们在调度的时候，要考虑合理限制数据传输进程和数据投递进程等的负载，以保证整个系统的资源使用情况在预期可控范围内。当然，也可以根据其他方法，比如直接设定系统资源的最大可利用值为固定值，只是，本专利技术优选采用根据步骤101和步骤102生成系统资源的最大可利用值，智能匹配当前的系统运行情况。在步骤104，通过数据库日志监控分析模块获取数据日志生成速度以及数据采集进程对日志的处理速度。根据日志文件大小判断日志生成速度，例如每秒日志文件增长了多少MB，根据每秒分析多少MB的日志可以判断数据采集进程对日志的分析处理速度。在步骤105，结合历史采集效率信息，动态生成数据采集进程组中备用进程的配置数目和每个数据采集进程对应的数据量配置信息(O可以表示不需要备用进程)。历史采集效率信息可以统计历史采集数据量信息，比如，数据 量配置信息中包括的数据表、每个数据表的大小等，从而为配置备用进程提供参考。数据采集进程组，是指功能相同的数据采集进程集合，负责新增数据的捕捉、分析和将分析出的数据加载到传输队列中，交由传输进程传送到目标服务器。采集进程的数据量配置，通常可以理解为需要采集哪些数据表或者数据文件，即表(文件)名和表(文件)字段 目息。数据采集进程组中的进程分为主进程和备用进程，主进程和备用进程功能完全一致。首先要保障主进程的正常运行，根据进程对日志的处理速度判断是否需要配置备用进程来增加处理效率。当数据日志生成速度比数据采集进程对日志的处理速度快，说明数据采集进程不满足要求，不能及时处理完生成的日志数据，需要生成备用采集进程，以及配置每个数据采集进程中的采集数据量。否则，当数据采集进程处理能力明显过剩时，需要结束相应的备用进程，以减少对资源的占用。在步骤106，通过队列监控分析模块获取数据传输进程和数据投递进程的队列处理速度。日志是数据变化过程的装载体，通过采集进程采集相关信息，转成自定义的中间格式加载到队列中。简单的来讲，日志是数据生产者，队列是数据传输的中转站。在步骤107，结合历史队列处理效率信息，动态生成数据传输进程组和数据投递进程组中备用进程的配置数目、以及每个传输进程和投递进程对应的数据量配置信息(O可以表示不需要备用进程)。历史队列处理效率信息，记录了每个传输进程和投递进程历史的处理数据量大小，以及处理时间开销。根据这些信息，就可以更加合理的计算需要启用的备用进程数目，以及每个进程对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.数据同步调度方法，包括以下步骤 生成系统资源的最大可利用值； 获取数据日志生成速度以及数据采集进程对日志的处理速度，结合历史采集效率信息，动态生成数据采集进程组中备用进程的配置数目和每个数据采集进程对应的数据量配置信息； 获取数据传输进程和数据投递进程的列队处理速度，结合历史队列处理效率信息，动态生成数据传输进程组和数据投递进程组中备用进程的配置数目、以及每个数据传输进程和数据投递进程对应的数据量配置信息； 收集采集进程组、传输进程组以及投递进程组中需要唤醒的备用进程数，根据系统资源的最大可利用值和进程的资源开销系数，决定唤醒和/或停用的备用进程，即时唤醒和/或停用备用进程。2.根据权利要求I所述数据同步调度方法，其中，生成系统资源的最大可利用值的步骤，包括 获取数据采集进程、数据传输进程以及数据投递进程所在系统的CPU、内存以及IO的利用率； 根据CPU、内存以及IO的利用率分析系统资源利用趋势； 根据系统资源利用趋势设定系统资源预警阈值，用系统资源预警阈值减去当前系统资源的使用值，得到系统资源的最大可利用值。3.根据权利要求I所述数据同步调度方法，其中，动态生成数据采集进程组中备用进程的配置数目和每个采集进程对应的数据量配置信息的步骤，包括 当数据日志生成速度比数据采集进程对日志的处理速度快，生成备用进程的配置数目，以及配置每个数据采集进程中的数据量配置信息；相反，减少数据采集进程的数目。4.根据权利要求I所述数据同步调度方法，其中，动态生成传输进程组和投递进程组中备用进程的配置数目、以及每个传输进程和投递进程对应的数据量配置信息的步骤，包括 当数据传输进程对队列的处理速度小于数据采集进程对队列的处理速度，增加数据传输进程的数目、以及每个数据传输进程对应的数据量配置信息，相反，减少数据传输进程的数目； 当数据投递进程对队列的处理速度小于数据传输进程对队列的处理速度，配置数据投递进程组中备用进程的配置数目、以及每个数据投递进程对应的数据量配置信息，相反，减少数据投递进程的数目。5.根据权利要求I所述数据同步调度方法，其中，根据系统资源的最大可利用值和进程的资源开销系数，决定唤醒的备用进程的步骤，包括 通过统计采集、传输、投递单个进程需要占用的资源开销，形成资源开销系数，当准备唤醒的备用进程占用的资源开销系数小于系统资源的最大可利用值时，唤醒所述备用进程。6.数据同步调度系统，包括 系统资源监控模块，部署在源数据库服务器和目标数据库服务器上，用于生...

【专利技术属性】
技术研发人员：向勇，乐建兵，张青，黄平，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：