【技术实现步骤摘要】
本专利技术属于医疗大数据，具体涉及一种日志数据同步任务进程控制方法和装置。
技术介绍
1、随着医疗信息化的快速发展，医疗大数据已成为推动医疗行业变革与创新的重要驱动力，特别是在实现跨系统、跨平台的数据流动时，基于日志的变更数据捕获（changedata capture，cdc）技术因其能够实时或近实时地捕获数据源中的数据变动，成为医疗大数据高效集成关键手段。
2、当前市场上，canal、maxwell、debezium、flink cdc、sqoop和datax等工具作为主流的cdc解决方案，普遍面临配置复杂、学习成本高、性能要求高以及需要授权访问数据库日志等局限性，并且大多数cdc工具采用单机部署，难以扩展到集群多副本的方式，增加了单点故障和任务中断等风险。在医疗大数据的实际应用中，数据源产生日志数据同步写入到目标源过程时面临着诸多技术难点，具体体现在以下几个方面：
3、（1）中间组件的控制和管理不便：管理员需要通过后台手动输入脚本命令来查看和控制同步状态，难以实现批量管理多个源表的日志数据同步任务，对于任务的启停、表的选择等管理操作也缺乏直观易用的界面支持。
4、（2）同步过程缺乏透明度与实时性：日志数据同步过程对实施人员是一个黑盒，在紧急情况下如需快速启停任务或查询任务进度和状态，需要依赖大数据研发人员的后台操作，这增加了故障排查和应急响应的复杂度。
5、（3）同步任务健康度监控困难：有效监控cdc任务的状态（如进行中、中断和终止等）对于保障数据同步的可靠性和及时性至关重要，
6、（4）大表日志数据同步性能瓶颈：在医疗系统中，部分业务表可能产生大量日志数据，导致日志数据同步过程中容易出现任务进程中断、整个采集过程效率低下甚至任务中断或终止的情况，对业务系统的正常运行造成干扰。
7、对于在医疗大数据领域的深耕多年的数据解决方案企业，数据采集场景更加多样化且复杂，存在一些特定需求：
8、（1）多区域部署的医疗系统数据采集：对于由下游机构数据库到企业内部集群化数据库的端到端的数据库下表产生的日志，面临着多区域部署的医疗系统（如his、pass和住院系统等）应用数据采集上报，这要求cdc方案必须能够支持跨地域、跨系统的数据集成。
9、（2）异构数据源多样性：数据源的医院内部信息系统往往采用不同的数据库存储介质（如oracle），而目标源的企业内部数字化中心可能采用更先进的分布式数据库（如tidb）进行数据存储，因此，cdc方案需要具备跨异构数据源的数据采集与转换能力。
10、（3）消除数据孤岛，实现数据商业价值：医疗数据分散在各级医疗机构中，难以形成统一的数据视图，限制了数据的商业应用潜力，需要通过cdc技术实现数据的实时同步与集成，打破数据孤岛，为疾病人群划分、人群数据大屏展示和病种管理等应用提供支持。
11、因此，为了克服数据集成时面临的诸多挑战并满足行业特定需求，需要研发更加智能、高效和可靠的基于日志的cdc解决方案。
技术实现思路
1、鉴于上述，本专利技术的目的是提供一种日志数据同步任务进程控制方法和装置，实现可控制、可管理、可配置、可视化和集群化的日志数据同步任务进程控制，提高数据采集效率，节省人力和降低生产成本，通过控制台主应用的界面实现任务的可启停、可查看日志数据同步任务状态和可视化健康状态，通过执行器可扩展节点的方式提高执行器组的并发能力以应对大表日志数据同步任务，适用于多区域部署的日志同步数据集成和跨异构数据源的数据采集场景下的数据实时同步与集成，有助于医疗大数据的综合管理和应用。
2、为实现上述专利技术目的，本专利技术提供的技术方案如下：
3、本专利技术实施例提供的一种日志数据同步任务进程控制装置，包括：控制台主应用和执行器；
4、所述控制台主应用的功能包括：执行器注册、数据源配置管理、数据同步任务管理和消息队列主题管理；
5、所述执行器的功能包括：基于完成注册的执行器开启日志数据同步进程，并读取变更数据捕获增量日志数据至消息队列的主题分区下；基于数据源配置管理和数据同步任务管理的设置订阅主题，并进行变更数据捕获增量日志数据的采集和写入；以及基于多执行器节点部署组成执行器组，进行消息队列中不同主题的订阅消费并发操作。
6、优选地，在控制台主应用的数据源配置管理功能中，包括：
7、在数据源配置界面，支持输入数据源名称、用于认证的用户名和密码，选择数据源驱动程序、数据源连接信息，其中，数据源连接信息包括对应读取源和写入源的数据库的ip或端口。
8、优选地，在控制台主应用的数据同步任务管理功能中，包括：
9、在任务创建界面，支持点击新建任务功能键创建新任务并进行基础配置和高级配置，基础配置包括输入或选择任务名称、执行器组名称、同步类型、读取源连接信息、写入源连接信息，其中，同步类型包括备库模式、精准模式或镜像模式，读取源连接信息包括读取源的源实例和读取源数据库，写入源连接信息包括写入源的目标实例和写入源数据库，高级配置包括是否自动建表、是否开启快照和/或是否开启逻辑删除。
10、优选地，在控制台主应用的数据同步任务管理功能中，包括：
11、在任务控制界面，支持查看任务id、任务名称、运行状态、执行器组、增量模式、异常数量和是否快照，还支持对每项任务执行包括启动、暂停、删除、编辑、查看详情、重置位点或切换增量模式的操作，还支持点击任务名称功能键进行任务查询、点击搜索功能键进行任务搜索、以及点击新建任务功能键创建新任务。
12、优选地，在查看详情功能中，包括：
13、在任务详情界面，支持查看子任务id、读取源数据库名、读取源表名、写入源数据库名、写入源表名、快照运行状态、增量运行状态、变更数据捕获增量状态，还支持对每项子任务执行包括子操作、删除和设置主键的操作，其中子操作包括控制所选子任务的启动、停止、增量已关闭、增量补偿、开启增量快照、异常阈值和异常数据量，还支持输入表名进行表查询、点击全部功能键展示所有子任务、点击待执行补偿任务功能键查看待补偿任务、点击变更数据捕获管理功能键进行管理设置、点击快照管理功能键进行快照设置、点击补偿操作功能键进行补偿设置、以及点击批量启动功能键进行子任务批量控制。
14、优选地，在控制台主应用的消息队列主题管理功能中，包括：
15、根据不同日志类型或不同数据源创建消息队列的主题分区，初始化任务进程用于创建主题信息，初始化订阅进程用于监听主题信息，根据在任务控制界面执行的任务的启动、暂停或删除操作，将对应的消息队列的主题名称和包括启动、暂停或删除的任务状态写入到分布式缓存中间件。
16、优选地，所述基于完成注册的执行器开启日志数据同步进程，并读取变更数据捕获增量日志数据志消息队列的主题分区下，包括：
17、在控制台主本文档来自技高网...
【技术保护点】
1.一种日志数据同步任务进程控制装置，其特征在于，包括：控制台主应用和执行器；
2.根据权利要求1所述的日志数据同步任务进程控制装置，其特征在于，在控制台主应用的数据源配置管理功能中，包括：
3.根据权利要求1所述的日志数据同步任务进程控制装置，其特征在于，在控制台主应用的数据同步任务管理功能中，包括：
4.根据权利要求1所述的日志数据同步任务进程控制装置，其特征在于，在控制台主应用的数据同步任务管理功能中，包括：
5.根据权利要求4所述的日志数据同步任务进程控制装置，其特征在于，在查看详情功能中，包括：
6.根据权利要求4所述的日志数据同步任务进程控制装置，其特征在于，在控制台主应用的消息队列主题管理功能中，包括：
7.根据权利要求6所述的日志数据同步任务进程控制装置，其特征在于，所述基于完成注册的执行器开启日志数据同步进程，并读取变更数据捕获增量日志数据志消息队列的主题分区下，包括：
8.根据权利要求7所述的日志数据同步任务进程控制装置，其特征在于，所述基于数据源配置管理和数据同步任务管理的设
9.根据权利要求1所述的日志数据同步任务进程控制装置，其特征在于，基于Redis分布式缓存中间件在Java程序中封装的相关API实现执行器节点注册、执行器节点心跳维持和过期执行器节点清理。
10.一种日志数据同步任务进程控制方法，采用权利要求1-9任一项所述的日志数据同步任务进程控制装置实现，其特征在于，包括以下步骤：
...【技术特征摘要】
1.一种日志数据同步任务进程控制装置，其特征在于，包括：控制台主应用和执行器；
2.根据权利要求1所述的日志数据同步任务进程控制装置，其特征在于，在控制台主应用的数据源配置管理功能中，包括：
3.根据权利要求1所述的日志数据同步任务进程控制装置，其特征在于，在控制台主应用的数据同步任务管理功能中，包括：
4.根据权利要求1所述的日志数据同步任务进程控制装置，其特征在于，在控制台主应用的数据同步任务管理功能中，包括：
5.根据权利要求4所述的日志数据同步任务进程控制装置，其特征在于，在查看详情功能中，包括：
6.根据权利要求4所述的日志数据同步任务进程控制装置，其特征在于，在控制台主应用的消息队列主题管理功能中，包括：
7.根据权利要求6所述的日志数据同步任务进程...
【专利技术属性】
技术研发人员：张强，汪利东，童晶继，
申请(专利权)人：杭州古珀医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。