基于DataX的民航数据同步方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于DataX的民航数据同步方法及装置，方法包括基于用户信息配置用户权限；获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面；基于用户数据源列表选择数据源，并按照DataX的脚本规则构建所述数据源的同步任务脚本；配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。通过针对不同的用户采集用户信息，从而配置对应的用户权限，并形成数据源对应的数据源列表的连接界面，构建数据源的同步任务脚本，当用户登录时，可以调用用户权限范围内的数据源列表，基于该数据源列表选择数据源，加入数据同步的执行任务列表，进而可以进行数据同步任务。同步任务。同步任务。

【技术实现步骤摘要】
基于DataX的民航数据同步方法及装置


[0001]本专利技术涉及计算机数据处理
，具体涉及一种基于DataX的民航数据同步方法及装置。

技术介绍

[0002]目前，在数字信息时代，拥有庞大数据的民航业，就是一座巨大的金矿，而对这座金矿的挖掘，大数据技术是挖掘数据价值的重要手段，通过大数据技术，发掘数据价值，推动智慧民航的快速发展。数据的采集与治理是大数据工作的第一步也是重要的一步，随着5G时代的到来，在民航企业内部，各种系统都在产生越来越多的数据，且每个系统使用的数据库以及产生的数据形式各异，而当需要将这些不同系统的数据进行统一治理，打破系统间的数据孤岛时，将会是令人头疼的过程。

技术实现思路

[0003]针对所述缺陷，本专利技术实施例公开了一种基于DataX的民航数据同步方法、装置、设备及存储介质，其可以统一平台权限管理，在保证数据安全性的前提下兼容不同数据源，提高数据管理能力。
[0004]本专利技术实施例第一方面公开了基于DataX的民航数据同步方法，其特征在于，包括：
[0005]获取用户信息，基于用户信息配置用户权限；
[0006]获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面；
[0007]基于所述用户数据源列表选择数据源，并按照DataX的脚本规则构建所述数据源的同步任务脚本；
[0008]配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。
[0009]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述获取用户信息，基于用户信息配置用户权限，包括：
[0010]获取任意一个用户所对应的身份信息、岗位信息；
[0011]基于所述身份信息和所述岗位信息配置该用户权限，所述用户权限包括用户同步数据权限，所述用户同步数据权限包括操作数据权限、维护下级用户的数据权限、关联下级用户的数据权限
[0012]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面，包括：
[0013]根据民航数据库类型获得民航数据源类型，结合所述民航数据源类型和DataX支持的数据源类型选取对应的目标数据源类型，配置所述目标数据源类型对应的数据库参数；
[0014]根据用户权限结合所述目标数据源类型构建用户数据源列表；
[0015]配置所述用户数据源列表中每个目标数据源类型分别所对应的目标数据源的连接界面。
[0016]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述基于所述用户数据源列表选择数据源，并按照DataX的脚本规则构建所述数据源的同步任务脚本，包括：
[0017]根据所述用户数据源列表调用所述数据源以及数据源字段信息，配置所述数据源字段信息与所述数据源的映射关系；
[0018]根据所述映射关系并按照DataX的脚本规则构建所述数据源的同步任务脚本。
[0019]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表，包括：
[0020]将所述同步任务脚本保存为待执行任务；
[0021]配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。
[0022]作为一种可选的实施方式，在本专利技术实施例第一方面中，还包括：
[0023]配置执行器的执行定时参数，以生成执行计划；
[0024]基于所述执行计划执行所述执行任务列表中的同步任务脚本。
[0025]本专利技术实施例第二方面公开一种基于DataX的民航数据同步装置，包括：
[0026]用户信息获取模块：用于获取用户信息，基于用户信息配置用户权限；
[0027]数据源构建模块：用于获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面；
[0028]任务脚本构建模块：用于基于所述用户数据源列表选择数据源，并按照DataX的脚本规则构建所述数据源的同步任务脚本；
[0029]任务脚本接收模块：用于配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。
[0030]作为一种可选的实施方式，在本专利技术实施例第二方面中，用户信息获取模块中，包括：
[0031]获取任意一个用户所对应的身份信息、岗位信息；
[0032]基于所述身份信息和所述岗位信息配置该用户权限，所述用户权限包括用户同步数据权限，所述用户同步数据权限包括操作数据权限、维护下级用户的数据权限、关联下级用户的数据权限。
[0033]作为一种可选的实施方式，在本专利技术实施例第二方面中，所述获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面，包括：
[0034]根据民航数据库类型获得民航数据源类型，结合所述民航数据源类型和DataX支持的数据源类型选取对应的目标数据源类型，配置所述目标数据源类型对应的数据库参数；
[0035]根据用户权限结合所述目标数据源类型构建用户数据源列表；
[0036]配置所述用户数据源列表中每个目标数据源类型分别所对应的目标数据源的连接界面。
[0037]作为一种可选的实施方式，在本专利技术实施例第二方面中，所述基于所述用户数据
和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0056]本专利技术实施例公开了基于DataX的民航数据同步方法、装置、电子设备及存储介质，通过针对不同的用户采集用户信息，从而配置对应的用户权限，并形成数据源对应的数据源列表的连接界面，构建数据源的同步任务脚本，当用户登录时，可以调用用户权限范围内的数据源列表，基于该数据源列表选择数据源，加入数据同步的执行任务列表，进而可以进行数据同步任务。
[0057]实施例一
[0058]请参阅图1，图1是本专利技术实施例公开的基于DataX的民航数据同步方法的流程示意图。其中，本专利技术实施例所描述的方法的执行主体为由软件或/和硬件组成的执行主体，该执行主体可以通过有线或/和无线方式接收相关信息，并可以发送一定的指令。当然，其还可以具有一定的处理功能和存储功能。该执行主体可以控制多个设备，例如远程的物理服务器或云服务器以及相关软件，也可以是对某处安置的设备进行相关操作的本地主机或服务器以及相关软件等。在一些场景中，还可以控制多个存储设备，存储设备可以与设备放置于同一地方或不同地方。如图1所示，该基于基于DataX的民航数据同步方法包括以下步骤：
[0059]步骤101：获取用户信息，基于用户信息配置用户权限。
[0060]实施例中，民航的数据管理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DataX的民航数据同步方法，其特征在于，包括：获取用户信息，基于用户信息配置用户权限；获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面；基于所述用户数据源列表选择数据源，并按照DataX的脚本规则构建所述数据源的同步任务脚本；配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。2.根据权利要求1所述的民航数据同步方法，其特征在于，所述获取用户信息，基于用户信息配置用户权限，包括：获取任意一个用户所对应的身份信息、岗位信息；基于所述身份信息和所述岗位信息配置该用户权限，所述用户权限包括用户同步数据权限，所述用户同步数据权限包括操作数据权限、维护下级用户的数据权限、关联下级用户的数据权限。3.根据权利要求2所述的民航数据同步方法，其特征在于，所述获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面，包括：根据民航数据库类型获得民航数据源类型，结合所述民航数据源类型和DataX支持的数据源类型选取对应的目标数据源类型，配置所述目标数据源类型对应的数据库参数；根据用户权限结合所述目标数据源类型构建用户数据源列表；配置所述用户数据源列表中每个目标数据源类型分别所对应的目标数据源的连接界面。4.根据权利要求3所述的民航数据同步方法，其特征在于，所述基于所述用户数据源列表选择数据源，并按照DataX的脚本规则构建所述数据源的同步任务脚本，包括：根据所述用户数据源列表调用所述数据源以及数据源字段信息，配置所述数据源字段信息与所述数据源的映射关系；根据所述映射关系并按照DataX的脚本规则构建所述数据源的同步任务脚本。5.根据权利要求4所述的民航数据同步方法，...

【专利技术属性】
技术研发人员：张宇光，马维兵，陈星，范修伟，邓朝成，胡俊恒，
申请(专利权)人：广州民航信息技术有限公司，
类型：发明
国别省市：