【技术实现步骤摘要】
本专利技术涉及数据管理，具体地说是一种异构数据源的统一管理方法、系统、设备及介质。
技术介绍
1、大数据时代背景下，随着业务需求的不断增多，数据源种类也在不断增加。针对业务上存在的多种异构数据源，需要统一的数据源管理系统，合理、有效地提供数据服务、数据治理能力。同时，需要有效的手段打破异构数据源之间的数据孤岛壁垒，使数据顺利交互共享。
2、现如今，大部分的统一数据源管理系统只支持部分数据库的管理与维护，无法支持新兴的国产化数据库。同时，对于非结构化数据源，无法实现统一的维护和管理。主流数据源管理系统已实现针对适配数据库的维护和管理，但无法提供统一、整合、高效的日志管理能力。
3、故如何整合结构化与非结构化数据源，达到异构数据源的统一有效管理是目前亟待解决的技术问题。
技术实现思路
1、本专利技术的技术任务是提供一种异构数据源的统一管理方法、系统、设备及介质，来解决如何整合结构化与非结构化数据源，达到异构数据源的统一有效管理的问题。
2、本专利技术的技术任务是按以下方式实现的，一种异构数据源的统一管理方法，该方法具体如下：
3、定义标准化模型：根据各个数据源共性特点，整合内部元素的特征关系，定义统一的元模型；
4、数据源权限控制：根据标准化模型获取一种元数据，即可生成一个数据源，记录用户与数据源之间的映射关系，定义一个用户id，标注为数据源的一个属性，用户获取数据源时，用户只能获取与自身id有关的数据源，无法查看其他用户的数
5、数据源统一日志：定义统一的日志模型，记录用户操作日志，同时标准化输出数据源系统内部日志。
6、作为优选，定义标准化模型具体如下：
7、定义标准元模型：标准元模型的属性包括编码、名称、描述及特征关系；
8、其中，编码是元模型的标识，同一用户的元模型编码是唯一的；名称是元模型的名称；描述是用户对元模型的特有说明；特征关系是元模型之间的关联关系，通常为上下级关系；
9、用户根据标准元模型获取相应元数据，并对元数据的类型进行标准化处理，获取标准化数据类型。
10、更优地，标准元模型适配异构数据源的不同特征，具有支持个性化拓展的功能；情况如下：
11、对于结构化数据的数据源，标准元模型定义为库、模式、表及列；
12、标准元模型包括编码、名称、描述及特征关系的基本属性，同时标准元模型包括定义字符集及引擎的个性化属性。
13、更优地，标准化数据类型适配异构数据源的统一类型；
14、其中，标准化数据类型包括数值类型、字符串类型、时间类型、布尔类型以及大对象类型。
15、作为优选，用户id是根据数据源的对应信息获取，用户id的获取方式包括加密及哈希计算；
16、其中，加密采用对称加密、非对称加密或摘要算法；
17、哈希计算采用将数据源的对应信息进行哈希计算获取哈希值。
18、作为优选，统一的日志模型包括用户id、操作类型、脚本内容、脚本执行结果、脚本的执行时间以及脚本的执行信息。
19、更优地，数据源的日志分为用户操作日志和数据源系统内部日志；
20、其中，用户操作日志是用户在建立、修改及删除数据源信息的操作日志，记录用户的行为；
21、数据源系统内部日志是数据库内部记录脚本的执行日志，反映脚本的执行过程、执行结果、执行内容及执行时间。
22、一种异构数据源的统一管理系统，该系统用于实现上述的异构数据源的统一管理方法，该系统包括：
23、标准化模型定义模块，用于根据各个数据源共性特点，整合内部元素的特征关系，定义统一的元模型；
24、数据源权限控制模块，用于根据标准化模型获取一种元数据，即可生成一个数据源，记录用户与数据源之间的映射关系，定义一个用户id，标注为数据源的一个属性，用户获取数据源时，用户只能获取与自身id有关的数据源，无法查看其他用户的数据源信息；
25、数据源统一日志模块，用于定义统一的日志模型，记录用户操作日志，同时标准化输出数据源系统内部日志。
26、其中，非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片,html、各类报表、图像和音频/视频信息等等。结构化数据与之相对。
27、元模型是关于模型的模型。这是特定领域的模型，定义概念并提供用于创建该领域中的模型的构建元素。
28、元数据是描述数据的数据，对数据及信息资源的描述性信息。
29、对称加密是采用单钥密码系统的加密方法，同一个密钥可以同时用作信息的加密和解密。
30、非对称加密是由对应的一对唯一性密钥(即公开密钥和私有密钥)组成的加密方法。它解决了密钥的发布和管理问题，是商业密码的核心。在公钥加密体制中，没有公开的是私钥，公开的是公钥。
31、摘要算法是不需要密钥，并且经过加密的数据无法被解密的算法。
32、一种电子设备，包括：存储器和至少一个处理器；
33、其中，所述存储器上存储有计算机程序；
34、所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的异构数据源的统一管理方法。
35、一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的异构数据源的统一管理方法。
36、本专利技术的异构数据源的统一管理方法、系统、设备及介质具有以下优点：
37、(一)本专利技术通过定义统一的元模型和标准数据类型，实现整合大部分结构化与非结构化数据源，以及异构数据源的统一管理；并且针对数据安全建立用户级控制，通过用户权限实现数据源隐私和数据隔离；同时，针对管理与运维，提出异构数据源的统一日志方法，从而达到异构数据源的统一、有效地管理；
38、(二)本专利技术通过异构数据源的标准化处理，有效避免因数据源的类型不同而导致的数据类型等元数据的差异化；
39、(三)本专利技术通过用户级权限控制保护数据的隐私性；
40、(四)本专利技术通过异构数据源的统一维护、审计方法，能够整合多种主流的异构数据源，定义统一的标准，提供统一的维护、操作、日志的能力；
41、(五)本专利技术提供统一的标准化模型、统一的用户权限控制以及统一的日志输出模型，实现结构化数据源与非结构化数据源的整合，提供统一的平台面向更深层次的业务需求，进而提供高效的业务处理能力；同时，本专利技术提供日常运维所需的日志审计方式，满足日常运维操作的便捷性。
本文档来自技高网...【技术保护点】
1.一种异构数据源的统一管理方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的异构数据源的统一管理方法，其特征在于，定义标准化模型具体如下：
3.根据权利要求2所述的异构数据源的统一管理方法，其特征在于，标准元模型适配异构数据源的不同特征，具有支持个性化拓展的功能；情况如下：
4.根据权利要求2所述的异构数据源的统一管理方法，其特征在于，标准化数据类型适配异构数据源的统一类型；
5.根据权利要求1所述的异构数据源的统一管理方法，其特征在于，用户ID是根据数据源的对应信息获取，用户ID的获取方式包括加密及哈希计算；
6.根据权利要求1所述的异构数据源的统一管理方法，其特征在于，统一的日志模型包括用户ID、操作类型、脚本内容、脚本执行结果、脚本的执行时间以及脚本的执行信息。
7.根据权利要求1或6所述的异构数据源的统一管理方法，其特征在于，数据源的日志分为用户操作日志和数据源系统内部日志；
8.一种异构数据源的统一管理系统，其特征在于，该系统用于实现如权利要求1至7任一项所述的异构数据源的统
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至7中任一项所述的异构数据源的统一管理方法。
...【技术特征摘要】
1.一种异构数据源的统一管理方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的异构数据源的统一管理方法，其特征在于，定义标准化模型具体如下：
3.根据权利要求2所述的异构数据源的统一管理方法，其特征在于，标准元模型适配异构数据源的不同特征，具有支持个性化拓展的功能；情况如下：
4.根据权利要求2所述的异构数据源的统一管理方法，其特征在于，标准化数据类型适配异构数据源的统一类型；
5.根据权利要求1所述的异构数据源的统一管理方法，其特征在于，用户id是根据数据源的对应信息获取，用户id的获取方式包括加密及哈希计算；
6.根据权利要求1所述的异构数据源的统一管理方法，...
【专利技术属性】
技术研发人员：孙续航，路国隋，李存冰，陈海宁，李会，苏航，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。