【技术实现步骤摘要】
所属的技术人员能够理解，本专利技术的各个方面可以实现为系统、方法或程序产品。因此，本专利技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。根据本专利技术的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本专利技术实施例的功能和使用范围带来任何限制。电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同系统组件(包括储存器和处理器)的总线。其中，储存器存储有程序代码，程序代码可以被处理器执行，使得处理器执行本说明书上述“示例性方法”部分中描述的根据本专利技术各种示例性实施方式的步骤。储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器(ram)和/或高速缓存储存器，还可以进一步包括只读储存器(rom)。储存器还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器
技术介绍
1、随着息技术的发展以及应用场景中各种需求的增加，为了能够满足对应的需求，对应的需要数据处理系统能够对接连接多种数据源发送平台，以收集获取各种种类的数据。另外，为了能够将经过处理后的数据分发给各种下游的应用直接使用，通常还需要数据处理系统对接各种应用的数据管理平台。通常这些数据不仅包括传统的结构化数据(如数据库中的表格数据)，还有大量的非结构化或半结构化数据(如文本、图片、视频等)。基于上述原因，通常对于一些具有较高综合服务能力的数据处理系统而言，其中的数据流转关系非常的复杂，对应的也会导致后期在进行数据维护及治理时，难以准确快速的确定出，数据异常可能出现的问题点位。
技术实现思路
1、针对上述技术问题，本专利技术采用的技术方案为：
2、根据本专利技术的一个方面，提供了一种数据流转信息的生成方法，用于生成多源数据处理系统中数据集的依赖关系信息，多源数据处理系统包括kafka消息队列、hdfs、hive数据仓库及多种应用侧的数据管理平台，kafka消息队列通过hdfs与hive数据仓库通信连接，hive数据仓库分别与多种应用侧的数据管理平台通信连接；
3、数据流转信息的生成方法包括如下步骤：
4、通过监控多源数据处理系统中的预设操作行为，来获取每一次数据集流转的节点信息与数据通道信息；节点信息为数据集流转过程中的存储节点信息；数据通道信息为数据本文档来自技高网...
【技术保护点】
1.一种数据流转信息的生成方法，其特征在于，用于生成多源数据处理系统中数据集的依赖关系信息，所述多源数据处理系统包括Kafka消息队列、HDFS、Hive数据仓库及多种应用侧的数据管理平台，所述Kafka消息队列通过HDFS与所述Hive数据仓库通信连接，所述Hive数据仓库分别与多种应用侧的数据管理平台通信连接；
2.根据权利要求1所述的方法，其特征在于，通过监控所述多源数据处理系统中的预设操作行为，来获取每一次数据集流转的节点信息与数据通道信息，包括：
3.根据权利要求2所述的方法，其特征在于，当数据平台为Kafka消息队列与Hive数据仓库时，通过监控多源数据处理系统中，不同类型数据平台之间的预设操作行为，来获取每一次数据集流转的节点信息与数据通道信息，包括：
4.根据权利要求2所述的方法，其特征在于，当数据平台为Es与Hive数据仓库时，通过监控多源数据处理系统中，不同类型数据平台之间的预设操作行为，来获取每一次数据集流转的节点信息与数据通道信息，包括：
5.根据权利要求2所述的方法，其特征在于，当数据平台为MySQL与Hi
6.根据权利要求2所述的方法，其特征在于，当数据平台为Kylin与Hive数据仓库时，通过监控多源数据处理系统中，不同类型数据平台之间的预设操作行为，来获取每一次数据集流转的节点信息与数据通道信息，包括：
7.根据权利要求2所述的方法，其特征在于，通过监控Hive数据仓库中的预设操作行为，来获取每一次数据集流转的节点信息与数据通道信息，包括：
8.根据权利要求7所述的方法，其特征在于，监控获取Hive数据仓库的每一操作指令，包括：
9.一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的一种数据流转信息的生成方法。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的一种数据流转信息的生成方法。
...【技术特征摘要】
1.一种数据流转信息的生成方法，其特征在于，用于生成多源数据处理系统中数据集的依赖关系信息，所述多源数据处理系统包括kafka消息队列、hdfs、hive数据仓库及多种应用侧的数据管理平台，所述kafka消息队列通过hdfs与所述hive数据仓库通信连接，所述hive数据仓库分别与多种应用侧的数据管理平台通信连接；
2.根据权利要求1所述的方法，其特征在于，通过监控所述多源数据处理系统中的预设操作行为，来获取每一次数据集流转的节点信息与数据通道信息，包括：
3.根据权利要求2所述的方法，其特征在于，当数据平台为kafka消息队列与hive数据仓库时，通过监控多源数据处理系统中，不同类型数据平台之间的预设操作行为，来获取每一次数据集流转的节点信息与数据通道信息，包括：
4.根据权利要求2所述的方法，其特征在于，当数据平台为es与hive数据仓库时，通过监控多源数据处理系统中，不同类型数据平台之间的预设操作行为，来获取每一次数据集流转的节点信息与数据通道信息，包括：
5.根据权利要求2所述的方法，其特征在于，当数据平台为mysql与hive数据仓库...
【专利技术属性】
技术研发人员：张凯伦，苏茹梅，贾楠楠，郑冬成，
申请(专利权)人：中航信移动科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。