【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据中台的监测方法、系统及计算机设备。
技术介绍
1、随着企业业务的不断发展和创新，信息数据日益繁杂，信息数据作为企业的主要资产，继续一种完善的管理方法。数据中台致力于汇聚全量业务系统数据，推进数据业务化，并沉淀共性数据服务能力，以提升内部质效并支撑外部融通发展。随着中台建设的深入，应用构建和部署对其数据运营和服务支撑能力的要求日益增高。各方都高度关注数据中台接入的数据、授权的应用以及链路运行异常对应用的影响。然而，现有数据中台的数据加工处理链路复杂且跨越多个组件，一旦发生异常，排查问题效率低下，难以快速定位问题所在。
技术实现思路
1、为此，本申请的实施例提供了一种数据中台的监测方法、系统及计算机设备。能够以应用场景为核心主题进行监测，保证链路正常运行。
2、第一方面，本申请提供一种数据中台的监测方法。
3、本申请是通过以下技术方案得以实现的：
4、一种数据中台的监测方法，所述方法包括：
5、构建数据中台监测基础模型；
6、解析链路监测应用场景，形成待监测应用场景清单；
7、将数据表和数据服务与所述待监测应用场景清单中的应用场景进行关联，形成待监测数据资源清单；
8、基于所述监测基础模型、待监测应用场景清单以及待监测数据资源清单，构建以应用场景为主题的链路监测服务，对数据应用链路进行监测；
9、在本申请一较佳的示例中可以进一步设置为，所述监测方法还包括：
10、利用显示设备对数据中台中的数据接入、数据流向、数据应用以及数据链路整体状况进行可视化监测。
11、在本申请一较佳的示例中可以进一步设置为，所述构建数据中台监测基础模型的步骤包括：
12、解析数据中台中的数据组件的承接关系，获取数据流向，基于所述数据流向串联各数据组件形成数据链路，基于所述数据链路构建数据中台监测基础模型；其中所述数据流向包括实时数据流向和离线数据流向。
13、在本申请一较佳的示例中可以进一步设置为，所述解析链路监测应用场景，形成待监测应用场景清单的步骤包括：
14、根据应用信息和网关服务信息，识别数据中台的链路监测应用场景；
15、获取所述链路监测应用场景的应用活跃度，按照所述应用活跃度将链路监测应用场景进行排序，基于排序结果确定待监测应用场景清单。
16、在本申请一较佳的示例中可以进一步设置为，所述将数据表和数据服务与所述待监测应用场景清单中的应用场景进行关联，形成待监测数据资源清单的步骤为：
17、通过分析服务授权信息、服务调用信息、数据集成信息以及数据源配置信息，得到数据表和数据服务与应用场景的关联关系；
18、按照所述关联关系将数据表和数据服务与待监测应用场景清单中的应用场景进行匹配，形成待监测数据资源清单。
19、在本申请一较佳的示例中可以进一步设置为，离线数据流向为：源端系统的输出端连接数据中台离线区的输入端，数据中台离线区的输出端连接在线区的输入端，在线区的输出端连接网关api的输入端，网关api的输出端连接数据应用的输入端。
20、在本申请一较佳的示例中可以进一步设置为，所述在线数据流向为：
21、源端系统的输出端连接数据分发枢纽的输入端，数据分发枢纽的输出端连接流计算框架的输入端，流计算框架的输出端连接在线区的输入端，在线区的输出端连接网关api的输入端，网关api的输出端连接数据应用的输入端。
22、在本申请一较佳的示例中可以进一步设置为，以邮件、短信或者软件页面形式发送告警信息；其中，所述告警信息包括异常等级、异常类型、异常环节以及响应时间。
23、第二方面，本申请提供一种数据中台的监测系统。
24、本申请是通过以下技术方案得以实现的：
25、一种数据中台的监测系统，所述系统包括：
26、模型搭建模块，用于构建数据中台监测基础模型；
27、应用场景确定模块，用于解析链路监测应用场景，形成待监测应用场景清单；
28、数据资源确定模块，用于将数据表和数据服务与所述待监测应用场景清单中的应用场景进行关联，形成待监测数据资源清单；
29、监测模块，用于基于所述监测基础模型、待监测应用场景清单以及待监测数据资源清单，构建以应用场景为主题的链路监测服务，对数据应用链路进行监测；
30、告警模块，用于识别数据应用链路中的异常情况，对所述异常情况进行告警。
31、第三方面，本申请提供一种计算机设备。
32、本申请是通过以下技术方案得以实现点的：
33、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种数据中台的监测方法的步骤。
34、综上所述，与现有技术相比，本申请实施例提供的技术方案带来的有益效果至少包括：
35、通过构建数据中台监测基础模型；解析链路监测应用场景，形成待监测应用场景清单；将数据表和数据服务与所述待监测应用场景清单中的应用场景进行关联，形成待监测数据资源清单；基于所述监测基础模型、待监测应用场景清单以及待监测数据资源清单，构建以应用场景为主题的链路监测服务，对数据应用链路进行监测；识别数据应用链路中的异常情况，对所述异常情况进行告警。能够以应用场景为核心，对数据链路进行监测，及时发现异常情况并处置问题。
本文档来自技高网...【技术保护点】
1.一种数据中台的监测方法，其特征在于，所述监测方法包括：
2.根据权利要求1所述的数据中台的监测方法，其特征在于，所述监测方法还包括：
3.根据权利要求1所述的数据中台的监测方法，其特征在于，所述构建数据中台监测基础模型的步骤包括：
4.根据权利要求1所述的数据中台的监测方法，其特征在于，所述解析链路监测应用场景，形成待监测应用场景清单的步骤包括：
5.根据权利要求1所述的数据中台的监测方法，其特征在于，所述将数据表和数据服务与所述待监测应用场景清单中的应用场景进行关联，形成待监测数据资源清单的步骤为：
6.根据权利要求3所述的数据中台的监测方法，其特征在于，离线数据流向为：源端系统的输出端连接数据中台离线区的输入端，数据中台离线区的输出端连接在线区的输入端，在线区的输出端连接网关API的输入端，网关API的输出端连接数据应用的输入端。
7.根据权利要求3所述的数据中台的监测方法，其特征在于，所述在线数据流向为：
8.根据权利要求1至7任一项所述的数据中台的监测方法，其特征在于，以邮件、短信或者
9.一种数据中台的监测系统，其特征在于，所述监测系统包括：
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至8任意一项所述方法的步骤。
...【技术特征摘要】
1.一种数据中台的监测方法，其特征在于，所述监测方法包括：
2.根据权利要求1所述的数据中台的监测方法，其特征在于，所述监测方法还包括：
3.根据权利要求1所述的数据中台的监测方法，其特征在于，所述构建数据中台监测基础模型的步骤包括：
4.根据权利要求1所述的数据中台的监测方法，其特征在于，所述解析链路监测应用场景，形成待监测应用场景清单的步骤包括：
5.根据权利要求1所述的数据中台的监测方法，其特征在于，所述将数据表和数据服务与所述待监测应用场景清单中的应用场景进行关联，形成待监测数据资源清单的步骤为：
6.根据权利要求3所述的数据中台的监测方法，其特征在于，离线数据流向为：源端系统的输出端连...
【专利技术属性】
技术研发人员：黄海潮，黄宇腾，何东，陈可，谢裕清，柴林，张澄心，王玲，俞天奇，姚昕雨，
申请(专利权)人：国网浙江省电力有限公司信息通信分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。