【技术实现步骤摘要】
本专利技术涉及数据监控，尤其涉及一种快运数仓调度监控方法、装置、设备及存储介质。
技术介绍
1、在现代企业运营中，数据仓库的调度配置扮演着至关重要的角色；通过调度配置，确保了数据能够按照既定的计划进行更新和同步，使得数据能够持续不断地为业务决策和流程优化提供支持。
2、然而，在实际调度配置过程中，经常会遇到各种不可预见的异常情况，对数据的准确性和时效性造成了消极影响，比如：
3、1、源系统数据结构的变更可能会导致数据同步过程中出现数据不匹配的问题，具体的，当源系统进行升级或优化时，原有的数据结构可能会发生变化，若未及时更新调度配置，则可能导致数据无法正确地抽取和加载到数据仓库中；
4、2、源系统数据容易出现录入错误或延迟问题，人为的失误或系统故障都可能导致数据在录入过程中出现错误，或者数据未能在预定时间内到达，直接影响了数据仓库中的数据的准确性和实时性。
5、3、当数据仓库中的数据验证规则设置不当时，可能会导致错误的数据被接收，或者正确的数据被错误地拒绝，从而影响数据质量；
6、4、数据仓库通常依赖于多个数据源，若任一数据源延迟或未能及时提供数据，可能会导致整个数据处理流程受阻。
7、因此，有必要对数据仓库的数据调度配置过程进行监控，可见，现有技术还有待改进和提高。
技术实现思路
1、为了克服现有技术的不足，本专利技术的目的在于提供一种快运数仓调度监控方法，使用shell+sql脚本语言开发，具有高效、轻量等优
2、本专利技术第一方面提供了一种快运数仓调度监控方法，包括：设计基础表的结构，使用sql脚本，基于所设计的基础表的结构创建基础表；创建用于实现监控和调度任务的shell脚本，并设置定时任务；基于所述定时任务定期执行所述shell脚本，以对快运数仓进行定期监控；当出现异常情况时，获取异常信息以确认异常类型，并将所获取的异常信息填入所创建的基础表中；基于所确认的异常类型，从所创建的基础表中获取异常解决方案，并根据异常解决方案生成异常解决指令。
3、可选的，在本专利技术第一方面的第一种实现方式中，所述设计基础表的结构，使用sql脚本，基于所设计的基础表的结构创建基础表，包括：获取设计信息，所述设计信息包括任务信息、队列信息、依赖关系信息、触发条件和动作信息以及预警条件和动作信息；基于所获取的设计信息设计基础表的结构，所述基础表包括任务表、队列表、依赖表、触发表和预警表；基于所设计的基础表的结构，分别为每个基础表编写相应的sql创建语句，完成基础表的创建。
4、可选的，在本专利技术第一方面的第二种实现方式中，所述创建用于实现监控和调度任务的shell脚本，包括：基于所获取的设计信息，编写用于实现监控和调度任务的shell脚本；采用预设的文件格式保存所编写的shell脚本，得到脚本文件；通过执行命令为脚本文件赋予执行权限，得到执行文件；对执行文件进行执行测试，将通过执行测试的执行文件部署至快运数仓调度监控系统中。
5、可选的，在本专利技术第一方面的第三种实现方式中，所述并设置定时任务，包括：运行cron编辑器，并打开与cron编辑器对应的crontab配置文件；在crontab配置文件编写定期任务的执行计划，所述执行计划包括执行时间和执行路径，所述执行路径为执行文件的实际路径；保存编写后的crontab配置文件，并退出cron编辑器，完成定时任务的设置。
6、可选的，在本专利技术第一方面的第四种实现方式中，所述基于所述定时任务定期执行所述shell脚本，以对快运数仓进行定期监控，包括：基于所述定时任务定期执行所述shell脚本，每当执行一次shell脚本时，创建监控日志，以记录与每次执行对应的监控情况；编写用于监控所述shell脚本执行情况的监控脚本，所述监控脚本包括所监控的shell脚本的名称、监控间隔时间、用于监控是否shell脚本是否运行的监控函数以及用于重启所述shell脚本的重启函数；当发现所述shell脚本未正常运行时，基于所述重启函数重启所述shell脚本。
7、可选的，在本专利技术第一方面的第五种实现方式中，所述当出现异常情况时，获取异常信息以确认异常类型，并将所获取的异常信息填入所创建的基础表中，包括：基于所述监控日志判断是否存在异常情况，当出现异常情况时，获取异常信息；基于所述异常信息中的错误代码进行异常类型的初步分类，得到初步分类信息；使用正则表达式从初步分类信息中提取关键信息，并使用日志分析工具对所提取的关键信息进行统计分析，得到分析信息；将所述分析信息输入至基于决策树算法预构建的异常识别模型中，得到与异常情况对应的异常类型；将所获取的异常信息以及所述异常类型填入所创建的基础表中。
8、可选的，在本专利技术第一方面的第六种实现方式中，所述基于所确认的异常类型，从所创建的基础表中获取异常解决方案，并根据异常解决方案生成异常解决指令，包括：在所创建的基础表中，基于二叉搜索树结构为异常类型标识创建标识索引；基于所确认的异常类型以及所创建的标识索引，采用字符串相似度算法匹配异常类型标识，以提取与异常类型标识对应的异常解决方案；基于所提取的异常解决方案生成异常解决指令，并对所生成的异常解决指令进行指令测试；发布通过指令测试的异常解决指令。
9、本专利技术第二方面提供了一种快运数仓调度监控装置，包括：第一创建模块，用于设计基础表的结构，使用sql脚本，基于所设计的基础表的结构创建基础表；第二创建模块，用于创建用于实现监控和调度任务的shell脚本，并设置定时任务；执行模块，用于基于所述定时任务定期执行所述shell脚本，以对快运数仓进行定期监控；获取模块，用于当出现异常情况时，获取异常信息以确认异常类型，并将所获取的异常信息填入所创建的基础表中；生成模块，用于基于所确认的异常类型，从所创建的基础表中获取异常解决方案，并根据异常解决方案生成异常解决指令。
10、可选的，在本专利技术第二方面的第一种实现方式中，所述第一创建模块包括:第一获取单元，用于获取设计信息，所述设计信息包括任务信息、队列信息、依赖关系信息、触发条件和动作信息以及预警条件和动作信息；设计单元，用于基于所获取的设计信息设计基础表的结构，所述基础表包括任务表、队列表、依赖表、触发表和预警表；第一编写单元，用于基于所设计的基础表的结构，分别为每个基础表编写相应的sql创建语句，完成基础表的创建。
11、可选的，在本专利技术第二方面的第二种实现方式中，所述第二创建模块包括：第二编写单元，用于基于所获取的设计信息，编写用于实现监控和调度任务的shell脚本；第一保存单元，用于采用预设的文件格式保存所编写的shell脚本，得到脚本文件；权限赋予单元，用于通过执行命令为脚本文件赋予执行权限，得到执行文件；测试单元，用于对执行文件进行执行测试，将通过执行测试的执行文件部署至快运数仓调度监控系统中。
1本文档来自技高网...
【技术保护点】
1.一种快运数仓调度监控方法，其特征在于，包括：
2.根据权利要求1所述的快运数仓调度监控方法，其特征在于，所述设计基础表的结构，使用SQL脚本，基于所设计的基础表的结构创建基础表，包括：
3.根据权利要求2所述的快运数仓调度监控方法，其特征在于，所述创建用于实现监控和调度任务的shell脚本，包括：
4.根据权利要求3所述的快运数仓调度监控方法，其特征在于，所述并设置定时任务，包括：
5.根据权利要求1所述的快运数仓调度监控方法，其特征在于，所述基于所述定时任务定期执行所述shell脚本，以对快运数仓进行定期监控，包括：
6.根据权利要求5所述的快运数仓调度监控方法，其特征在于，所述当出现异常情况时，获取异常信息以确认异常类型，并将所获取的异常信息填入所创建的基础表中，包括：
7.根据权利要求1所述的快运数仓调度监控方法，其特征在于，所述基于所确认的异常类型，从所创建的基础表中获取异常解决方案，并根据异常解决方案生成异常解决指令，包括：
8.一种快运数仓调度监控装置，其特征在于，包括：
<...【技术特征摘要】
1.一种快运数仓调度监控方法，其特征在于，包括：
2.根据权利要求1所述的快运数仓调度监控方法，其特征在于，所述设计基础表的结构，使用sql脚本，基于所设计的基础表的结构创建基础表，包括：
3.根据权利要求2所述的快运数仓调度监控方法，其特征在于，所述创建用于实现监控和调度任务的shell脚本，包括：
4.根据权利要求3所述的快运数仓调度监控方法，其特征在于，所述并设置定时任务，包括：
5.根据权利要求1所述的快运数仓调度监控方法，其特征在于，所述基于所述定时任务定期执行所述shell脚本，以对快运数仓进行定期监控，包括：
6.根据权利要求5所述的快运数仓调度监控方法，其特征在于，...
【专利技术属性】
技术研发人员：苏战营，李晓军，杲先柱，连梦真，赵珂，朱立诚，
申请(专利权)人：上海乾臻信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。