本公开提供了一种服务作业日志的诊断方法，可用于金融领域或其他领域，包括：根据作业诊断信息表获取未诊断作业；根据预置的处理规则，将未诊断作业添加至诊断队列中，得到待诊断作业；对待诊断作业的作业日志进行第一关键词诊断分析，生成第一诊断结果；根据日志诊断信息库对第一诊断结果进行第二关键词匹配处理，得到第二诊断结果，第二诊断结果包括诊断建议信息，该诊断建议信息用于为用户提供作业诊断结果的处理方式。本公开还提供了一种服务作业日志的诊断系统、电子设备、计算机可读存储介质及计算机程序产品。储介质及计算机程序产品。储介质及计算机程序产品。
【技术实现步骤摘要】
一种服务作业日志的诊断方法及系统
[0001]本公开涉及日志诊断
，具体涉及一种服务作业日志的诊断方法、系统、电子设备、计算机可读存储介质及计算机程序产品。
技术介绍
[0002]随着大数据的快速发展，各行各业使用大数据技术处理业务的需求越来越多，基于分布式系统基础架构(Hadoop)集群搭建的大数据平台提供了批量服务处理业务数据。应用开发人员编写Hibernate查询语言(HQL)，通过批量作业调度框架，将作业提交HiveServer执行。随着接入应用的越来越多，大数据平台批量服务的作业任务也越来越多，作业运维难度越来越大，运维效率越来越低。现有技术中，采取手工下载日志、人工分析及定位作业问题，无法自动根据作业日志及时跟踪作业运行情况，精准定位作业问题，快速处理以减小对业务数据批量处理的影响。
技术实现思路
[0003]为解决现有技术中存在的问题，本公开的实施例提供的一种服务作业日志的诊断方法、系统、电子设备、计算机可读存储介质及计算机程序产品，以实现一键诊断作业日志、跟踪作业运行情况及精准定位作业问题。
[0004]本公开的第一个方面提供了一种服务作业日志的诊断方法，包括：根据作业诊断信息表获取未诊断作业；根据预置的处理规则，将未诊断作业添加至诊断队列中，得到待诊断作业；对待诊断作业的作业日志进行第一关键词诊断分析，生成第一诊断结果；根据日志诊断信息库，对第一诊断结果进行第二关键词匹配处理，得到第二诊断结果，第二诊断结果包括诊断建议信息，该诊断建议信息用于为用户提供作业诊断结果的处理方式。
[0005]进一步地，根据日志诊断信息库，对第一诊断结果进行第二关键词匹配处理，得到第二诊断结果，包括：根据日志诊断信息库，对第一诊断结果进行第二关键词匹配处理；判断是否存在匹配结果；若不存在匹配结果，则发送消息提示指令；若存在匹配结果，则将该匹配结果作为待诊断作业的第二诊断结果。
[0006]进一步地，该方法还包括：将不存在匹配结果的第一诊断结果的第一关键词进行记录并保存，以更新日志诊断信息库。
[0007]进一步地，作业日志包括：作业调度日志、作业执行日志及作业资源调度日志，其中，对待诊断作业的作业日志进行第一关键词诊断分析，得到第一诊断结果，包括：对作业调度日志、作业执行日志及作业资源调度日志进行第一关键词检索分析，并将检索到的第一关键词所对应的日志内容作为第一诊断结果。
[0008]进一步地，对待诊断作业的作业日志进行第一关键词诊断分析，得到第一诊断结果之前，该方法还包括：获取作业日志配置信息；根据作业日志配置信息，获取所述待诊断作业的作业日志。
[0009]进一步地，根据作业日志配置信息，获取所述待诊断作业的作业日志，包括：根据
作业日志配置信息获取调度服务器的地址信息；根据地址信息，采用文件传输协议方式获取所述作业执行日志。
[0010]进一步地，根据作业日志配置信息，获取所述待诊断作业的作业日志，包括：根据作业日志配置信息，获取数据库集群的地址信息；根据所述数据库集群的地址信息，通过组件接口获取作业执行日志及作业资源调度日志。
[0011]进一步地，根据预置的处理规则，将未诊断作业添加至诊断队列中，得到待诊断作业，包括：按照未诊断作业的生成时间或优先级别，将未诊断作业添加至诊断队列中，得到待诊断作业。
[0012]进一步地，将未诊断作业添加至诊断队列中，包括：当诊断队列中未诊断作业的数量大于等于一阈值时，停止将其他未诊断作业添加至诊断队列中；当诊断队列中未诊断作业的数量小于一阈值时，依次将其他未诊断作业添加至诊断队列中。
[0013]本公开的第二个方面提供了一种服务作业日志的诊断系统，包括：第一获取模块，用于根据作业诊断信息表获取未诊断作业；第一生成模块，用于根据预置的处理规则，将未诊断作业添加至诊断队列中，得到待诊断作业；第二生成模块，用于对待诊断作业的作业日志进行第一关键词诊断分析，得到第一诊断结果；第三生成模块，用于根据日志诊断信息库，对第一诊断结果进行第二关键词匹配处理，得到第二诊断结果，第二诊断结果包括诊断建议信息，该诊断建议信息用于为用户提供作业诊断结果的处理方式。
[0014]进一步地，第三生成模块用于根据日志诊断信息库，对第一诊断结果进行第二关键词匹配处理，得到第二诊断结果，包括：根据日志诊断信息库，对第一诊断结果进行第二关键词匹配处理；判断是否存在匹配结果；若不存在匹配结果，则发送消息提示指令；若存在匹配结果，则将该匹配结果作为待诊断作业的第二诊断结果。
[0015]进一步地，该系统还包括：第二获取模块，用于获取作业日志配置信息；根据作业日志配置信息，获取待诊断作业的作业日志。
[0016]本公开的第三个方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本公开的第一个方面提供的服务作业日志的诊断方法。
[0017]本公开的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开的第一个方面提供的服务作业日志的诊断方法。
[0018]本公开的第五个方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开的第一个方面提供的服务作业日志的诊断。
[0019]本公开提供的一种服务作业日志的诊断方法、系统、电子设备、计算机可读存储介质及计算机程序产品，基于Hadoop集群的大数据批量服务作业日志诊断方法，能够针对大数据平台批量服务中失败作业和未启动作业提供问题诊断分析功能，帮助用户快速、精准定位错误并分析原因，提高了用户运维批量作业的效率。
附图说明
[0020]为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
[0021]图1示意性示出了根据本公开一实施例的服务作业日志的诊断方法的应用场景
图；
[0022]图2示意性示出了根据本公开一实施例的服务作业日志的诊断方法的流程图；
[0023]图3示意性示出了根据本公开一实施例的基于Hadoop集群的大数据批量服务作业运行框架图；
[0024]图4示意性示出了根据本公开一实施例的作业日志诊断的流程图；
[0025]图5示意性示出了根据本公开另一实施例的服务作业日志的诊断方法的流程图；
[0026]图6示意性示出了根据本公开一实施例的服务作业日志诊断流程图；
[0027]图7示意性示出了根据本公开一实施例的服务作业日志的诊断系统的方框图；
[0028]图8示意性示出了根据本公开另一实施例的服务作业日志的诊断系统的方框图；
[0029]图9示意性示出了根据本公开一实施例的适于实现上文描述的方法的电子设备的方框图。
具体实施方式
[0030]以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种服务作业日志的诊断方法，其特征在于，包括：根据作业诊断信息表获取未诊断作业；根据预置的处理规则，将所述未诊断作业添加至诊断队列中，得到待诊断作业；对所述待诊断作业的作业日志进行第一关键词诊断分析，得到第一诊断结果；根据日志诊断信息库对所述第一诊断结果进行第二关键词匹配处理，得到第二诊断结果；所述第二诊断结果包括诊断建议信息，该诊断建议信息用于为用户提供作业诊断结果的处理方式。2.根据权利要求1所述的服务作业日志的诊断方法，其特征在于，所述根据日志诊断信息库对所述第一诊断结果进行第二关键词匹配处理，得到第二诊断结果，包括：根据所述日志诊断信息库，对所述第一诊断结果进行第二关键词匹配处理；判断是否存在匹配结果；若不存在匹配结果，则发送消息提示指令；若存在匹配结果，则将该匹配结果作为所述待诊断作业的第二诊断结果。3.根据权利要求2所述的服务作业日志的诊断方法，其特征在于，该方法还包括：将不存在匹配结果的所述第一诊断结果的第一关键词进行记录并保存，以更新所述日志诊断信息库。4.根据权利要求1所述的服务作业日志的诊断方法，其特征在于，所述作业日志包括：作业调度日志、作业执行日志及作业资源调度日志，其中，所述对所述待诊断作业的作业日志进行第一关键词诊断分析，得到第一诊断结果，包括：对所述作业调度日志、所述作业执行日志及所述作业资源调度日志进行第一关键词检索分析，并将检索到的第一关键词所对应的日志内容作为第一诊断结果。5.根据权利要求4所述的服务作业日志的诊断方法，其特征在于，所述对所述待诊断作业的作业日志进行第一关键词诊断分析，得到第一诊断结果之前，该方法还包括：获取作业日志配置信息；根据所述作业日志配置信息，获取所述待诊断作业的作业日志。6.根据权利要求5所述的服务作业日志的诊断方法，其特征在于，所述根据所述作业日志配置信息，获取所述待诊断作业的作业日志，包括：根据所述作业日志配置信息获取调度服务器的地址信息；根据所述地址信息，采用文件传输协议方式获取所述作业调度日志。7.根据权利要求5所述的服务作业日志的诊断方法，其特征在于，所述根据所述作业日志配置信息，获取所述待诊断作业的作业日志，包括：根据所述作业日志配置信息，获取数据库集群的地址信息；根据所述数据库集群的地址...
【专利技术属性】
技术研发人员：宋哲，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。