任务报错的自愈方法、装置、设备和可读存储介质制造方法及图纸

本发明专利技术公开了一种任务报错的自愈方法、装置、设备和可读存储介质，该方法包括：接收hive批处理任务的报错信息，对报错信息进行解析，获得报错信息对应的应用名称和错误类型；获取预设训练报错表，根据错误类型更新预设训练报错表的报错状态码，预设训练报错表包括报错状态码、错误内容和处理方案；获取应用名称对应的应用任务日志，根据错误类型从应用任务日志中确定错误内容；根据报错状态码和错误内容在更新后的预设训练报错表中确定报错信息的处理方案；获取报错信息的处理方案对hive批处理任务进行自愈，根据自愈后的hive批处理任务运行状态确定hive批处理任务的自愈结果。行状态确定hive批处理任务的自愈结果。行状态确定hive批处理任务的自愈结果。

【技术实现步骤摘要】
任务报错的自愈方法、装置、设备和可读存储介质


[0001]本专利技术涉及软件监控
，具体涉及一种任务报错的自愈方法、装置、设备和可读存储介质。

技术介绍

[0002]随着互联网技术的快速发展，开发人员所需分析处理的任务数据也在逐渐增多。对于大量任务数据的处理，通常使用hive(基于Hadoop构建的一套数据仓库分析系统)中的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，实现对于大数据量(批处理任务)的运算处理。然而，在hive批处理任务运行过程中，常常由于参数设置不合理、数据倾斜、数据冗余、job或I/O(输入/输出数据)过多、MapReduce(面向大数据并行处理的计算模型、框架和平台)分配不合理等等原因导致报错，这些报错往往通过重跑、修改参数设置，优化SQL等方式进行处理。只有及时对报错信息进行解决，才能保证hive批处理任务的顺利运行。
[0003]现有技术是通过人工干预处理报错的，具体地，判断报错信息是哪一个应用系统的任务中的，对该任务代码进行判断，分析错误原因，根据经验设计相应的处理方案进行解决。在该处理报错的方式中，人工判断的过程往往使得任务运行时间延长，处理效率低，影响生产跑批，且根据人为经验获取处理方案，不具有通用性，增加开发成本。
[0004]针对现有技术中人工处理报错效率低的技术问题，目前未存在有效的解决办法。

技术实现思路

[0005]本专利技术的目的在于提供了一种任务报错的自愈方法、装置、设备和可读存储介质，能够解决现有技术中人工处理报错效率低的技术问题。
[0006]本专利技术的一个方面提供了一种任务报错的自愈方法，该方法包括：接收hive批处理任务的报错信息，对报错信息进行解析，获得报错信息对应的应用名称和错误类型；获取预设训练报错表，根据错误类型更新预设训练报错表的报错状态码，预设训练报错表包括报错状态码、错误内容和处理方案；获取应用名称对应的应用任务日志，根据错误类型从应用任务日志中确定错误内容；根据报错状态码和错误内容在更新后的预设训练报错表中确定报错信息的处理方案；获取报错信息的处理方案对hive批处理任务进行自愈，根据自愈后的hive批处理任务运行状态确定hive批处理任务的自愈结果。
[0007]可选地，根据报错状态码和错误内容在更新后的预设训练报错表中确定报错信息的处理方案的步骤，包括：判断更新后的预设训练报错表中报错状态码是否为非零数字符号，若是非零数字符号，对报错状态码对应的错误内容进行筛选；将应用任务日志中的错误内容与筛选出的错误内容进行匹配，根据匹配结果确定报错信息的处理方案；若匹配成功，确定匹配成功的错误内容对应的处理方案为报错信息的处理方案，否则将预设备选处理方案作为报错信息的处理方案。
[0008]可选地，根据自愈后的hive批处理任务运行状态确定hive批处理任务的自愈结果
的步骤，包括：若自愈后的hive批处理任务的运行状态为正常时，确定hive批处理任务自愈成功；若hive批处理任务的运行状态为异常时，对hive批处理任务执行预设备选处理方案，若hive批处理任务的运行状态为正常时，确定hive批处理任务自愈成功，并记录预设备选处理方案为报错信息的目标处理方案。
[0009]可选地，在若hive批处理任务的运行状态为异常时，对hive批处理任务执行预设备选处理方案，若hive批处理任务的运行状态为正常时，确定hive批处理任务自愈成功，并记录预设备选处理方案为报错信息的目标处理方案之后，该方法还包括：根据预设比较序列模块比较报错信息的处理方案与目标处理方案，获得差异内容；将差异内容替换至预设训练报错表中的处理方案相应代码处。
[0010]可选地，根据错误类型更新预设训练报错表的报错状态码的步骤，包括：将错误类型作为关键字与预设训练报错表的错误内容进行匹配，确定包含关键字的所有错误内容；将包含关键字的所有错误内容的报错状态码均设置为非零数字符号。
[0011]可选地，该方法还包括：当hive批处理任务的运行状态正常时，对预设训练报错表的报错状态码进行初始化，以对下一次hive批处理任务的报错信息做出响应。
[0012]本专利技术的另一个方面提供了一种任务报错的自愈装置，该装置包括：接收模块，用于接收hive批处理任务的报错信息，对报错信息进行解析，获得报错信息对应的应用名称和错误类型；第一更新模块，用于获取预设训练报错表，根据错误类型更新预设训练报错表的报错状态码，预设训练报错表包括报错状态码、错误内容和处理方案；获取模块，用于获取应用名称对应的应用任务日志，根据错误类型从应用任务日志中确定错误内容；确定模块，用于根据报错状态码和错误内容在更新后的预设训练报错表中确定报错信息的处理方案；自愈模块，用于根据报错信息的处理方案对hive批处理任务进行自愈，根据自愈后的hive批处理任务运行状态确定hive批处理任务的自愈结果。
[0013]本专利技术的再一个方面提供了一种计算机设备，该计算机设备包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述任一实施例的任务报错的自愈方法。
[0014]本专利技术的又一个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例的任务报错的自愈方法。进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
[0015]本专利技术提供的任务报错的自愈方法、装置、设备和可读存储介质，在接收到hive批处理任务的报错信息时，对该报错信息进行解析，获得报错信息对应的应用名称和错误类型，获取预设训练报错表，根据错误类型更新预设训练报错表的报错状态码，以对存储的错误内容进行区分，减小获取目标错误内容的查找范围，提升了报错自愈效率，获取应用名称对应的应用任务日志，根据错误类型从应用任务日志中确定错误内容，根据报错状态码和错误内容在更新后的预设训练报错表中确定报错信息的处理方案，以报错状态码和错误内容作为搜索条件，能够实现在更新后的预设训练报错表中对于目标处理方案的快速定位，获取该处理方案对hive批处理任务进行自愈，根据自愈后的hive批处理任务运行状态确定hive批处理任务的自愈结果。通过判断自愈后hive批处理任务的运行状态确定自愈结果的
完成度，检测是否需要进行进一步的自愈处理，使得任务均正常运行。本专利技术将报错自愈过程自动化，减少了备选成本，提升了自愈效率。基于本申请，解决了现有技术中备选处理报错效率低的技术问题，通过更新报错状态码和错误内容实现目标处理方案的快速定位，有效提高了任务报错自愈效率。
附图说明
[0016]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务报错的自愈方法，其特征在于，所述方法包括：接收hive批处理任务的报错信息，对所述报错信息进行解析，获得所述报错信息对应的应用名称和错误类型；获取预设训练报错表，根据所述错误类型更新所述预设训练报错表的报错状态码，所述预设训练报错表包括报错状态码、错误内容和处理方案；获取所述应用名称对应的应用任务日志，根据所述错误类型从所述应用任务日志中确定错误内容；根据所述报错状态码和所述错误内容在更新后的预设训练报错表中确定所述报错信息的处理方案；获取所述报错信息的处理方案对所述hive批处理任务进行自愈，根据自愈后的所述hive批处理任务运行状态确定所述hive批处理任务的自愈结果。2.根据权利要求1所述的方法，所述根据所述报错状态码和所述错误内容在更新后的预设训练报错表中确定所述报错信息的处理方案，包括：判断更新后的预设训练报错表中报错状态码是否为非零数字符号，若是非零数字符号，对所述报错状态码对应的错误内容进行筛选；将所述应用任务日志中的错误内容与筛选出的错误内容进行匹配，根据匹配结果确定所述报错信息的处理方案；若匹配成功，确定匹配成功的错误内容对应的处理方案为所述报错信息的处理方案，否则将预设人工处理方案作为所述报错信息的处理方案。3.根据权利要求1所述的方法，其特征在于，所述根据自愈后的所述hive批处理任务运行状态确定所述hive批处理任务的自愈结果，包括：若自愈后的所述hive批处理任务的运行状态为正常时，确定所述hive批处理任务自愈成功；若所述hive批处理任务的运行状态为异常时，对所述hive批处理任务执行预设备选处理方案，若所述hive批处理任务的运行状态为正常时，确定所述hive批处理任务自愈成功，并记录所述预设备选处理方案为所述报错信息的目标处理方案。4.根据权利要求3所述的方法，其特征在于，在所述若所述hive批处理任务的运行状态为异常时，对所述hive批处理任务执行预设备选处理方案，若所述hive批处理任务的运行状态为正常时，确定所述hive批处理任务自愈成功，并记录所述预设备选处理方案为所述报错信息的目标处理方案之后，所述方法还包括：根据预设比较序列模块比较所述报错信息的处理方案与目...

【专利技术属性】
技术研发人员：陈佳依，
申请(专利权)人：平安资产管理有限责任公司，
类型：发明
国别省市：