云平台资源异常自动处理系统及方法技术方案

本发明专利技术公开了云平台资源异常自动处理系统及方法，属于云平台异常资源查询和自动化处理领域，本发明专利技术要解决的技术问题为如何快速准确的定位到异常的资源，并提取问题日志以供问题分析并修复简单的异常，技术方案为：该系统是通过规则模块自定义规则模板查询并过滤日志模块中日志异常信息或资源信息过滤云平台中异常资源，通过异常处理模块导出适配各厂商云平台函数计算组件的函数，运维人员根据定义规则模板使用serverless架构触发函数计算中定义的函数处理逻辑，传入相应参数，执行异常资源修复及处理；或通过消息形式将错误日志、相关异常资源及相关信息反馈运维人员进行手动处理；同时通过调用API模块查询数据库模块中的记录信息，实现历史异常问题回溯。实现历史异常问题回溯。实现历史异常问题回溯。

【技术实现步骤摘要】
云平台资源异常自动处理系统及方法


[0001]本专利技术涉及云平台异常资源查询和自动化处理领域，具体地说是一种云平台资源异常自动处理系统及方法。

技术介绍

[0002]当前，云计算处在快速发展阶段，技术产业创新不断涌现。企业云逐渐成为趋势，随着云基础资源的激增，如何高效的管理和运维海量的资源成为影响云提供商和平台运维人员需要解决的重要问题。
[0003]通常，云计算厂商需要定时对云平台内的资源进行安全合规检查、标签检查标定、配置、安全基线检查等，同时，由于平台异常和客户非常规操作，也会导致部分资源处于异常状态。对于运维人员而言，如何快速准确的定位到异常的资源，并提取问题日志以供问题分析并修复简单的异常变得越发重要。
[0004]目前针对资源较少的云平台，可以通过运维人员人工执行命令检查各个项目中异常资源；对于资源虚机过百的环境，人工检查就变得极其困难，一般会通过执行脚本检查并处理环境异常资源。但执行脚本一方面会增加运维人员学习成本，另一方面，随着脚本增加，也会增加代码维护成本。同时，大量的脚本以定时任务的形式在云平台运行，无形中也会造成资源的浪费，不能最大化利用物理设备的计算资源，也不容易记录由脚本执行的异常处理历史，追溯并定位问题原因。现较为推荐的是使用云平台托管服务实现该功能，很多云平台都提供了资源的合规性检查服务，比如OpenStack的Congress服务、AWS Config服务等。以开源openstack为例，congress语法类似函数式写法，相对比较复杂，也会增加运维人员的学习成本，且使用场景单一，现已不在openstack社区维护。

技术实现思路

[0005]本专利技术的技术任务是提供一种云平台资源异常自动处理系统及方法，来解决如何快速准确的定位到异常的资源，并提取问题日志以供问题分析并修复简单的异常的问题。
[0006]本专利技术的技术任务是按以下方式实现的，一种云平台资源异常自动处理系统，该系统是通过规则模块自定义规则模板查询并过滤日志模块中日志异常信息或资源信息过滤云平台中异常资源，通过异常处理模块导出适配各厂商云平台函数计算组件的函数，运维人员根据定义规则模板使用serverless架构触发函数计算中定义的函数处理逻辑，传入相应参数，执行异常资源修复及处理；或通过消息形式将错误日志、相关异常资源及相关信息反馈运维人员进行手动处理；同时通过调用API模块查询数据库模块中的记录信息，实现历史异常问题回溯。
[0007]作为优选，该系统包括，
[0008]API模块，用于查询数据库历史查询信息及异常处理信息或调用规则模块进行异常资源查询和处理；
[0009]规则模块，用于接收请求，提取目标数据，并自定义规则模板；
[0010]日志模块，用于调用elasticsearchsdk过滤云平台Prometheus或Grafana收集的平台WORNING及ERROR异常日志；
[0011]数据库模块，用于记录查询信息、查询结果、触发事件及执行结果到数据库；
[0012]异常处理模块，用于记录自定义的规则模板和异常处理模板映射关系，解析对应异常资源，触发对应函数计算组件事件；其中，异常处理模板包括若干异常脚本组成的脚本库，异常脚本与规则模板中的actions一一对应，通过触发actions事件，触发异常脚本处理对应的异常数据；
[0013]云平台函数计算组件，用于根据触发的事件执行对应函数代码，修复异常问题或推送异常资源及日志信息到运维人员进行后续处理。
[0014]更优地，所述规则模板是基于YAML的简单DSL语言声明式云资源配置；规则模板包括resources、filters及actions；
[0015]其中，resources定义资源类型，资源来源包括云平台日志及通过API模块查询的资源信息；
[0016]filters定义过滤资源的方法，过滤资源的方法包括常用的值过滤和正则匹配；
[0017]actions定义对异常资源的操作，针对日志ERROR的资源选择在查询异常日志信息并分析后人工执行actions操作。
[0018]更优地，所述规则模板的模板文件包括日志规则模板文件，日志资源模板文件包括如下字段：
[0019]name：自定义本次查询的名称；
[0020]description：自定义本次查询的详情描述；
[0021]resource：以openstack.log.<组件名称>.<服务名称>标识资源类型，同时支持rabbitmq.log、mysql.log及system.log的云平台相关服务和物理机日志的查询过滤；
[0022]filters：定义过滤条件筛选服务所在节点及日志级别的条件；
[0023]actions：对于日志查询处理一般设置为wating，表示暂不处理仅过滤日志信息，待分析后根据查询结果，新建policies定义actions处理异常资源。
[0024]更优地，所述所述规则模板的模板文件还包括资源规则模板文件，资源规则模板文件包括如下字段：
[0025]name：自定义本次查询的名称；
[0026]description：自定义本次查询的详情描述；
[0027]resource：服务引擎内置了通过openstacksdk可获取的资源类型，参考使用文档可匹配对应资源；
[0028]filters：通过值过滤和正则匹配筛选过滤资源信息；
[0029]actions：服务引擎内置了通过openstacksdk可操作的资源处理方法，参考使用文档可匹配运维人员需求，对应触发函数计算中定义的事件，处理异常资源。
[0030]一种云平台资源异常自动处理方法，该方法是运维人员通过规则模板自定义查询属性，查询并过滤日志异常信息或资源信息过滤云平台中异常资源，根据结果自动生成处理函数，通过云平台函数计算组件执行对应函数处理异常资源；或通过消息形式将错误日志、相关异常资源及相关信息反馈运维人员进行手动处理。
[0031]作为优选，该方法具体如下：
[0032]运维人员通过编写resources、filters及actions指标，调用日志模块使用elasticsearchsdk查询过滤目标组件日志异常信息或通过调用openstacksdk查询过滤云平台资源信息，获取异常资源，触发异常处理事件；
[0033]异常处理模块的后台将每一次查询信息、查询结果、触发事件及执行结果通过数据库模块记录到数据库，并提供API模块以供运维人员查询历史查询及处理操作；
[0034]异常处理模块记录自定义的规则模板与异常处理模板映射关系，开发人员根据处理引擎结构开发异常处理函数；
[0035]运维人员调用API模块导出适配函数计算组件的函数模板并传入云平台函数计算组件，并根据引擎使用文档在模板文件定义对应actions属性，即可调用并触发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云平台资源异常自动处理系统，其特征在于，该系统是通过规则模块自定义规则模板查询并过滤日志模块中日志异常信息或资源信息过滤云平台中异常资源，通过异常处理模块导出适配各厂商云平台函数计算组件的函数，运维人员根据定义规则模板使用serverless架构触发函数计算中定义的函数处理逻辑，传入相应参数，执行异常资源修复及处理；或通过消息形式将错误日志、相关异常资源及相关信息反馈运维人员进行手动处理；同时通过调用API模块查询数据库模块中的记录信息，实现历史异常问题回溯。2.根据权利要求1所述的云平台资源异常自动处理系统，其特征在于，该系统包括，API模块，用于查询数据库历史查询信息及异常处理信息或调用规则模块进行异常资源查询和处理；规则模块，用于接收请求，提取目标数据，并自定义规则模板；日志模块，用于调用elasticsearchsdk过滤云平台Prometheus或Grafana收集的平台WORNING及ERROR异常日志；数据库模块，用于记录查询信息、查询结果、触发事件及执行结果到数据库；异常处理模块，用于记录自定义的规则模板和异常处理模板映射关系，解析对应异常资源，触发对应函数计算组件事件；云平台函数计算组件，用于根据触发的事件执行对应函数代码，修复异常问题或推送异常资源及日志信息到运维人员进行后续处理。3.根据权利要求1或2所述的云平台资源异常自动处理系统，其特征在于，所述规则模板是基于YAML的简单DSL语言声明式云资源配置；规则模板包括resources、filters及actions；其中，resources定义资源类型，资源来源包括云平台日志及通过API模块查询的资源信息；filters定义过滤资源的方法，过滤资源的方法包括常用的值过滤和正则匹配；actions定义对异常资源的操作，针对日志ERROR的资源选择在查询异常日志信息并分析后人工执行actions操作。4.根据权利要求3所述的云平台资源异常自动处理系统，其特征在于，所述规则模板的模板文件包括日志规则模板文件，日志资源模板文件包括如下字段：name：自定义本次查询的名称；description：自定义本次查询的详情描述；resource：以openstack.log.<组件名称>.<服务名称>标识资源类型，同时支持rabbitmq.log、mysql.log及system.log的云平台相关服务和物理机日志的查询过滤；filters：定义过滤条件筛选服务所在节点及日志级别的条件；actions：对于日志查询处理一般设置为wating，表示暂不处理仅过滤日志信息，待分析后根据查询结果，新建policies定义actions处理异常资源。5.根据权利要求4所述的云平台资源异常自动处理系统，其特征在于，所述所述规则模板的模板文件还包括资源规则模板文件，资源规则模板文件包括如下字段：name：自定义本次查询的名称；description：自定义本次查询的详情描述；resource：服务引擎内置了通过openstacksdk可获取的资源类型，参考使用文档可匹
配对应资源；filters：通过值过滤和正则匹配筛选过滤资源信息；actions：服务引擎内置了通过openstacksdk可操作的资源处理方法，参考使用文档可匹配运维人员需求，对应触发函数计算中定义的事件，处理异常资源。6...

【专利技术属性】
技术研发人员：宋洪圆，蔡卫卫，谢涛涛，宋伟，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：