【技术实现步骤摘要】
本专利技术涉及一种数据分析方法，尤其是涉及一种提供边缘计算服务的设备数据异常分析方法。
技术介绍
1、在边缘计算行业，不同设备由于其各自的硬件配置、网络配置以及周围环境的变化，可能会对设备提供边缘计算服务的能力产生负面影响。特别是随着万物互联和5g高带宽、低时延时代的到来，边缘计算行业对于边缘节点的高效利用和高质量分布有了更高的要求。基于数据驱动的自动化分析方式已成为迫在眉睫的需求，以解决设备管理复杂度、扩展性和灵活性方面的挑战。
2、现有技术一：在边缘计算环境中，设备可能经常出现多维度报警，例如系统代理（agent）版本过低导致设备未能正确接收业务下发，从而影响计算量甚至导致无法正常运行。此时，用户通常需要通过反馈，由运营人员手动重启代理或重新下发业务。运营人员需要根据设备数据排查硬件和网络异常，并在排查后进行调整。然而，现有技术一的缺点在于，虽然基于运营经验可以解决一些问题，但由于设备数量庞大，排查和处理过程耗时耗力。一些故障可能需要开发人员介入，导致排查成本过高，而有些设备实际上可能没有问题，从而造成了无用的工作量。
3、现有技术二：报警级别和扣分项通常是由人工根据自身工作经验进行配置。然而，现有技术二的缺点在于人工配置的报警级别和扣分项存在主观性，可能会因用户反馈和经验分析而产生误差，并且缺乏可追溯性。由于报警种类繁多，对人工操作的要求较高，不同报警阈值的设定也可能导致各种问题的出现。
技术实现思路
1、本专利技术提供了一种提供边缘计算服务的设备数据
2、一种提供边缘计算服务的设备数据异常分析方法，包括以下步骤：
3、s1：数据采集：边缘节点设备通过设备代理向数据中心上报数据，所述数据以消息的模式通过rabbit mq消息中间件进行传送；
4、s2：制定规则引擎，数据中心通过规则引擎识别和过滤异常数据；进一步的，所述规则引擎通过spring-spel解决常规的规则定义，通过drools对数据进行业务化定制规则；
5、s3：数据传输：利用kettle作为etl，从rabbit mq中抽取规则引擎过滤后的设备报警数据，对数据进行匹配规则和分发，报警数据落到hdfs分布式文件系统，并留存到模型预处理文件夹作为模型训练的数据集；
6、s4：创建ai模型，通过对每日留存的设备报警数据进行训练，用于生成报警分类、报警评分、报警评级的模型。
7、进一步的，步骤s1中，所述数据包括自身设备各种维度信息，以及设备的报警数据、硬件配置信息、网络信息。
8、步骤s1中，所述数据中心的架构采用pigsty集群，用于对数据归档、查询、分析。
9、进一步的，步骤s2中，所述spring-spel用于解决常规的规则定义，过滤配置化的一维规则定义；所述drools用于对数据进行业务化定制规则，过滤复杂或有定制化流程的规则。
10、进一步的，步骤s3中，所述kettle拷贝一份全量数据流回业务库，用于实时数据的查询和展示，确保用户能够及时获取设备状态和报警信息。
11、进一步的，步骤s4中，创建ai模型包括以下步骤：
12、s11：使用字典创建数据框，对设备的报警指标进行构建，实现数据准备；
13、s12：将原始数据转换为适合模型输入的格式，创建特征工程；
14、s13：按照一定比例对原始数据进行数据集划分；
15、s14：采用xgboost的xgbregressor回归模型进行模型训练；
16、s15：使用xgboost模型的
17、feature_importances = model.feature_importances_ 属性来提取每个报警分类特征的重要性，并将其转换为百分比格式，以及算出不同报警分类对结算的影响程度，匹配出报警分类与结算影响权重之间的关系，进行影响分析。
18、进一步的，步骤s11中，所述字典采用python pandas数据分析库，所述报警指标包括磁盘丢包、网络类型、网络协议、上行带宽和结算带宽。
19、进一步的，步骤s12中，对于分类特征需要将其转换为数值形式，对分类特征进行编码。
20、进一步的，步骤s13中，使用平方误差作为损失函数，训练的树的数量指定为76。
21、进一步的，还包括步骤s16：根据报警特征的重要性，对报警分类的业务配置进行手动或自动更新，并生成更新日志以及模型处理结果作为配置优化的依据。
22、所述提供边缘计算服务的设备数据异常分析方法，构建了一套以设备上报数据为基础，通过规则引擎实现自主判定是否符合报警的阈值，并且结合ai算法模块实现对报警等级动态更新的功能，通过数据驱动和智能分类ai算法的自动化分析，取代人工分析，以实时简洁的方式展示设备问题，使用户能够尽早发现设备异常，了解如何处理和修复后使得设备稳定提供边缘计算服务，从而提升用户满意度。
本文档来自技高网...【技术保护点】
1.一种提供边缘计算服务的设备数据异常分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤S1中，所述数据包括自身设备各种维度信息，以及设备的报警数据、硬件配置信息、网络信息。
3.根据权利要求1所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤S1中，所述数据中心的架构采用Pigsty集群，用于对数据归档、查询、分析。
4.根据权利要求1所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤S2中，所述Spring-spel用于解决常规的规则定义，过滤配置化的一维规则定义；所述drools用于对数据进行业务化定制规则，过滤复杂或有定制化流程的规则。
5.根据权利要求1所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤S3中，所述kettle拷贝一份全量数据流回业务库，用于实时数据的查询和展示，确保用户能够及时获取设备状态和报警信息。
6.根据权利要求1所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤S4中，创
7.根据权利要求6所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤S11中，所述字典采用python pandas数据分析库，所述报警指标包括磁盘丢包、网络类型、网络协议、上行带宽和结算带宽。
8.根据权利要求6所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤S12中，对于分类特征需要将其转换为数值形式，对分类特征进行编码。
9.根据权利要求6所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤S13中，使用平方误差作为损失函数，训练的树的数量指定为76。
10.根据权利要求6所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：还包括步骤S16：根据报警特征的重要性，对报警分类的业务配置进行手动或自动更新，并生成更新日志以及模型处理结果作为配置优化的依据。
...【技术特征摘要】
1.一种提供边缘计算服务的设备数据异常分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤s1中，所述数据包括自身设备各种维度信息，以及设备的报警数据、硬件配置信息、网络信息。
3.根据权利要求1所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤s1中，所述数据中心的架构采用pigsty集群，用于对数据归档、查询、分析。
4.根据权利要求1所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤s2中，所述spring-spel用于解决常规的规则定义，过滤配置化的一维规则定义；所述drools用于对数据进行业务化定制规则，过滤复杂或有定制化流程的规则。
5.根据权利要求1所述的提供边缘计算服务的设备数据异常分析方法，其特征在于：步骤s3中，所述kettle拷贝一份全量数据流回业务库，用于实时数据的查询和展示，确保用户能够及时获取设备状态和报警信息...
【专利技术属性】
技术研发人员：刘云鹏，林玉鑫，陈曦，
申请(专利权)人：北京领雾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。