一种基于弱监督学习的云服务器配置异常识别方法技术

本发明专利技术涉及数据处理领域，具体涉及一种基于弱监督学习的云服务器配置异常识别方法主要包括以下步骤：S1:读取服务器基础配置信息，所述服务器基础配置信息包括离散变量与非离散变量，读取历史服务器使用时长；S2:将服务器基础配置信息作为CatBoost回归模型的特征变量，将历史服务器使用时长作为CatBoost回归模型的监督信息，得到服务器使用时长的预测模型；S3：将服务器基础配置信息中的非离散变量、使用服务器使用时长的预测模型得到的预期服务器使用时长作为孤立森林模型的特征变量，得到异常识别模型。本发明专利技术利用了服务器使用时长作为服务器搭配异常问题的弱监督信号，从而提升了模型的表现力。升了模型的表现力。升了模型的表现力。

【技术实现步骤摘要】
一种基于弱监督学习的云服务器配置异常识别方法


[0001]本专利技术涉及数据处理领域，具体涉及一种基于弱监督学习的云服务器配置异常识别方法。

技术介绍

[0002]云计算平台也称为云平台，是指基于算力资源的服务，提供计算、网络和存储能力。算力资源可以分为硬件资源和软件资源，其中的硬件资源有服务器、存储器和CPU等，软件资源包括应用软件和集成开发环境等。用户只需要通过网络发送请求就可以从云端获取满足需求的资源到本地的计算机，所有的计算任务都是在远程的云数据中心完成。云计算平台与人们熟知的电商平台在组成上十分相似，都拥有用户、提供商、商品三大要素。在云计算平台中，用户是算力资源的使用者，其人群主要由科研人员(教师、学生等)、企业中的技术人员(软件开发、数据库管理者)，以及部分有需求的大众组成，通常具备一定的计算机软硬件知识。云计算平台的提供商是算力资源的实际拥有者，往往是拥有算力基础设施的大型互联网公司。云计算平台的商品含云、网、边、端四大类，其中以云这一类别中的云服务器为主。云服务器通常分为通用云服务器和GPU云服务器，随着人工智能的发展，为了满足日益增长的神经网络训练的需求，GPU云服务器成为不可或缺的热门商品。
[0003]将合适的商品推荐给用户可以提升用户体验，是推荐系统最重要的目标。推荐系统本质上一种信息过滤系统，通过一定的算法在数据中过滤掉用户不太可能产生行为的物品，从而为用户推荐所需要的物品。推荐系统在日常生活中应用十分广泛，小到商场的捆绑销售，大到电商、新闻网站，无时不刻不在影响和改变着人们都生活方式。传统的推荐系统是基于用户的行为，通过协同过滤算法，计算商品与商品之间或是用户与用户之间的相似度，然后进行推荐。目前市场上最常见的电商平台推荐系统是以多路召回架构为基石，通过嵌入学习和知识图谱等人工智能相关的手段，提供个性化、智能化的推荐方案。然而云计算平台在用户行为、商品类型等各方面都与传统推荐系统所适用的电商平台存在一定差异，因此不能完全参考电商平台的推荐系统。计算平台用户通常购买的商品类型较少，且会较为长期的使用，像电商平台那样频繁地推荐琳琅满目的不同类型的商品并不合适。此外，云计算平台有一个很为关键的场景，即部分商品需要用户自定义相关的配置，例如购买云服务器的用户需要对磁盘容量、CPU、内存、GPU等做出选择。因此，在构建云计算平台推荐系统时需要结合平台自身的真实数据，致力于发觉各类应用场景并通过场景创新的方式将人工智能相关技术更好地落实在应用层面，从而全方位提高用户体验、给云计算平台赋能。
[0004]在上述的服务器配置选择场景中，由于用户的专业背景不同，有些用户并不知道自己的选择是否合理。例如用户在购买GPU云服务器时选择了32GB的内存，但是磁盘容量却只选择了30GB。由于选择多核高内存GPU服务器的用户大多是为了训练机器学习模型，因此若是将这样的配置直接投入使用，很快便会出现磁盘空间不足引起的各种错误。
[0005]异常检测的传统方法有以下两种：
[0006]1)基于规则的方式：根据用户可选择的配置，手动定义各类异常状况的触发条件。
例如手动定义所选的内存容量与磁盘空间异常时的规则。
[0007]2)基于统计学的方式：利用统计学的指标，通过某个连续变量衡量当前用户所选的配置和绝大多数用户相比是否属于异常的。例如，统计中使用IQR方法(Interquartile Range，四分距离)或是正态分布对某一连续变量的值进行异常识别。
[0008]但这两种方法，均有一定的局限性，第一种方法有太多的主观因素，性能不稳定，且费时费力，第二种方法，模型过于粗糙，适用性不强。

技术实现思路

[0009]本专利技术的目的是解决用户云在计算平台上选择服务器这一场景下的配置搭配相关的推荐问题，提出了一种基于弱监督学习的配置搭配异常识别方案。
[0010]一种基于弱监督学习的云服务器配置异常识别方法，包括以下步骤：
[0011]S1:从历史数据中，读取服务器基础配置信息，所述服务器基础配置信息包括离散变量与非离散变量，读取历史服务器使用时长；
[0012]S2:将服务器基础配置信息作为CatBoost回归模型的特征变量，将历史服务器使用时长作为CatBoost回归模型的监督信息，得到服务器使用时长的预测模型，用于计算预期服务器使用时长；
[0013]S3：将服务器基础配置信息中的非离散变量、使用服务器使用时长的预测模型得到的预期服务器使用时长作为孤立森林模型的特征变量，得到异常识别模型；
[0014]S4：将待测试的数据中服务器基础配置信息输入到服务器使用时长的预测模型，并将得到的预期服务器使用时长作为异常识别模型的输入，同时将服务器基础配置信息中的非离散变量作为异常识别模型的输入，即可得到被识别为异常的服务器。
[0015]进一步的，
[0016]S1中还包括从历史数据中，读取用户族群信息；
[0017]S2中还包括将用户族群信息作为CatBoost回归模型的特征变量；
[0018]S4中还包括将待测试的数据中用户族群信息输入到服务器使用时长的预测模型。
[0019]进一步的，
[0020]S3中服务器基础配置信息中的非离散变量，变量间相关度低于相关度阈值的变量独立作为孤立森林模型的特征变量，变量间相关度高于相关度阈值的变量取互相之间的比例，作为孤立森林模型的特征变量。
[0021]进一步的，对所述比例进行对数转化处理后，再作为孤立森林模型的特征变量。
[0022]进一步的，所述相关度阈值为皮尔森相关系数0.25。
[0023]进一步的，所述孤立森林模型生成的异常识别模型，在其异常识别步骤增加一个条件，需同时满足预期服务器使用时长低于服务器使用时长阈值时，才能判定为异常。
[0024]进一步的，所述服务器使用时长阈值为168小时。
[0025]进一步的，所述服务器基础配置信息的离散变量为系统、架构，所述所述服务器基础配置信息的非离散变量为CPU核数、内存容量、硬盘容量、网络带宽。
[0026]进一步的，所述S2中CatBoost回归模型使用的超参数包括：迭代次数：1000，决策树结构：对称，L2正则化强度：3，决策树最大深度：6，学习率：0.0496，最大叶子数量：64。
[0027]进一步的，所述S3中孤立森林模型的超参数包括：是否使用Bootstrap：是的，污染
度：0.01，最大特征数：1.0，决策树数量：1000。
[0028]有益效果：
[0029]关键点1，使用服务器使用时长作为弱监督信号。技术效果：从某种意义上说给用户推荐其能够最长期使用的商品可以被视为一种合理的推荐，因为使用时长往往与用户满意程度成正相关。往往用户发现配置不合适后会注销原服务器并重新创建新服务器，因此服务器使用时长与配置合理性存在一定的关联。但是由于部分被长时间投入使用的服务器也存在配置搭配不合理的情况，因此服务器使用时长只能作为弱监本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于弱监督学习的云服务器配置异常识别方法，其特征在于，包括以下步骤：S1:从历史数据中，读取服务器基础配置信息，所述服务器基础配置信息包括离散变量与非离散变量，读取历史服务器使用时长；S2:将服务器基础配置信息作为CatBoost回归模型的特征变量，将历史服务器使用时长作为CatBoost回归模型的监督信息，得到服务器使用时长的预测模型，用于计算预期服务器使用时长；S3：将服务器基础配置信息中的非离散变量、使用服务器使用时长的预测模型得到的预期服务器使用时长作为孤立森林模型的特征变量，得到异常识别模型；S4：将待测试的数据中服务器基础配置信息输入到服务器使用时长的预测模型，并将得到的预期服务器使用时长作为异常识别模型的输入，同时将服务器基础配置信息中的非离散变量作为异常识别模型的输入，即可得到被识别为异常的服务器。2.根据权利要求1所述的一种基于弱监督学习的云服务器配置异常识别方法，其特征在于，S1中还包括从历史数据中，读取用户族群信息；S2中还包括将用户族群信息作为CatBoost回归模型的特征变量；S4中还包括将待测试的数据中用户族群信息输入到服务器使用时长的预测模型。3.根据权利要求1所述的一种基于弱监督学习的云服务器配置异常识别方法，其特征在于，S3中服务器基础配置信息中的非离散变量，变量间相关度低于相关度阈值的变量独立作为孤立森林模型的特征变量，变量间相关度高于相关度阈值的变量取互相之间的比例，作为孤立森林模型的特征变量。4.根据权利要求...

【专利技术属性】
技术研发人员：田秋雨，唐宏伟，潘志伟，王晓虹，
申请(专利权)人：中科南京信息高铁研究院，
类型：发明
国别省市：