【技术实现步骤摘要】
本专利技术涉及模型管理与调度，具体来说，涉及一种基于云原生模型管理与调度的机器学习模型优化方法、介质及系统。
技术介绍
1、在现今的机器学习体系构建与应用实践中，机器学习模型的性能及其最终在实际任务中的表现，在很大程度上取决于模型背后的超参数配置。超参数是指那些在模型训练开始前由研究人员或工程师根据领域知识预先设定的参数，它们并非通过训练过程本身自动学习得到，而是直接决定了模型结构、学习过程的行为以及泛化能力等核心要素。因此，对于机器学习系统的开发者而言，超参数优化已成为一项至关重要的研究和实践课题，各种先进的超参数调整策略和技术，如网格搜索、随机搜索、贝叶斯优化等方法被广泛应用于寻求模型的最佳超参数组合。
2、网格搜索缺点是计算成本随着超参数组合数目的增加而显著增大，特别是在超参数空间较大的情况下，非常耗时且资源密集。随机搜索对于一些局部最优解敏感的场合，可能无法保证找到全局最优。贝叶斯优化在初始化阶段较慢，且实现较为复杂，需要合理设计代理模型和acquisition函数。手动特征工程高度依赖于领域知识和专家经验，难以规模化应用在高维和大规模数据集上。自动特征工程技术可能过度自动化导致丧失对特征理解的透明度，而且有时生成的特征效果并不稳定或不一定优于精心设计的手工特征。
3、现有技术在解决机器学习模型的超参数优化和特征工程问题时，存在效率低下、处理复杂度高、缺乏普适性和鲁棒性等问题，尤其是在面对大数据量、高维度和非线性复杂关系的任务时。
技术实现思路
1、
2、一种基于云原生模型管理与调度的机器学习模型优化方法，包括模型、参数空间搜索定义步骤，多组合工况流程生成步骤，多组合工况流程调度步骤以及结果优选步骤；
3、其中，模型、参数空间搜索定义步骤为，针对每一个建模处理步骤，定义模型范围，为每种模型界定可调参数的范围；
4、多组合工况流程生成步骤为，在模型、参数空间搜索定义步骤后，系统遍历所有定义好的模型和参数组合，自动生成包含所有可能变体的建模工况集合；拉取对应模型的云原生容器镜像，生成对应模型的容器并实现算法模型微服务的自动启动与部署；
5、多组合工况流程生成步骤结合应用云原生技术docker、kubernetes，以及python微服务实现模型工况的快速部署与弹性扩展；
6、多组合工况流程调度步骤为，基于云原生模型动态调度方法，实现多组合建模工况的高效调度；
7、结果优选步骤为，使用pareto前沿找到非劣解集合，权衡各指标之间的矛盾，分析各个模型组合的表现，寻找满足条件的最佳模型组合。
8、在可能的一个设计中，模型、参数空间搜索定义步骤中，模型范围涵盖多种算法类型，包括但不限于数据的预处理算法、机器学习预测算法。
9、在可能的一个设计中，模型、参数空间搜索定义步骤中，可调参数的范围包括但不限于学习率、批次大小、正则化强度。
10、在可能的一个设计中，多组合工况流程生成步骤中每个工况代表了一种独特的模型配置路径，涵盖了从数据预处理、特征工程到模型训练和评估的全流程。
11、在可能的一个设计中，多组合工况流程生成步骤结合云原生的容器化技术和微服务架构，能实现模型工况的快速部署与弹性扩展。
12、在可能的一个设计中，多组合工况流程调度步骤具体为，基于云原生模型动态调度方法，实现多组合建模工况的高效调度，通过合理分配计算资源，分布式并行处理不同模型组合以加快实验进程，通过基于前置任务匹配的调度优化方法，对于已有计算结果的部分避免重复执行，针对每种组合，记录中间结果和最终预测结果，输出并持久化不同的性能评价指标结果，同时针对每组工况的配置、参数、评估结果，进行量化和跟踪记录。
13、在可能的一个设计中，结果优选步骤具体为，使用pareto前沿找到非劣解集合，权衡各指标之间的矛盾；评估指标包括auc值、易发性指数均值及标准差；如果存在另一个解在所有最大化指标auc、标准差上大于当前解或在任何最小化指标均值上小于当前解，那么当前解就被支配，不满足pareto最优性，如果不存在这样的解，那么当前解就被认为是pareto前沿的一部分，根据性能评估矩阵和pareto前沿结果，分析各个模型组合的表现，寻找满足条件的最佳模型组合，若某个或多个模型组合存在于pareto前沿上，则认为达到此处所表达的条件；
14、其中，pareto前沿指的是在模型组合集合中，不存在其他组合能在全部评估指标上同时超越的一组最优解集合。
15、在可能的一个设计中，结果优选步骤具体为，接受一个名为solutions的输入，以滑坡易发性机器学习建模为例，该输入包含多组滑坡易发性评价的结果，每组结果都是一个可能的解决方案；具体为，
16、步骤1、初始化：首先，算法初始化一个空集合pareto_front，用于存储非劣解；
17、步骤2、遍历解决方案：对于solutions中的每个解决方案，执行以下步骤：步骤a，评估当前解：使用evaluate函数计算当前解决方案的三个指标值：auc、mean和std；其中，auc为当前解的auc值、mean为当前解的易发性指数均值、std为当前解的易发性指数标准差；
18、步骤b，设置支配状态：将is_dominated标志设置为false，表示当前解尚未被其他解支配；
19、步骤c，比较当前解与其他解：对于solutions中的每个其他解决方案，再次使用evaluate函数计算其三个指标值；然后，检查当前解是否在所有三个指标上都被其他解支配；具体地，如果auc小于pf_auc，同时mean大于pf_mean，且std小于pf_std，则当前解被其他解支配，即不满足pareto最优性，并将is_dominated设置为true，然后跳出内层循环；其中，pf_auc为其他组解对应的auc值、pf_mean为其他组解对应的mean值、pf_std为其他组解对应的std值；
20、步骤d，添加到pareto前沿：如果内层循环结束后is_dominated仍为false，则表示当前解没有被其他任何解支配，因此它是pareto前沿的一部分；将当前解添加到pareto_front集合中；
21、步骤3、返回结果：当所有解决方案都被处理完毕后，返回包含所有非劣解的pareto_front集合。
22、本专利技术还提供一种基于云原生模型管理与调度的机器学习模型优化装置，包括存储器、控制处理器及存储在所述存储器上并可在所述控制处理器上运行的计算机程序，所述控制处理器执行所述程序，以实现前述的基于云原生模型管理与调度的机器学习模型优化方法。
23、本专利技术还提供一种控制系统，包括前述的基于云原生模型本文档来自技高网...
【技术保护点】
1.一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，包括模型、参数空间搜索定义步骤，多组合工况流程生成步骤，多组合工况流程调度步骤以及结果优选步骤；
2.根据权利要求1所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，模型、参数空间搜索定义步骤中，模型范围涵盖多种算法类型，包括但不限于数据的预处理算法、机器学习预测算法。
3.根据权利要求1或2所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，模型、参数空间搜索定义步骤中，可调参数的范围包括但不限于学习率、批次大小、正则化强度。
4.根据权利要求3所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，多组合工况流程生成步骤中每个工况代表了一种独特的模型配置路径，涵盖了从数据预处理、特征工程到模型训练和评估的全流程。
5.根据权利要求1、2或4任一项所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，多组合工况流程调度步骤具体为，基于云原生模型动态调度方法，实现多组合建模工况的高效调度，通过合理分
6.根据权利要求5所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，结果优选步骤具体为，使用Pareto前沿找到非劣解集合，权衡各指标之间的矛盾；评估指标包括AUC值、易发性指数均值及标准差；如果存在另一个解在所有最大化指标AUC、标准差上大于当前解或在任何最小化指标均值上小于当前解，那么当前解就被支配，不满足Pareto最优性，如果不存在这样的解，那么当前解就被认为是Pareto前沿的一部分，根据性能评估矩阵和Pareto前沿结果，分析各个模型组合的表现，寻找满足条件的最佳模型组合，若某个或多个模型组合存在于Pareto前沿上，则认为达到此处所表达的条件；
7.根据权利要求6所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，结果优选步骤具体为，接受一个名为solutions的输入，以滑坡易发性机器学习建模为例，该输入包含多组滑坡易发性评价的结果，每组结果都是一个可能的解决方案；具体为，
8.一种基于云原生模型管理与调度的机器学习模型优化装置，其特征在于，包括存储器、控制处理器及存储在所述存储器上并可在所述控制处理器上运行的计算机程序，所述控制处理器执行所述程序，以实现如权利要求1-7任一项所述的基于云原生模型管理与调度的机器学习模型优化方法。
9.一种控制系统，其特征在于，包括权利要求8所述的基于云原生模型管理与调度的机器学习模型优化装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机实现如权利要求1-7任一项所述的基于云原生模型管理与调度的机器学习模型优化方法。
...【技术特征摘要】
1.一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，包括模型、参数空间搜索定义步骤，多组合工况流程生成步骤，多组合工况流程调度步骤以及结果优选步骤；
2.根据权利要求1所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，模型、参数空间搜索定义步骤中，模型范围涵盖多种算法类型，包括但不限于数据的预处理算法、机器学习预测算法。
3.根据权利要求1或2所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，模型、参数空间搜索定义步骤中，可调参数的范围包括但不限于学习率、批次大小、正则化强度。
4.根据权利要求3所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，多组合工况流程生成步骤中每个工况代表了一种独特的模型配置路径，涵盖了从数据预处理、特征工程到模型训练和评估的全流程。
5.根据权利要求1、2或4任一项所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，多组合工况流程调度步骤具体为，基于云原生模型动态调度方法，实现多组合建模工况的高效调度，通过合理分配计算资源，分布式并行处理不同模型组合以加快实验进程，通过基于前置任务匹配的调度优化方法，对于已有计算结果的部分避免重复执行，针对每种组合，记录中间结果和最终预测结果，输出并持久化不同的性能评价指标结果，同时针对每组工况的配置、参数、评估结果，进行量化和跟踪记录。
6.根据权利要求5所述的一种基于云原生模型管理与调度的机器学习模型优化方法，其特征在于，结...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。