【技术实现步骤摘要】
本专利技术涉及数据处理，尤其是一种算法自动匹配及参数优化方法及系统。
技术介绍
1、算法仓库提供了高效、可重用的解决方案，帮助开发者和研究人员在各种应用场景中实现从数据预处理、特征提取到模型训练和预测的全过程。通过调用成熟的算法仓库中的算法模型，用户可以显著减少开发时间，避免重复造轮子。
2、算法匹配和调优更是提升系统性能和准确性的关键步骤。匹配合适的算法可以确保针对特定问题选用最优方案，而调优则进一步优化算法参数，使其在实际应用中表现最佳。这不仅提高了算法的有效性和效率，还增强了系统的鲁棒性和可靠性。
3、现有算法匹配及优化方法主要有网格搜索、随机搜索、贝叶斯优化，网格搜索法通过穷举搜索法在预定义的超参数空间中寻找最佳参数组合，但当搜索空间大时计算时间和资源消耗巨大。随机搜索从超参数空间中随机抽取参数组合进行搜索，虽然减少了计算复杂度，但可能错过最佳参数组合的可能性较大。贝叶斯优化利用贝叶斯统计模型预测最优超参数，通过迭代更新模型以找到最优解，其主要缺点是实现复杂度高，并且在高维参数空间中表现可能不佳。上述现有匹配及优化方法虽在小参数空间下有不错的效果，但在一些面向大数据分析的任务，如人口数据挖掘等，便存在如计算复杂度高、时间开销大、资源消耗多等诸多缺陷。
技术实现思路
1、为解决上述现有技术问题，本专利技术提供一种算法自动匹配及参数优化方法及系统。
2、第一方面，本申请实施例提供一种算法自动匹配及参数优化方法，包括：获取用户的需求录入信息；其
3、可选地，所述基于所述搜索空间以及所述目标数据，从所述多个算法模型筛选出满足条件的候选算法模型，包括：将所述目标数据划分为样本数据以及检验数据；其中，所述样本数据包括标签数据以及未标记数据；结合所述搜索空间，将所述样本数据代入所述多个算法模型，获取训练后的多个算法模型；将所述检验数据代入所述训练后的多个算法模型中，筛选出满足条件的候选算法模型。
4、可选地，通过如下步骤确定所述标签数据，包括：将所述样本数据的数据属性标签的语义属性与所述任务需求的描述进行语义相似度匹配；将满足相似度条件的数据属性进行遮掩并作为标签；将添加标签的样本数据作为所述标签数据。
5、可选地，所述将所述样本数据的数据属性标签的语义属性与所述任务需求的描述进行语义相似度匹配，包括：基于预设语言模型提取所述任务需求的描述中的多个关键词；将所述样本数据的数据属性标签的语义属性与所述多个关键词进行相似度匹配，获取匹配度；其中，所述匹配度为与所述多个关键词进行相似度匹配的相似度均值；相应的，所述相似度条件为所述匹配度大于设定相似度阈值。
6、可选地，所述将所述检验数据代入所述训练后的多个算法模型中，筛选出满足条件的候选算法模型，包括：将所述检验数据代入所述训练后的多个算法模型中，计算所述多个算法模型的指标精度；响应于存在满足指标需求的算法模型，输出该算法模型；其中，该算法模型为筛选出的候选算法模型。
7、可选地，在将所述检验数据代入所述训练后的多个算法模型中，计算所述多个算法模型的指标精度之后，所述方法还包括：响应于不存在满足指标需求的算法模型，抽取每个算法模型在训练中多个步骤的隐层输出；将每个算法模型在训练中多个步骤的隐层输出的数据分布进行拟合；取与输入的原始数据的数据分布最接近的预设数量的算法模型为所述候选算法模型。
8、可选地，所述针对所述搜索空间对所述候选算法模型进行最优参数搜索，确定出目标算法模型以及该目标算法模型的最优参数，包括：s1：获取所述搜索空间，并将每个超参数作为种群个体，构建种群；s2：构造适应度函数，并基于当前种群计算适应度；其中，所述适应度函数用于计算采用当前种群的超参数下的候选算法模型的误差；s3：根据适应度，对所述种群中的个体进行筛除，并将剩下的个体通过轮盘赌算法进行交叉变异，得到新种群；重复步骤s2~s3，直至满足终止条件后，输出目标算法模型以及该目标算法模型的最优参数。
9、可选地，所述终止条件包括：针对所述搜索空间对所述候选算法模型进行最优参数搜索的时长达到最大时长。
10、可选地，所述终止条件包括：计算的最新的适应度与适应度的最优值的差异连续多次小于设定阈值。
11、第二方面，本申请提供一种算法自动匹配及参数优化系统，包括：获取模块，用于获取用户的需求录入信息；其中，所述需求录入信息包括场景需求、对象需求以及任务需求；提取模块，用于基于所述任务需求从算法仓库中确定出相关联的多个算法模型，以及基于所述场景需求和所述对象需求，从数据库中抽取相关联的目标数据；算法筛选模块，用于基于所述场景需求构建搜索空间，并基于所述搜索空间以及所述目标数据，从所述多个算法模型筛选出满足条件的候选算法模型；其中，所述搜索空间包括算法模型的超参数迭代次数、超参数取值范围；参数筛选模块，用于针对所述搜索空间对所述候选算法模型进行最优参数搜索，确定出目标算法模型以及该目标算法模型的最优参数。
12、本专利技术的有益效果包括：本申请提供的算法自动匹配及参数优化方法，以用户需求为条件，通过用户需求获取目标数据并构造搜索空间，然后，基于目标数据以及搜索空间对算法仓库中相关联的多个算法模型进行初次筛选，得到满足条件的候选算法模型。接着，针对初次筛选后的候选算法模型，继续通过搜索空间，完成参数的最优搜索。该方式相较于现有技术，能够实现更高效地算法自动匹配及参数优化，且计算复杂度与现有技术相比也较低。
13、需要说明的是，本申请通过两部分改进以实现上述目的，第一，先进行候选算法模型的初筛，再对候选算法模型的最优参数进行搜索，相较于现有技术如网格搜索法通过穷举搜索在预定义的超参数空间中寻找所有算法模型的最佳参数组合相比，能够极大地提高效率，减少了计算时间和资源消耗。第二，本申请以用户需求为条件，获取目标数据并构造搜索空间，该方式也进一步地提高了搜索效率，减少了计算时间和资源消耗。
本文档来自技高网...【技术保护点】
1.一种算法自动匹配及参数优化方法，其特征在于，包括：
2.根据权利要求1所述的算法自动匹配及参数优化方法，其特征在于，所述基于所述搜索空间以及所述目标数据，从所述多个算法模型筛选出满足条件的候选算法模型，包括：
3.根据权利要求2所述的算法自动匹配及参数优化方法，其特征在于，通过如下步骤确定所述标签数据，包括：
4.根据权利要求3所述的算法自动匹配及参数优化方法，其特征在于，所述将所述样本数据的数据属性标签的语义属性与所述任务需求的描述进行语义相似度匹配，包括：
5.根据权利要求2所述的算法自动匹配及参数优化方法，其特征在于，所述将所述检验数据代入所述训练后的多个算法模型中，筛选出满足条件的候选算法模型，包括：
6.根据权利要求5所述的算法自动匹配及参数优化方法，其特征在于，在将所述检验数据代入所述训练后的多个算法模型中，计算所述多个算法模型的指标精度之后，所述方法还包括：
7.根据权利要求1所述的算法自动匹配及参数优化方法，其特征在于，所述针对所述搜索空间对所述候选算法模型进行最优参数搜索，确定出目标算法
8.根据权利要求7所述的算法自动匹配及参数优化方法，其特征在于，所述终止条件包括：针对所述搜索空间对所述候选算法模型进行最优参数搜索的时长达到最大时长。
9.根据权利要求7所述的算法自动匹配及参数优化方法，其特征在于，所述终止条件包括：计算的最新的适应度与适应度的最优值的差异连续多次小于设定阈值。
10.一种算法自动匹配及参数优化系统，其特征在于，包括：
...【技术特征摘要】
1.一种算法自动匹配及参数优化方法，其特征在于，包括：
2.根据权利要求1所述的算法自动匹配及参数优化方法，其特征在于，所述基于所述搜索空间以及所述目标数据，从所述多个算法模型筛选出满足条件的候选算法模型，包括：
3.根据权利要求2所述的算法自动匹配及参数优化方法，其特征在于，通过如下步骤确定所述标签数据，包括：
4.根据权利要求3所述的算法自动匹配及参数优化方法，其特征在于，所述将所述样本数据的数据属性标签的语义属性与所述任务需求的描述进行语义相似度匹配，包括：
5.根据权利要求2所述的算法自动匹配及参数优化方法，其特征在于，所述将所述检验数据代入所述训练后的多个算法模型中，筛选出满足条件的候选算法模型，包括：
6.根据权利要求5所述的算法自动...
【专利技术属性】
技术研发人员：代幻成，吕建洲，王颖，叶健，
申请(专利权)人：四川三合力通科技发展集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。