本公开提供了一种算法测试方法、装置、计算机设备及可读存储介质，其中，该方法包括：基于针对多种功能类型的算法模型预先定义的多个通用属性维度，对用于评测目标算法模型的测试数据进行结构化处理，得到在多个通用属性维度下的结构化数据；基于结构化数据中的数据内容和真值标注结果对目标算法模型进行评测，得到评测结果；基于目标评测指标对应的计算模板，对评测结果进行统计计算，得到在目标评测指标下的第一评测统计结果。本公开实施例可以针对不同类型算法的测试数据进行通用的结构化处理，并根据定义好的目标评测指标对应的计算模板，对结构化处理后的测试数据进行指标计算，从而实现兼容多种类型的算法的评测需求。从而实现兼容多种类型的算法的评测需求。从而实现兼容多种类型的算法的评测需求。
【技术实现步骤摘要】
一种算法测试方法、装置、计算机设备及可读存储介质
[0001]本公开涉及计算机
，具体而言，涉及一种算法测试方法、装置、计算机设备及可读存储介质。
技术介绍
[0002]在机器学习领域，机器学习的效果是根据算法评测结果进行衡量的，因此算法评测是一项重要的工作。
[0003]不同的算法对应的数据类型与评测方式都各不相同，目前存在的针对某些特殊算法的评测方式并不能满足对各种算法的评测需求。
技术实现思路
[0004]本公开实施例至少提供一种算法测试方法、装置、计算机设备及可读存储介质。
[0005]第一方面，本公开实施例提供了一种算法测试方法，包括：
[0006]获取用于评测目标算法模型的测试数据；
[0007]基于针对多种功能类型的算法模型预先定义的多个通用属性维度，对所述测试数据进行结构化处理，得到所述测试数据在所述多个通用属性维度下的结构化数据；其中，所述多个通用属性维度中至少包括数据内容和真值标注结果；
[0008]基于所述结构化数据中的数据内容和所述真值标注结果对所述目标算法模型进行评测，得到针对所述目标算法模型的评测结果；其中，所述评测结果反映了所述目标算法模型针对所述数据内容的处理结果相对所述真值标注结果的准确度；
[0009]基于目标评测指标对应的计算模板，对所述评测结果进行统计计算，得到所述目标算法模型在所述目标评测指标下的第一评测统计结果；所述计算模板包括基于所述评测结果计算得到所述目标评测指标的计算流程代码。
[0010]一种可选的实施方式中，所述方法还包括：
[0011]获取并展示针对所述多种功能类型的算法模型预先定义的多个基础评测指标；
[0012]响应指标选择操作，确定所述多个基础评测指标中被用户选择的至少一个基础评测指标，将所述至少一个基础评测指标作为所述目标评测指标；和/或，响应指标编辑操作，确定用户对至少一个所述基础评测指标进行编辑后的自定义评测指标，将所述自定义评测指标作为所述目标评测指标。
[0013]一种可选的实施方式中，在所述目标评测指标包括所述自定义评测指标的情况下，所述方法还包括：
[0014]确定用于编辑得到所述自定义评测指标的基础评测指标；
[0015]根据所述基础评测指标对应的计算模板，以及所述自定义评测指标相比所述基础评测指标的参数更新信息，确定所述自定义评测指标对应的计算模板。
[0016]一种可选的实施方式中，所述多个通用属性维度中还包括所述数据内容对应的数据标识；
[0017]所述基于所述结构化数据中的数据内容和所述真值标注结果对目标算法模型进行评测，得到针对所述目标算法模型的评测结果，包括：
[0018]将所述结构化数据中的数据内容对应的数据标识输入至所述目标算法模型中，以使所述目标算法模型基于所述数据标识调取与所述数据标识对应的数据内容，并对所述数据内容进行处理，得到所述处理结果；
[0019]对比所述真值标注结果和所述处理结果，得到所述评测结果。
[0020]一种可选的实施方式中，所述多个通用属性维度中还包括测试数据的属性类型标签；所述方法还包括：
[0021]基于所述结构化数据中的至少一个属性类型标签，对所述评测结果进行聚类，确定所述目标算法模型在每个所述属性类型标签下的第二评测统计结果。
[0022]一种可选的实施方式中，基于所述结构化数据中的至少一个属性类型标签，对所述评测结果进行聚类，得到所述目标算法模型在每个所述属性类型标签下的第二评测统计结果，包括：
[0023]基于所述至少一个属性类型标签，对所述评测结果进行聚类，得到每个所述属性类型标签下的评测结果集合；
[0024]针对任一所述属性类型标签，基于目标评测指标对应的计算模板，对所述属性类型标签下的评测结果集合中的评测结果进行统计计算，得到在所述属性类型标签下，所述目标算法模型针对所述目标评测指标下的第二评测统计结果。
[0025]一种可选的实施方式中，所述基于至少一个目标评测指标分别对应的计算模板，对所述评测结果进行统计计算，得到所述目标算法模型在每个所述目标评测指标下的第一评测统计结果，包括：
[0026]基于所述结构化数据中的所述属性类型标签和/或所述真值标注结果，对所述结构化数据进行分组，得到多组结构化数据；每组结构化数据中的属性类型标签和/或真值标注结果是相同的；
[0027]基于目标评测指标对应的计算模板，对所述多组结构化数据分别对应的评测结果，进行并行统计计算，得到每组结构化数据在所述目标评测指标下的子评测统计结果；
[0028]对各个所述子评测统计结果进行融合，得到所述目标算法模型在所述目标评测指标下的第一评测统计结果。
[0029]第二方面，本公开实施例还提供一种算法测试装置，包括：
[0030]第一获取模块，用于获取用于评测目标算法模型的测试数据；
[0031]处理模块，用于基于针对多种功能类型的算法模型预先定义的多个通用属性维度，对所述测试数据进行结构化处理，得到所述测试数据在所述多个通用属性维度下的结构化数据；其中，所述多个通用属性维度中至少包括数据内容和真值标注结果；
[0032]评测模块，用于基于所述结构化数据中的数据内容和所述真值标注结果对所述目标算法模型进行评测，得到针对所述目标算法模型的评测结果；其中，所述评测结果反映了所述目标算法模型针对所述数据内容的处理结果相对所述真值标注结果的准确度；
[0033]计算模块，用于基于目标评测指标对应的计算模板，对所述评测结果进行统计计算，得到所述目标算法模型在所述目标评测指标下的第一评测统计结果；所述计算模板包括基于所述评测结果计算得到所述目标评测指标的计算流程代码。
[0034]第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
[0035]第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
[0036]本公开实施例提供的一种算法测试方法、装置、计算机设备及可读存储介质，可以针对不同功能类型的算法模型的预测数据进行结构化处理，得到在多个通用属性维度下的结构化数据，并基于定义好的目标评测指标对应的计算模板，对结构化处理后的测试数据进行指标计算，从而实现兼容多种类型的算法模型的评测需求。
[0037]另外，本公开实施例中定义了通用的基础评测指标，并设计了其对应的计算模板，在实际对算法模型进行评测时，还可以对基础评测指标及其计算模板进行自定义，得到自定义评测指标对应的计算模板，从而可以实现对更多功能类型的算法模型的计算模板本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种算法测试方法，其特征在于，包括：获取用于评测目标算法模型的测试数据；基于针对多种功能类型的算法模型预先定义的多个通用属性维度，对所述测试数据进行结构化处理，得到所述测试数据在所述多个通用属性维度下的结构化数据；其中，所述多个通用属性维度中至少包括数据内容和真值标注结果；基于所述结构化数据中的数据内容和所述真值标注结果对所述目标算法模型进行评测，得到针对所述目标算法模型的评测结果；其中，所述评测结果反映了所述目标算法模型针对所述数据内容的处理结果相对所述真值标注结果的准确度；基于目标评测指标对应的计算模板，对所述评测结果进行统计计算，得到所述目标算法模型在所述目标评测指标下的第一评测统计结果；所述计算模板包括基于所述评测结果计算得到所述目标评测指标的计算流程代码。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取并展示针对所述多种功能类型的算法模型预先定义的多个基础评测指标；响应指标选择操作，确定所述多个基础评测指标中被用户选择的至少一个基础评测指标，将所述至少一个基础评测指标作为所述目标评测指标；和/或，响应指标编辑操作，确定用户对至少一个所述基础评测指标进行编辑后的自定义评测指标，将所述自定义评测指标作为所述目标评测指标。3.根据权利要求2所述的方法，其特征在于，在所述目标评测指标包括所述自定义评测指标的情况下，所述方法还包括：确定用于编辑得到所述自定义评测指标的基础评测指标；根据所述基础评测指标对应的计算模板，以及所述自定义评测指标相比所述基础评测指标的参数更新信息，确定所述自定义评测指标对应的计算模板。4.根据权利要求1所述的方法，其特征在于，所述多个通用属性维度中还包括所述数据内容对应的数据标识；所述基于所述结构化数据中的数据内容和所述真值标注结果对目标算法模型进行评测，得到针对所述目标算法模型的评测结果，包括：将所述结构化数据中的数据内容对应的数据标识输入至所述目标算法模型中，以使所述目标算法模型基于所述数据标识调取与所述数据标识对应的数据内容，并对所述数据内容进行处理，得到所述处理结果；对比所述真值标注结果和所述处理结果，得到所述评测结果。5.根据权利要求1所述的方法，其特征在于，所述多个通用属性维度中还包括测试数据的属性类型标签；所述方法还包括：基于所述结构化数据中的至少一个属性类型标签，对所述评测结果进行聚类，确定所述目标算法模型在每个所述属性类型标签下的第二评测统计结果。6.根据权利要求5所述的方法，其特征在于，基于所述结构化数据中的至少一个属性类型标签，对所述评测...
【专利技术属性】
技术研发人员：王超，张状，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。