【技术实现步骤摘要】
本申请涉及通信，尤其涉及一种评估信息确定方法及相关系统、存储介质。
技术介绍
1、其中，机器学习(machine learning，ml)模型结合网络数据分析功能(networkdata analytics function，nwdaf)可以在不同场景进行预测服务。目前，服务消费者通过选择具有模型分析逻辑函数(analytics logical function，anlf)的适当nwdaf，并通过调用网络数据分析功能nnwdaf_analyticssubscription_subscribe服务操作订阅分析准确性信息，以便消费者进行准确性信息检查和调配。然而，消费者获取到的服务(如分析标识(identification，id))或者模型的准确性信息包含了偏好的分析准确性级别preferred level of accuracy of the analytics("low","medium","high"or"highest")，仅定义了准确性级别和准确信息值，未明确准确性信息的生成标准。
2、由于消费者不知道准确性信息的生成标准，因此无法根据该信息选择更加合适的nwdaf提供服务。同时，对于例如相同的分析id，不同的消费者可能具有不同的评估标准，因此，不同的消费者无法仅根据准确性信息选择合适的nwdaf。
技术实现思路
1、本申请公开了一种评估信息确定方法及相关系统、存储介质，可以有助于服务消费者基于其确定的评估信息生成标准来选择合适的nwdaf。
2、第一
3、本申请实施例，第一网元根据来自第二网元的第一信息获取评估信息，进而向第二网元返回该评估信息。采用该手段，由于预设参数用于生成评估信息，其为第二网元设置的，第一网元基于该预设参数得到评估信息，这样，可以有助于第二网元基于接收到的评估信息选择合适的第一网元。
4、其中，该示例以第一网元为例进行介绍。该第一网元可以理解为一个网元，也可以理解为是多个网元的结合等，本方案对此不作限制。
5、在一种可能的实现方式中，该预设参数为分类错误代价矩阵。其中，分类错误代价，可以理解为，消费者对于接收到类别预测错误的损失的度量。该分类错误代价矩阵可用于各种分析服务的分类任务。例如，网元负载分析、异常行为预测、度量趋势等。
6、不同的消费者针对同一服务或者模型的预测错误代价矩阵有可能不同。因此，通过明确该预设参数，进而可以获取到符合该消费者需求的评估信息。
7、在另一种可能的实现方式中，该预设参数为类别权重。该类别权重为服务(如分析id)或者模型的输出类别对于消费者的重要性度量。该重要性的度量的具体标准本方案不做限定，其可以是相对度量，也可以为绝对度量。可选的，对于异常行为分析，其支持移动性相关的异常和会话相关的异常。移动性相关的异常包括：异常的ue位置，ue异常的唤醒，异常的无线连接错误等。会话相关的异常包括：异常的长时间或大速率流量，异常的唤醒，可疑的分布式拒绝服务攻击(distributed denial of service attack，ddos)，错误的目的地址，过于频繁的服务接入等。
8、例如，某分析服务的预测类别为上述异常行为类别。由于不同的消费者网元对于上述异常行为类别具有不同的关注度，进而其设置服务中的类别权重有所不同。
9、在又一种可能的实现方式中，该预设参数为分类错误代价矩阵和类别权重。
10、在一种可能的实现方式中，该第一信息还包括评估信息计算方法，该评估信息计算方法包括该预设参数。该评估信息计算方法与上述预设参数有关联。
11、该评估信息计算方法，可以理解为，计算评估信息的公式或者文字等。该评估信息计算方法例如对应评估服务或模型的准确性、精度、召回率、分类报告、损失函数等中的一项或多项。
12、可以理解的，该第一信息可以对应一个信元(information element，ie)。例如，一个ie中包含准确性计算公式、损失函数、分类报告，且该损失值计算方法中包含类别权重等。
13、或者，该第一信息可以对应多个信元ie。例如，其对应两个ie。其中一个ie中包含损失值计算方法，另一个ie中包含类别权重。
14、当然还可以是采用其他方式来指示上述第一信息，本方案对此不作限制。
15、可选的，该评估信息计算方法为f1-score、损失函数、分类报告等。损失函数的类型包括：均方误差损失，加权均方误差损失，交叉熵损失，代价损失等。分类报告指示nwdaf在测试数据集上的分类结果。消费者可以根据分类报告，基于内部配置对该模型的性能进行评估。例如，根据分类报告计算模型的准确性，召回率等。其预设参数可以为各类别样本的数量限制。例如各类别样本的比例、最小样本数量等。
16、评估信息可以用于度量服务或模型的性能，例如准确性、精度、召回率、分类报告、损失值等。可以理解的，该服务为第一网元提供的分析服务。例如，分析服务质量(qualityof service，qos)，分析网元负载，分析异常行为等。该模型可以为第一网元用于提供分析服务的机器学习模型。例如该模型为第一网元从第三网元获取的模型。
17、在一种可能的实现方式中，第一网元还根据第一信息和测试数据集获取评估信息。
18、其中，测试数据是指用于对经过训练和验证的人工智能系统(服务或者模型)进行独立评估的数据，以便在使用服务或者模型之前确认其预期性能。
19、在一种可能的实现方式中，该测试数据集为根据测试数据集标识获取的，其中，该第一请求还包括该测试数据集标识。
20、在一种可能的实现方式中，第一网元向该第二网元返回该评估信息与该第二网元的相关程度。
21、可选的，该相关程度为测试数据集中与该第二网元相关的数据的占比。
22、在一种可能的实现方式中，与第二网元相关的数据为第二网元订阅获得的服务或者模型的预测结果的真实数据。该相关的占比为上述真实数据在整个测试数据集中的比例。
23、在另一种可能的实现方式中，该测试数据集为与该第二网元相关的数据集。
24、在一种可能的实现方式中，第一网元向第三网元发送该第一信息。进而，第一网元接收该第三网元发送的评估信息。
25、也就是说，该评估信息是第三网元计算得到的。
26、在一种可能的实现方式中，该第一请求还包括第二信息，该第二信息用于指示返回评估关联信息。其中，该评估关联信息包括时间窗口内的多个时间单元分别对应的评估信息。或者，该评估关联信息包括时间窗口内的多个时间单元分别对应的评估信息的统计信息。或者本文档来自技高网...
【技术保护点】
1.一种评估信息确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述预设参数为分类错误代价矩阵和/或类别权重。
3.根据权利要求1或2所述的方法，其特征在于，所述第一信息还包括评估信息计算方法，所述评估信息计算方法包括所述预设参数。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述评估信息为所述第一网元根据所述第一信息和测试数据集获取的。
5.根据权利要求4所述的方法，其特征在于，所述测试数据集为根据测试数据集标识获取的，其中，所述第一请求还包括所述测试数据集标识。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
7.根据权利要求4所述的方法，其特征在于，所述测试数据集为与第二网元相关的数据集。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一请求还包括第二信息，所述第二信息用于指示返回评估关联信息，所述评估关联信息包括时间窗口内的多个时间单元分别对应的评估信息和/或所述多个时间单元分别对应的评估信息的统计信息；
9.根据权利要求
10.一种评估信息确定方法，其特征在于，包括：
11.根据权利要求10所述的方法，其特征在于，所述预设参数为分类错误代价矩阵和/或类别权重。
12.根据权利要求10或11所述的方法，其特征在于，所述第一信息还包括评估信息计算方法，所述评估信息计算方法包括所述预设参数。
13.根据权利要求10至12任一项所述的方法，其特征在于，所述根据所述第一信息获取评估信息，包括：
14.根据权利要求13所述的方法，其特征在于，所述测试数据集为根据测试数据集标识获取的，其中，所述第一请求还包括所述测试数据集标识。
15.根据权利要求13所述的方法，其特征在于，所述方法还包括：
16.根据权利要求13所述的方法，其特征在于，所述测试数据集为与所述第二网元相关的数据集。
17.根据权利要求10至16任一项所述的方法，其特征在于，所述根据所述第一信息获取评估信息，包括：
18.根据权利要求10至17任一项所述的方法，其特征在于，所述第一请求还包括第二信息，所述第二信息用于指示返回评估关联信息，所述评估关联信息包括时间窗口内的多个时间单元分别对应的评估信息和/或所述多个时间单元分别对应的评估信息的统计信息；
19.根据权利要求10至18任一项所述的方法，其特征在于，所述服务为第一网元提供的分析服务，所述模型为第一网元用于提供分析服务的机器学习模型。
20.一种评估信息确定方法，其特征在于，包括：
21.根据权利要求20所述的方法，其特征在于，所述第二请求还包括所述时间窗口。
22.根据权利要求20或21所述的方法，其特征在于，所述第二请求还包括第一信息，所述第一信息包括预设参数，所述预设参数用于生成评估信息，所述评估信息为所述第一网元根据所述第一信息获取的。
23.根据权利要求22所述的方法，其特征在于，所述预设参数为分类错误代价矩阵和/或类别权重。
24.根据权利要求22或23所述的方法，其特征在于，所述第一信息还包括评估信息计算方法，所述评估信息计算方法包括所述预设参数。
25.根据权利要求22至24任一项所述的方法，其特征在于，所述评估信息为所述第一网元根据所述第一信息和测试数据集获取的。
26.根据权利要求20至25任一项所述的方法，其特征在于，所述服务为第一网元提供的分析服务，所述模型为所述第一网元用于提供分析服务的机器学习模型。
27.一种评估信息确定方法，其特征在于，包括：
28.根据权利要求27所述的方法，其特征在于，所述第二请求还包括所述时间窗口。
29.根据权利要求27或28所述的方法，其特征在于，所述第二请求还包括第一信息，所述第一信息包括预设参数，所述预设参数用于生成评估信息，所述方法还包括；
30.根据权利要求29所述的方法，其特征在于，所述预设参数为分类错误代价矩阵和/或类别权重。
31.根据权利要求29或30所述的方法，其特征在于，所述第一信息还包括评估信息计算方法，所述评估信息计算方法包括所述预设参数。
32.根据权利要求29至31任一项所述的方法，其特征在于，所述根据所述第一信息获取评估信息，包括：
33.根据权利要求29至3...
【技术特征摘要】
1.一种评估信息确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述预设参数为分类错误代价矩阵和/或类别权重。
3.根据权利要求1或2所述的方法，其特征在于，所述第一信息还包括评估信息计算方法，所述评估信息计算方法包括所述预设参数。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述评估信息为所述第一网元根据所述第一信息和测试数据集获取的。
5.根据权利要求4所述的方法，其特征在于，所述测试数据集为根据测试数据集标识获取的，其中，所述第一请求还包括所述测试数据集标识。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
7.根据权利要求4所述的方法，其特征在于，所述测试数据集为与第二网元相关的数据集。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一请求还包括第二信息，所述第二信息用于指示返回评估关联信息，所述评估关联信息包括时间窗口内的多个时间单元分别对应的评估信息和/或所述多个时间单元分别对应的评估信息的统计信息；
9.根据权利要求1至8任一项所述的方法，其特征在于，所述服务为所述第一网元提供的分析服务，所述模型为所述第一网元用于提供分析服务的机器学习模型。
10.一种评估信息确定方法，其特征在于，包括：
11.根据权利要求10所述的方法，其特征在于，所述预设参数为分类错误代价矩阵和/或类别权重。
12.根据权利要求10或11所述的方法，其特征在于，所述第一信息还包括评估信息计算方法，所述评估信息计算方法包括所述预设参数。
13.根据权利要求10至12任一项所述的方法，其特征在于，所述根据所述第一信息获取评估信息，包括：
14.根据权利要求13所述的方法，其特征在于，所述测试数据集为根据测试数据集标识获取的，其中，所述第一请求还包括所述测试数据集标识。
15.根据权利要求13所述的方法，其特征在于，所述方法还包括：
16.根据权利要求13所述的方法，其特征在于，所述测试数据集为与所述第二网元相关的数据集。
17.根据权利要求10至16任一项所述的方法，其特征在于，所述根据所述第一信息获取评估信息，包括：
18.根据权利要求10至17任一项所述的方法，其特征在于，所述第一请求还包括第二信息，所述第二信息用于指示返回评估关联信息，所述评估关联信息包括时间窗口内的多个时间单元分别对应的评估信息和/或所述多个时间单元分别对应的评估信息的统计信息；
19.根据权利要求10至18任一项所述的方法，其特征在于，所述服务为第一网元提供的分析服务，所述模型为第一网元用于提供分析服务的机器学习模型。
20.一种评估信息确定方法，其特征在于，包括：
21.根据权利要求20所述的方法，其特征在于，所述第二请求还包括所述时间窗口。
22.根据权利要求20或21所述的方法，其特征在于，所述第二请求还包括第一信息，所述第一信息包括预设参数，所述预设参数用于生成评估信息，所述评估信息为所述第一网元根据所述第一信息获取的。
23.根据权利要求22所述的方法，其特征在于，所述预设参数为分类错误代价矩阵和/或类别权重。
24.根据权利要求22或23所述的方法，其特征在于，所述第一信息还包括评估信息计算方法，所述评估信息计算方法包括所述预设参数。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。