【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及分析和/或改进机器学习模型，并且在一些非限制性实施方案或方面中，涉及用于分析和/或改进机器学习模型的方法、系统和计算机程序产品。2.技术考虑机器学习模型是能够基于数据集来标识模式和/或生成决策的强大工具。可以通过输入训练数据并且基于由模型响应于训练数据而生成的输出来更新模型的参数来训练机器学习模型。然而，这些模型可能易出错，并且可能难以随着时间的推移而维持模型的性能。例如，模型的性能可能由于缺少监督随着时间的推移而降低。
技术介绍
技术实现思路
1、因此，提供了用于分析和/或改进机器学习模型(例如，克服上面标识的缺点中的一些或全部)的方法、系统和计算机程序产品。
2、根据非限制性实施方案或方面，提供一种计算机实现的方法。该方法可以包括利用至少一个处理器接收包括多个数据记录的数据集。多个数据记录中的每个数据记录可以与多个实体中的实体相关联。该方法可以包括利用至少一个处理器将数据集输入到预训练的第一机器学习模型以生成多个第一嵌入向量。多个第一嵌入向量中的每个相应的第一嵌入向量可以与多个实体中的相应的实体相关联。该方法可以包括利用至少一个处理器将多个第一嵌入向量输入到第二机器学习模型以通过将多个第一嵌入向量中的每个相应的第一嵌入向量映射到与用户相关联的用户特定嵌入空间中的相应的第二嵌入向量来生成多个第二嵌入向量。该方法可以包括利用至少一个处理器将多个第二嵌入向量输入到第三机器学习模型以基于多个第二嵌入向量提取与至少一个特征相关联的特征数据。该方法可以包括利用至少一个处理器
3、在一些非限制性实施方案或方面中，训练以下中的至少一者：第二机器学习模型、第三机器学习模型、第四机器学习模型或它们的任何组合可以包括基于反馈数据来修改以下中的至少一者的至少一个参数：第二机器学习模型、第三机器学习模型、第四机器学习模型或它们的任何组合。
4、在一些非限制性实施方案或方面中，反馈数据可以包括针对实体子集中的每个实体的二元分类。
5、在一些非限制性实施方案或方面中，数据集可以包括具有多个数据记录的多元时间系列数据，该多个数据记录中的每个相应的数据记录包括针对多个变量的基于时间顺序的数据元素。
6、在一些非限制性实施方案或方面中，数据集可以包括与多个交易相关联的交易数据，每个数据记录与多个交易中的至少一个交易相关联。
7、在一些非限制性实施方案或方面中，相关性分数可以与以下中的至少一者相关联：授权决策、欺诈确定、信用申请决策、保险申请决策或它们的任何组合。
8、在一些非限制性实施方案或方面中，训练以下中的至少一者：第二机器学习模型、第三机器学习模型、第四机器学习模型或它们的任何组合可以包括利用至少一个处理器基于反馈数据和损失函数来确定损失，并且利用至少一个处理器基于损失来训练以下中的至少一者：第二机器学习模型、第三机器学习模型、第四机器学习模型或它们的任何组合。
9、在一些非限制性实施方案或方面中，损失函数可以包括以下中的至少一者：第一分量，该第一分量用以加宽实体子集中的成对实体之间的差距，该成对实体具有与每对实体中的实体之间的基于其相关性分数的正确相对排名相关联的反馈数据；第二分量，该第二分量被配置成缩小实体子集中的成对实体之间的差距，该成对实体具有与每对实体中的实体之间的基于其相关性分数的不正确相对排名相关联的反馈数据；第三分量，该第三分量被配置成缩小实体子集中的实体之间的差距，实体具有与实体子集中的实体与多个实体中的未包括在实体子集中的其他实体之间的不正确相对排名相关联的反馈数据；或它们的任何组合。
10、在一些非限制性实施方案或方面中，损失函数还可以包括用于第一分量的第一超参数、用于第二分量的第二超参数和用于第三分量的第三超参数。实体子集可以包括具有最高相关性分数或最低相关性分数之一的预定数量的实体。
11、根据非限制性实施方案或方面，提供了一种系统，该系统包括至少一个处理器，该至少一个处理器被配置成：接收包括多个数据记录的数据集，该多个数据记录中的每个数据记录与多个实体中的实体相关联；将数据集输入预训练的第一机器学习模型以生成多个第一嵌入向量，该多个第一嵌入向量中的每个相应的第一嵌入向量与多个实体中的相应的实体相关联；将多个第一嵌入向量输入到第二机器学习模型以通过将多个第一嵌入向量中的每个相应的第一嵌入向量映射到与用户相关联的用户特定嵌入空间中的相应的第二嵌入向量来生成多个第二嵌入向量；将多个第二嵌入向量输入到第三机器学习模型以基于多个第二嵌入向量提取与至少一个特征相关联的特征数据；将来自机器学习系统的输出和特征数据输入到第四机器学习模型以生成多个实体中的每个实体的相关性分数；基于多个实体的实体子集中的每个实体的相关性分数来确定所述实体子集；基于实体子集向用户的用户设备传送反馈请求；从用户设备接收针对实体子集中的每个实体的反馈数据；以及基于反馈数据来训练以下中的至少一者：第二机器学习模型、第三机器学习模型、第四机器学习模型或它们的任何组合。
12、在一些非限制性实施方案或方面中，训练以下中的至少一者：第二机器学习模型、第三机器学习模型、第四机器学习模型或它们的任何组合可以包括基于反馈数据来修改以下中的至少一者的至少一个参数：第二机器学习模型、第三机器学习模型、第四机器学习模型或它们的任何组合。
13、在一些非限制性实施方案或方面中，反馈数据可以包括针对实体子集中的每个实体的二元分类。
14、在一些非限制性实施方案或方面中，数据集可以包括具有多个数据记录的多元时间系列数据，该多个数据记录中的每个相应的数据记录包括针对多个变量的基于时间顺序的数据元素。
15、在一些非限制性实施方案或方面中，数据集可以包括与多个交易相关联的交易数据，每个数据记录与多个交易中的至少一个交易相关联。
16、在一些非限制性实施方案或方面中，相关性分数可以与以下中的至少一者相关联：授权决策、欺诈确定、信用申请决策、保险申请决策或它们的任何组合。
17、在一些非限制性实施方案或方面中，训练以下中的至少一者：第二机器学习模型、第三机器学习模型、第四机器学习模型或它们的任何组合可以包括至少一个处理器被配置成：基于反馈数据和损失函数来确定损失；以及基于损失来训练以下中的至少一者：第二机器学习模型、第三机器学习模型、第四机器学习模型或它们的任何组合。
18、在一些非限制性实施方案或本文档来自技高网...
【技术保护点】
1.一种计算机实现的方法，所述计算机实现的方法包括：
2.如权利要求1所述的方法，其中训练以下中的所述至少一者：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合，包括：基于所述反馈数据来修改以下中的所述至少一者的至少一个参数：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合。
3.如权利要求1所述的方法，其中所述反馈数据包括针对所述实体子集中的每个实体的二元分类。
4.如权利要求1所述的方法，其中所述数据集包括具有所述多个数据记录的多元时间系列数据，所述多个数据记录中的每个相应的数据记录包括针对多个变量的基于时间顺序的数据元素。
5.如权利要求1所述的方法，其中所述数据集包括与多个交易相关联的交易数据，每个数据记录与所述多个交易中的至少一个交易相关联。
6.如权利要求1所述的方法，其中所述相关性分数与以下中的至少一者相关联：授权决策、欺诈确定、信贷申请决策、保险申请决策或它们的任何组合。
7.如权利要求1所述的方法，其中训练以下中的所述至少一者：
8.如权利要求7所述的方法，其中所述损失函数包括以下中的至少一者：
9.如权利要求8所述的方法，其中所述损失函数还包括用于所述第一分量的第一超参数、用于所述第二分量的第二超参数和用于所述第三分量的第三超参数。
10.如权利要求1所述的方法，其中所述实体子集包括具有最高相关性分数或最低相关性分数之一的预定数量的实体。
11.一种系统，所述系统包括至少一个处理器，所述至少一个处理器被配置成：
12.如权利要求11所述的系统，其中训练以下中的所述至少一者：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合，包括：基于所述反馈数据来修改以下中的所述至少一者的至少一个参数：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合。
13.如权利要求11所述的系统，其中所述反馈数据包括针对所述实体子集中的每个实体的二元分类。
14.如权利要求11所述的系统，其中所述数据集包括具有所述多个数据记录的多元时间系列数据，所述多个数据记录中的每个相应的数据记录包括针对多个变量的基于时间顺序的数据元素。
15.如权利要求11所述的系统，其中所述数据集包括与多个交易相关联的交易数据，每个数据记录与所述多个交易中的至少一个交易相关联。
16.如权利要求11所述的系统，其中所述相关性分数与以下中的至少一者相关联：授权决策、欺诈确定、信贷申请决策、保险申请决策或它们的任何组合。
17.如权利要求11所述的系统，其中训练以下中的所述至少一者：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合，包括：所述至少一个处理器被配置成：
18.如权利要求17所述的系统，其中所述损失函数包括以下中的至少一者：
19.如权利要求18所述的系统，其中所述损失函数还包括用于所述第一分量的第一超参数、用于所述第二分量的第二超参数和用于所述第三分量的第三超参数。
20.如权利要求11所述的系统，其中所述实体子集包括具有最高相关性分数或最低相关性分数之一的预定数量的实体。
21.一种计算机程序产品，所述计算机程序产品包括至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质包括程序指令，所述程序指令当由至少一个处理器执行时使所述至少一个处理器：
22.如权利要求21所述的计算机程序产品，其中训练以下中的所述至少一者：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合，包括：基于所述反馈数据来修改以下中的所述至少一者的至少一个参数：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合。
23.如权利要求21所述的计算机程序产品，其中所述反馈数据包括针对所述实体子集中的每个实体的二元分类。
24.如权利要求21所述的计算机程序产品，其中所述数据集包括具有所述多个数据记录的多元时间系列数据，所述多个数据记录中的每个相应的数据记录包括针对多个变量的基于时间顺序的数据元素。
25.如权利要求21所述的计算机程序产品，其中所述数据集包括与多个交易相关联的交易数据，每个数据记录与所述多个交易中的至少一个交易相关联。
26.如权利要求21所述的计算机程序...
【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法，所述计算机实现的方法包括：
2.如权利要求1所述的方法，其中训练以下中的所述至少一者：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合，包括：基于所述反馈数据来修改以下中的所述至少一者的至少一个参数：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合。
3.如权利要求1所述的方法，其中所述反馈数据包括针对所述实体子集中的每个实体的二元分类。
4.如权利要求1所述的方法，其中所述数据集包括具有所述多个数据记录的多元时间系列数据，所述多个数据记录中的每个相应的数据记录包括针对多个变量的基于时间顺序的数据元素。
5.如权利要求1所述的方法，其中所述数据集包括与多个交易相关联的交易数据，每个数据记录与所述多个交易中的至少一个交易相关联。
6.如权利要求1所述的方法，其中所述相关性分数与以下中的至少一者相关联：授权决策、欺诈确定、信贷申请决策、保险申请决策或它们的任何组合。
7.如权利要求1所述的方法，其中训练以下中的所述至少一者：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合，包括：
8.如权利要求7所述的方法，其中所述损失函数包括以下中的至少一者：
9.如权利要求8所述的方法，其中所述损失函数还包括用于所述第一分量的第一超参数、用于所述第二分量的第二超参数和用于所述第三分量的第三超参数。
10.如权利要求1所述的方法，其中所述实体子集包括具有最高相关性分数或最低相关性分数之一的预定数量的实体。
11.一种系统，所述系统包括至少一个处理器，所述至少一个处理器被配置成：
12.如权利要求11所述的系统，其中训练以下中的所述至少一者：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合，包括：基于所述反馈数据来修改以下中的所述至少一者的至少一个参数：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合。
13.如权利要求11所述的系统，其中所述反馈数据包括针对所述实体子集中的每个实体的二元分类。
14.如权利要求11所述的系统，其中所述数据集包括具有所述多个数据记录的多元时间系列数据，所述多个数据记录中的每个相应的数据记录包括针对多个变量的基于时间顺序的数据元素。
15.如权利要求11所述的系统，其中所述数据集包括与多个交易相关联的交易数据，每个数据记录与所述多个交易中的至少一个交易相关联。
16.如权利要求11所述的系统，其中所述相关性分数与以下中的至少一者相关联：授权决策、欺诈确定、信贷申请决策、保险申请决策或它们的任何组合。
17.如权利要求11所述的系统，其中训练以下中的所述至少一者：所述第二机器学习模型、所述第三机器学习模型、所述第四机器学习模型或它们的任何组合，包括：所述至少一个处理器被配置成：
18.如权利要求17所述的系统，其中所述损失函数包括以下中的至少一者：
19.如权利要求18所述的系统，其中所述损失函数还包括用于所述第一分量的第一超参数、用于所述第二分量的第二超参...
【专利技术属性】
技术研发人员：M·科桑，何林芸，S·阿格拉瓦尔，吴宇航，刘红艺，C·切蒂亚，
申请(专利权)人：维萨国际服务协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。