【技术实现步骤摘要】
技术介绍
1、随着机器学习系统变得越来越稳健、高效和精确，机器学习已应用于越来越多的学术、工业和安全应用。具体地说，机器学习分类器已越来越多地用于需要谨慎决策的自动化复杂流程。
2、机器学习分类器是一种学习在属于多种类别的输入数据之间进行区分的机器学习模型。例如，机器学习分类器可以用于在真实新闻报道与虚假新闻报道、合法电子邮件与垃圾电子邮件、各种图像(例如，在狗的图像与猫的图像之间)或字母数字字符之间进行区分。在训练阶段，机器学习分类器可以学习识别标记的训练数据中的模式。之后，在产出阶段，机器学习分类器可以使用这些识别的模式来产生对应于输入数据的分类数据，例如将新闻报道(输入数据)分类为虚假新闻(分类数据)。
3、恶意实体(例如，黑客)可以使用例如机器学习分类器的机器学习模型来执行恶意攻击。例如，恶意实体可以使用机器学习分类器来对图像或字母数字字符进行分类，以绕过全自动区分计算机和人类的图灵测试(completely automated public turing test totell computers and humans apart，captcha)系统。在captcha系统中，用户可能需要选择对应于主题的图像(例如，狗的图像)，或基于屏幕上显示的字符正确地键入一串字母数字字符，以获得对系统的访问权。恶意机器学习分类器可以用于对图像(例如，狗的图像)进行分类，使得恶意机器学习分类器可以执行captcha并获得对系统的访问权。
4、目前，在发现恶意计算机的恶意动作之后，可以将所述恶意计
5、本专利技术的实施例个别地和共同地解决此问题和其它问题。
技术实现思路
1、本专利技术的实施例涉及用于随时间在恶意实体的机器学习模型中引起模型偏移的方法和系统。模型偏移可以指其中机器学习模型由于新训练数据包括在训练数据集中而随时间改变的过程。例如，机器学习分类器中的模型偏移可以表现为机器学习分类器产生的分类的变化，例如图像分类器将图像分类为狗，但稍后却将相同的图像分类为猫。数据处理器可以生成意在于恶意机器学习模型中引起模型偏移的转换数据。模型偏移可以防止恶意计算机使用恶意机器学习模型执行恶意攻击。
2、一个实施例涉及一种方法，包括：a)由数据处理器确定恶意计算机使用具有边界函数的机器学习模型来确定结果；b)由所述数据处理器生成意在使所述边界函数偏移的转换数据；c)由所述数据处理器将所述转换数据提供给所述恶意计算机；以及d)由所述数据处理器重复步骤b)和c)，进而使所述边界函数随时间偏移。
3、另一实施例涉及一种数据处理器，包括：处理器；存储器装置；以及计算机可读介质，其耦合到所述处理器，所述计算机可读介质包括可由所述处理器执行以实施方法的代码，所述方法包括：a)确定恶意计算机使用具有边界函数的机器学习模型来确定结果；b)生成意在使所述边界函数偏移的转换数据；c)将所述转换数据提供给所述恶意计算机；以及d)重复步骤b)和c)，进而使所述边界函数随时间偏移。
4、在描述本专利技术的具体实施例之前，可以详细地描述一些术语。
5、术语
6、“服务器计算机”可以包括功能强大的计算机或计算机群集。例如，服务器计算机可以是大型主机、小型计算机群集或像单元一样工作的一组服务器。在一个实例中，服务器计算机可以是耦合到网络服务器的数据库服务器。服务器计算机可包括一个或多个计算设备，并且可使用各种计算结构、布置和编译中的任一种来服务来自一个或多个客户端计算机的请求。
7、“存储器”可以包括可存储电子数据的任何合适的一个或多个装置。合适的存储器可以包括非瞬态计算机可读介质，其存储可由处理器执行以实施所要方法的指令。存储器的示例可以包括一个或多个存储器芯片、磁盘驱动器等。此类存储器可使用任何合适的电、光和/或磁操作模式来操作。
8、“处理器”可以指任何合适的一个或多个数据计算装置。处理器可包括一起工作以实现所要功能的一个或多个微处理器。处理器可以包括cpu，所述cpu包括至少一个高速数据处理器，所述高速数据处理器足以执行用于执行用户和/或系统生成的请求的程序组件。所述cpu可以是微处理器，例如amd的速龙(athlon)、钻龙(duron)和/或皓龙(opteron)；ibm和/或摩托罗拉(motorola)的powerpc；ibm和索尼(sony)的cell处理器；英特尔(intel)的赛扬(celeron)、安腾(itanium)、奔腾(pentium)、至强(xeon)和/或xscale；和/或类似处理器。
9、“实体”可以包括具有独特和独立存在的事物。例如，实体可以包括人、组织(例如，合伙企业和企业)、计算机和计算机网络等等。实体可以某一方式与其环境通信或交互。另外，实体可以在其存在过程期间操作计算机或计算机网络，以及与计算机或计算机网络连接或交互。实体可以是“数据源”，所述实体在其存在过程期间将输入数据提供给恶意计算机或另一实体。实体可以是意图使用机器学习分类器来执行恶意动作的恶意实体。例如，恶意实体可以尝试使用机器学习模型分类器来执行captcha，使得恶意实体可以批量注册电子邮件账户。实体可以操作生成转换数据的数据处理器。
10、“数据处理器”可以包括计算机或服务器计算机，所述计算机或服务器计算机可以对例如恶意计算机的不可信的机器学习系统执行主动防御。例如，数据处理器可以确定由恶意实体操作的恶意计算机使用机器学习模型。数据处理器可以被配置成生成意在使机器学习模型的边界函数偏移的转换数据，接着将转换数据提供给恶意计算机。可以通过转换数据在恶意计算机的机器学习模型中引起模型偏移。
11、“恶意计算机”可以包括计算机或服务器计算机，所述计算机或服务器计算机使用机器学习模型来评估输入数据且由恶意实体操作。例如，恶意计算机可以使用机器学习来对图像或字母数字字符进行分类，从而在过程中产生分类数据。另外，恶意计算机可以基于评估而评估分类数据并采取行动。例如，用于对图像进行分类的恶意计算机可以尝试绕过要求正确地选择特定图像或字母数字字符的captcha，以执行恶意动作。
12、恶意计算机可以训练、存储和管理机器学习模型。这些机器学习模型可以存储在由恶意计算机管理的模型高速缓存器或数据库中。恶意计算机可以使用标记或未标记的训练数据来训练机器学习模型，所述训练数据包括存储在“特征存储区”或其它适当的特征向量数据库中的特征向量或从数据源接收的特征向量，例如从互联网上的网页抓取的。
13、“机器学习模型”可以包括人工智能的应用，它向系统提供了从经验中自动地学习和改进而无需明确地被编程的能力。机器学习模型可以包括一组软件例程和参数，它们可以基于“特征向量”或其它输入数据预测过程的输出(例如，计算机网络攻击者的标识、计算机的认证、基于用户搜索查询本文档来自技高网...
【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，进一步包括：
3.根据权利要求2所述的方法，其中所述机器学习模型的所述特性包括：不同训练数据点的群集之间的分离、所述边界函数的估计，或分配给所述正常数据的多个标记。
4.根据权利要求3所述的方法，其中所述机器学习模型为支持向量机，其中所述边界函数为超平面，并且其中所述超平面使多个分类分离。
5.根据权利要求4所述的方法，其中所述多个标记与所述多个分类相关联。
6.根据权利要求5所述的方法，其中所述边界函数发生偏移，从而使所述多个分类偏移。
7.根据权利要求2所述的方法，其中生成所述正常数据进一步包括：
8.根据权利要求1所述的方法，其中所述转换数据包括共享属于多于一个分类的数据的特性的数据项。
9.根据权利要求1所述的方法，其中提供所述转换数据进一步包括：
10.根据权利要求1所述的方法，其中所述机器学习模型包括：线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯、kNN、K均值或随机森林。
11.一种数据处理
12.根据权利要求11所述的数据处理器，其中所述方法进一步包括：
13.根据权利要求12所述的数据处理器，其中所述机器学习模型的所述特性包括：不同训练数据点的群集之间的分离、所述边界函数的估计，或分配给所述正常数据的多个标记。
14.根据权利要求13所述的数据处理器，其中所述机器学习模型为支持向量机，其中所述边界函数为超平面，并且其中所述超平面使多个分类分离。
15.根据权利要求14所述的数据处理器，其中所述多个标记与所述多个分类相关联。
16.根据权利要求15所述的数据处理器，其中所述边界函数发生偏移，从而使所述多个分类偏移。
17.根据权利要求12所述的数据处理器，其中生成所述正常数据进一步包括：
18.根据权利要求11所述的数据处理器，其中所述转换数据包括共享属于多于一个分类的数据的特性的数据项。
19.根据权利要求11所述的数据处理器，其中提供所述转换数据进一步包括：
20.根据权利要求11所述的数据处理器，其中所述机器学习模型包括：线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯、kNN、K均值或随机森林。
...【技术特征摘要】
1.一种方法，包括：
2.根据权利要求1所述的方法，进一步包括：
3.根据权利要求2所述的方法，其中所述机器学习模型的所述特性包括：不同训练数据点的群集之间的分离、所述边界函数的估计，或分配给所述正常数据的多个标记。
4.根据权利要求3所述的方法，其中所述机器学习模型为支持向量机，其中所述边界函数为超平面，并且其中所述超平面使多个分类分离。
5.根据权利要求4所述的方法，其中所述多个标记与所述多个分类相关联。
6.根据权利要求5所述的方法，其中所述边界函数发生偏移，从而使所述多个分类偏移。
7.根据权利要求2所述的方法，其中生成所述正常数据进一步包括：
8.根据权利要求1所述的方法，其中所述转换数据包括共享属于多于一个分类的数据的特性的数据项。
9.根据权利要求1所述的方法，其中提供所述转换数据进一步包括：
10.根据权利要求1所述的方法，其中所述机器学习模型包括：线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯、knn、k均值或随机森林。
11.一种数据处理器，包括：
12....
【专利技术属性】
技术研发人员：A·盖达姆，A·叶尔马克扬，P·乔葛蕾卡，
申请(专利权)人：维萨国际服务协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。