检测业务预测模型安全性的方法及装置制造方法及图纸

本说明书实施例提供一种检测业务预测模型安全性的方法及装置，在检测业务预测模型安全性的方法中，在业务预测模型针对第一业务对象进行业务预测的过程中，获取业务预测模型的各层网络中各神经元的激活处理结果。根据各层网络中各神经元的激活处理结果，识别第一业务对象是否为异常对象。至少根据第一业务对象的识别结果，确定业务预测模型是否受到安全攻击。

【技术实现步骤摘要】
检测业务预测模型安全性的方法及装置
本说明书一个或多个实施例涉及计算机
，尤其涉及一种检测业务预测模型安全性的方法及装置。
技术介绍
随着机器学习技术的不断发展与普及，越来越多的领域采用通过机器学习算法生成的业务预测模型，针对业务对象进行业务预测。比如，基于预先生成的人脸识别模型进行人脸识别，以及基于商品推荐模型向某用户推荐某商品等。然而在上述业务预测模型发布上线之后，往往会有恶意攻击者对其进行攻击。在业务预测模型受到攻击的情况下，基于其所得到的预测结果往往是不准确的。因此，希望提供一种检测业务预测模型安全性的方案，以便能够及时有效地发现业务预测模型的安全性问题。
技术实现思路
本说明书一个或多个实施例描述了一种检测业务预测模型安全性的方法及装置，可以有效地对业务预测模型进行安全检测。第一方面，提供了一种检测业务预测模型安全性的方法，包括：在所述业务预测模型针对第一业务对象进行业务预测的过程中，获取所述业务预测模型的各层网络中各神经元的激活处理结果；根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象；至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击。第二方面，提供了一种检测业务预测模型安全性的装置，包括：获取单元，用于在所述业务预测模型针对第一业务对象进行业务预测的过程中，获取所述业务预测模型的各层网络中各神经元的激活处理结果；识别单元，用于根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象；确定单元，用于至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击。第三方面，提供了一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。本说明书一个或多个实施例提供的检测业务预测模型安全性的方法及装置，在业务预测模型针对业务对象进行业务预测的过程中，获取业务预测模型的各层网络中各神经元的激活处理结果。之后，通过对获取的激活处理结果进行异常分析，得到业务对象的识别结果。最后，基于业务对象的识别结果，确定业务预测模型是否受到安全攻击。由于各神经元的激活处理结果为业务预测模型针对业务对象进行业务预测时的中间形态，从而本方案可以从业务对象的中间形态角度出发，检测业务预测模型的安全性，由此可以大大提升模型安全检测的准确性。附图说明为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本说明书提供的检测业务预测模型安全性的方法实施场景示意图；图2为本说明书提供的业务预测模型示意图；图3为本说明书一个实施例提供的检测业务预测模型安全性的方法流程图；图4为本说明书一个实施例提供的检测业务预测模型安全性的装置示意图。具体实施方式下面结合附图，对本说明书提供的方案进行描述。如前所述，针对业务对象的业务预测模型在发布上线之后，存在被恶意攻击者攻击的可能。这里的业务预测模型用于预测业务对象的分类或者回归值。其中，业务对象可以包括但不限于用户、商品、商户以及事件等。为了及时有效地发现针对业务预测模型的攻击，就需要对业务预测模型进行安全检测。传统技术中，可以通过如下两种方式实现业务预测模型的安全检测。第一种，在业务预测模型的入口处增加异常对象过滤机制，这种方法可以去除一些明显的异常对象(如人脸识别模型一般会有人脸质量检测，用于去除质量不佳的图片)。然而，该方法无法识别仿真度较高的异常样本(如，对抗样本)，进而也就无法有效地发现业务预测模型的安全性问题。第二种，构建多个用于预测同类型任务的业务预测模型，这种方式可以通过多个模型同时执行业务预测，避免单个模型被针对性攻击的问题。然而，一方面这种方式需要同时运行多个模型增加了几倍的开销，另一方面仍然无法从根本上保证模型的安全性。为此，本申请的专利技术人提出从业务对象在模型中的中间形态角度出发，检测业务预测模型的安全性。具体地，在业务预测模型针对第一业务对象进行业务预测的过程中，获取业务预测模型的各层网络中各神经元的激活处理结果。根据各层网络中各神经元的激活处理结果，识别第一业务对象是否为异常对象。至少根据第一业务对象的识别结果，确定业务预测模型是否受到安全攻击。需要说明的是，本方案从业务对象在模型中的中间形态角度出发，检测业务预测模型的安全性，不仅可以识别出潜在的异常对象，还可以节约开销。也即达到了在节约成本的前提下，对业务预测模型进行安全检测的有益效果。以下对本方案进行详细说明。图1为本说明书提供的检测业务预测模型安全性的方法实施场景示意图。图1中，离线训练业务预测模型，并进行测试和调试。在业务预测模型满足上线要求时，将业务预测模型发布上线。比如，可以部署到人工智能(ArtificialIntelligence，AI)中台，以完成服务化。之后，业务后台或外部系统可以调用业务预测模型，以针对业务对象进行业务预测。图1中，在业务预测模型针对业务对象进行业务预测的过程中，可以获取业务预测模型的各层网络中各神经元的激活处理结果。之后可以采用总分类模型识别、子分类模型识别、概率分布识别以及统计量识别等方法，识别业务对象是否为异常对象。以及可以将识别结果反馈给业务后台或外部系统。在业务预测模型针对若干业务对象进行业务预测之后，或者说，在业务预测模型运行一段时间之后，可以对各业务对象的识别结果进行分析，以确定出模型是否受到安全攻击。总上所述，本说明书实施例提供的业务预测模型的安全检测与业务预测模型的预测过程可以并行执行，由此可以实现在不影响模型预测过程的情况下，对业务预测模型进行安全检测。为便于理解，先对上述方法的实际应用场景进行介绍。在一个示例性场景中，上述业务对象和业务预测可以分别为用户和人脸识别。相应地，用于对用户进行人脸识别的业务预测模型可称为人脸识别模型。该人脸识别模型可以是基于历史刷脸业务中采集的人脸数据而训练得到。这里的人脸数据可以包括拍摄的人脸图片和对应用户的身份标识(如手机号或系统分配的唯一编号)。在另一个示例性场景中，上述业务对象可以包括用户和商品，上述业务预测可以为商品推荐，也就是判断是否向某用户推荐某商品。相应地，用于进行商品推荐的业务预测模型可以称为商品推荐模型。该商品推荐模型可以是基于用户对网站或应用App的操作行为数据训练得到。这里的操作行为数据可以包括浏览、点击或者关闭等。在再一个示例性场景中，上述业务对象可以包括登录事件，上述业务预测可以为事件风险识别，也就是判断某个登录本文档来自技高网...

【技术保护点】
1.一种检测业务预测模型安全性的方法，所述业务预测模型用于针对业务对象进行业务预测；其包括多层网络，其中每层网络包括多个神经元，每个神经元对应于一个激活函数以产生激活处理结果；所述方法包括：/n在所述业务预测模型针对第一业务对象进行业务预测的过程中，获取所述业务预测模型的各层网络中各神经元的激活处理结果；/n根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象；/n至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击。/n

【技术特征摘要】
1.一种检测业务预测模型安全性的方法，所述业务预测模型用于针对业务对象进行业务预测；其包括多层网络，其中每层网络包括多个神经元，每个神经元对应于一个激活函数以产生激活处理结果；所述方法包括：
在所述业务预测模型针对第一业务对象进行业务预测的过程中，获取所述业务预测模型的各层网络中各神经元的激活处理结果；
根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象；
至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击。


2.根据权利要求1所述的方法，所述根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象，包括：
对所述各层网络中各神经元的激活处理结果进行拼接，得到第一拼接向量；
将所述第一拼接向量输入预先训练的第一分类模型，得到所述第一分类模型对所述第一业务对象的打分，所述打分表示所述第一业务对象为异常对象的概率；
根据所述打分，识别所述第一业务对象是否异常对象。


3.根据权利要求1所述的方法，所述根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象，包括：
将所述各层网络中各神经元的激活处理结果，分别输入预先训练的、对应于所述各层网络的多个子分类模型，分别得到所述多个子分类模型对所述第一业务对象的多个打分，所述打分表示所述第一业务对象为异常对象的概率；
基于所述多个打分，得到所述第一业务对象的综合分；
根据所述综合分，识别所述第一业务对象是否为异常对象。


4.根据权利要求1所述的方法，所述根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象，包括：
获取所述各层网络中各神经元的历史处理结果的历史分布；
将所述各层网络中各神经元的激活处理结果，分别与对应的历史分布进行比对，得到多个比对结果；
根据所述多个比对结果的融合结果，识别所述第一业务对象是否为异常对象。


5.根据权利要求1所述的方法，所述根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象，包括：
获取历史样本集；其中的各历史样本已基于所述业务预测模型完成预测；
基于所述第i层网络中各神经元的激活处理结果，以及所述历史样本集中各历史样本的第i层网络中各神经元的激活处理结果，计算对应于所述第i层网络的统计量；其中，i为正整数；
基于所述各层网络的统计量，识别所述第一业务对象是否为异常对象。


6.根据权利要求5所述的方法，所述统计量包括以下任一种：局部固有维度LID以及概率密度KD。


7.根据权利要求5所述的方法，所述基于所述各层网络的统计量，识别所述第一业务对象是否为异常对象，包括：
对所述各层网络的统计量进行拼接，得到第二拼接向量；
将所述第二拼接向量输入预先训练的第二分类模型，得到所述第二分类模型对所述第一业务对象的打分，所述打分表示所述第一业务对象为异常对象的概率；
根据所述打分，识别所述第一业务对象是否异常对象。


8.根据权利要求7所述的方法，还包括：
采用降维方法，对所述第二拼接向量进行降维处理；
基于降维处理后的第二拼接向量，对所述第一业务对象进行可视化展示；
所述降维方法包括以下任一种：主成分分析PCA方法、最小绝对收缩和选择算子LASSO方法、线性判别式分析LDA方法、小波分析方法以及T分布和随机近邻嵌入TSNE方法。


9.根据权利要求1所述的方法，所述至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击，包括：
获取其它业务对象的识别结果；
基于所述第一业务对象的识别结果以及所述其它业务对象的识别结果，统计异常对象的占比；
在所述占比超过预定比例时，确定所述业务预测模型受到数据攻击。


10.根据权利要求1所述的方法，所述至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击，包括：
若所述第一业务对象的识别结果为异常对象，且相较于正常对象，所述各层网络中各神经元的激活处理结果的扰动值均小于预定数值，则确定所述业务预测模型受到对抗样本攻击。


11.根据权利要求1所述的方法，所述业务对象包括以下任一种：用户、商户、商品以及事件；所述业务预测模型用于预测所述业务对象的分类或回归值。
<...

【专利技术属性】
技术研发人员：宗志远，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33