基于偏见样本对生成的深度学习模型去偏方法技术

一种基于偏见样本对生成的深度学习模型去偏方法，包括以下步骤：1)深度学习模型偏见的定义；2)数据预处理；3)定义偏见指标函数；4)：构建的深度学习模型包括第一特征提取器和第一分类器两部分，利用数据集对模型进行训练，使模型达到预设精度；5)对模型进行偏见程度检测：利用模型对测试集的输出和偏见指标函数F测试模型的偏见程度并记录；6)数据增强：利用偏见指标函数对偏见样本进行初步划分，通过模糊样本划分法排除假性偏见样本，通过FLIP方法完成数据增强的过程；7)利用FLIP样本对对有偏见的深度学习模型进行微调训练去偏，对训练后的模型进行检验，判断其偏见程度是否达到要求。本发明专利技术有效提升模型的公平性。本发明专利技术有效提升模型的公平性。本发明专利技术有效提升模型的公平性。

【技术实现步骤摘要】
基于偏见样本对生成的深度学习模型去偏方法


[0001]本专利技术涉及面向深度学习模型的偏见问题的一种基于偏见样本对生成的深度学习模型去偏方法，应用于个人收入预测、银行借贷信用评估和监狱服刑人员出狱资格评估等。

技术介绍

[0002]近年来，随着深度学习模型相关技术的发展，越来越多的领域开始使用深度学习模型，深度学习技术也在越来越多的领域取得了最先进的性能，但同时，深度学习模型的安全性问题也成为了学术界讨论的重点。
[0003]2014年，Szegedy等人发现，深度学习模型容易受到被恶意设计的样本的攻击，从而产生缺陷，引发模型的安全性问题。随后的时间内，学术界针对深度学习模型的安全性展开了系统性研究，并提出了一系列的提升深度学习模型安全性的方法，深度学习模型的公平性也是模型安全性的一个重要分支。
[0004]从深度学习的公平性层面出发，近年来科研人员发现，深度学习模型有对属性产生偏见的风险，这主要是由于模型训练过程中，由于数据集被恶意修改，导致模型将预测任务与部分敏感属性产生了过度的关联，从而导致模型对部分敏感属性产生过度的关联，引发深度学习模型的偏见性问题。
[0005]鉴于深度学习模型可能在未来担任越来越多的相关方面的分类任务，并且目前的深度学习模型所存在的公平性的问题存在被恶意利用的可能，因此，专利技术一种解决深度学习模型公平性问题的方法非常必要。

技术实现思路

[0006]为了克服已有技术的不足，为了解决深度学习模型现有的偏见问题，本专利技术提出一种基于偏见样本对生成的深度学习模型去偏方法，基于模糊偏见样本划分、FLIP样本对生成和微调训练去偏，可以有效解决目前深度学习模型所存在的公平性问题；提出了一种可解释的、系统的、可扩展的针对数据集和模型都适用的公平性测试指标，根据通过微调训练的方式有效提升模型的公平性。
[0007]本专利技术解决其技术问题所采用的技术方案是：
[0008]一种基于偏见样本对生成的深度学习模型去偏方法，包括以下步骤：
[0009]1)深度学习模型偏见的定义：针对分类任务，将把分类模型在做出决策时，受到敏感特征的过度影响，并且其决策可能会依赖于这种错误的特征关联的现象定义为模型的偏见行为；
[0010]2)数据预处理，过程如下：
[0011](2.1)采用adult数据集作为原始数据集：
[0012](2.2)数据集提取：采用one
‑
hot编码对数据集的分类、敏感属性等重要部分进行提取，对种族、年龄等其它常用敏感属性进行削弱，产生的样本数据集为D；
[0013]3)定义偏见指标函数：
[0014]定义了一个指标函数F(d)，提高了指标函数的鲁棒性；
[0015]4)有偏见模型的训练：构建的有深度学习模型包括第一特征提取器和第一分类器两部分，利用数据集对模型进行训练，使模型达到预设精度；
[0016]5)对模型进行偏见程度检测：利用模型对测试集的输出和偏见指标函数F测试模型的偏见程度并记录；
[0017]6)数据增强：利用偏见指标函数对偏见样本进行初步划分，之后通过模糊样本划分法排除假性偏见样本，最后通过FLIP方法完成数据增强的过程；
[0018]7)深度学习鲁棒性模型构建：利用FLIP样本对对有偏见的深度学习模型进行微调训练去偏。对训练后的模型进行检验，判断其偏见程度是否达到要求。
[0019]进一步，所述步骤1)中，将X和Y表示为数据集及其值域，将 A和x
A
表示为数据集X的敏感属性及其数值，将NA和x
NA
表示为数据集X的非敏感属性及其数值；对于给定的DNN模型θ和样本实例x，若存在另一个样本实例x
′
满足x
A
≠x
′
A
，x
NA
＝x
′
NA
，θ(x)≠θ(x
′
)，则称(x,x
′
)为DNN模型θ的个体歧视实例对，x和x
′
都是个体歧视实例，称DNN模型θ存在个体歧视行为；若DNN模型θ在数据集值域内存在越多的个体歧视实例对，则表示该模型个体公平越低。
[0020]再进一步，所述(2.2)中，adult数据集拥有14个特征属性，为了保证模型可以充分提取数据的特征的同时减弱除性别外其它敏感特征的影响，对数据的'workclass','education','marital
‑
status', 'occupation','relationship','race','native
‑
country','sex'属性进行one
‑
hot编码扩充，获取对应的类别标签序列；并对其他属性进行保留，以此达到突出目标属性，减弱其它属性对敏感属性的影响的目的，将会着重使用one
‑
hot编码扩充之后的数据集，记作D。
[0021]更进一步，所述步骤3)的过程如下：
[0022]3.1)Disparate impact差异影响
[0023]该定义在从数学上代表不同影响的法理概念，这要求两组的正例预测率之间有较高的比率，这确保了各组中积极预测的比率是相似的，数学计算公式如下：
[0024][0025]其中S表示受保护的属性，S＝1为特权组，S≠1为非特权组，表示预测为正，如果代表接受，那么条件要求不同组的接受率是相近的，该指标的值越高，代表不同群体的比率越相似，因此也就越公平；
[0026]3.2)Demographic parity人口统计平等
[0027]人口统计平等的衡量方法类似于差异影响方法，但该方法采用的是差异而不是比率。这种方法通常也被称为统计奇偶性。其数学计算公式如下：
[0028][0029]该度量值越低，表明接受率越相似，因此公平性越好；
[0030]3.3)Equal opportunity机会平等
[0031]机会平等要求真正例率TPR在不同组之间是相似的，意味着一个个体有一个积极的结果大概率对应一个积极的预测，其数学计算公式如下：
[0032][0033]当一个预测器满足下式则认为是满足机会均等的：
[0034]P{H(x
i
)＝1|y
i
＝1,x
i
∈S}＝P{H(x
j
)＝1|y
j
＝1,x
j
∈X\S}
ꢀꢀ
(4)
[0035]设X代表一组个体，S代表群组，对于一个个体x
i
∈X，让它成为要预测的真实结果或标号，一个预测因子可以用一个映射H:X
→
Y从总体X到结果Y的集合来表示，这样H(x
i
)就是个体x
i
的预测结果。
i
和j 表示两个个体；
[0036]3.4)定义本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于偏见样本对生成的深度学习模型去偏方法，其特征在于，所述方法包括以下步骤：1)深度学习模型偏见的定义：针对分类任务，将把分类模型在做出决策时，受到敏感特征的过度影响，并且其决策可能会依赖于这种错误的特征关联的现象定义为模型的偏见行为；2)数据预处理，过程如下：(2.1)采用adult数据集作为原始数据集：(2.2)数据集提取：采用one
‑
hot编码对数据集的分类、敏感属性等重要部分进行提取，对种族、年龄等其它常用敏感属性进行削弱，产生的样本数据集为D；3)定义偏见指标函数：定义了一个指标函数F(d)，提高了指标函数的鲁棒性；4)有偏见模型的训练：构建的有深度学习模型包括第一特征提取器和第一分类器两部分，利用数据集对模型进行训练，使模型达到预设精度；5)对模型进行偏见程度检测：利用模型对测试集的输出和偏见指标函数F测试模型的偏见程度并记录；6)数据增强：利用偏见指标函数对偏见样本进行初步划分，之后通过模糊样本划分法排除假性偏见样本，最后通过FLIP方法完成数据增强的过程；7)深度学习鲁棒性模型构建：利用FLIP样本对对有偏见的深度学习模型进行微调训练去偏，对训练后的模型进行检验，判断其偏见程度是否达到要求。2.如权利要求1所述的基于偏见样本对生成的深度学习模型去偏方法，其特征在于，所述步骤1)中，将X和Y表示为数据集及其值域，将A和x
A
表示为数据集X的敏感属性及其数值，将NA和x
NA
表示为数据集X的非敏感属性及其数值；对于给定的DNN模型θ和样本实例x，若存在另一个样本实例x
′
满足x
A
≠x
′
A
，x
NA
＝x
′
NA
，θ(x)≠θ(x
′
)，则称(x,x
′
)为DNN模型θ的个体歧视实例对，x和x
′
都是个体歧视实例，称DNN模型θ存在个体歧视行为；若DNN模型θ在数据集值域内存在越多的个体歧视实例对，则表示该模型个体公平越低。3.如权利要求1或2所述的基于偏见样本对生成的深度学习模型去偏方法，其特征在于，所述(2.2)中，adult数据集拥有14个特征属性，为了保证模型可以充分提取数据的特征的同时减弱除性别外其它敏感特征的影响，对数据的'workclass','education','marital
‑
status','occupation','relationship','race','native
‑
country','sex'属性进行one
‑
hot编码扩充，获取对应的类别标签序列；并对其他属性进行保留，以此达到突出目标属性，减弱其它属性对敏感属性的影响的目的，将会着重使用one
‑
hot编码扩充之后的数据集，记作D。4.如权利要求1或2所述的基于偏见样本对生成的深度学习模型去偏方法，其特征在于，所述步骤3)的过程如下：3.1)Disparate impact差异影响该定义在从数学上代表不同影响的法理概念，这要求两组的正例预测率之间有较高的比率，这确保了各组中积极预测的比率是相似的，数学计算公式如下：
其中S表示受保护的属性，S＝1为特权组，S≠1为非特权组，表示预测为正，如果代表接受，那么条件要求不同组的接受率是相近的，该指标的值越高，代表不同群体的比率越相似，因此也就越公平；3.2)Demographic parity人口统计平等人口统计平等的衡量方法类似于差异影响方法，但该方法采用的是差异而不是比率，这种方法通常也被称为统计奇偶性，其数学计算公式如下：该度量值越低，表明接受率越相似，因此公平性越好；3.3)Equal opportunity机会平等机会平等要求真正例率TPR在不同组之间是相似的，意味着一个个体有一个积极的结果大概率对应一个积极的预测，其数学计算公式如下：当一个预测器满足下式则认为是满足机会均等的：P{H(x
i
)＝1|y
i
＝1,x
i
∈S}＝P{H(x
j
)＝1|y
j
＝1,x
j
∈X\...

【专利技术属性】
技术研发人员：徐禹昕，齐婉婷，单沛婷，邢航，陶沁哲，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：