【技术实现步骤摘要】
本专利技术涉及可信人工智能和图像文字分类，并特别涉及一种人工智能模型的个体公平性度量方法、装置、电子设备和存储介质。
技术介绍
1、随着深度学习技术的高速发展，现有的以人工智能算法为基础的系统应用越来越多，人工智能算法在人们日常生活中扮演着愈加重要的角色，影响着人类生活各方面的决策。然而人工智能算法的决策往往存在严重的公平性隐患，即它们可能会区别对待不同的人并形成带有歧视的决策结果。在此背景下，对人工智能算法的公平性的审计越来越受到政府部门和研究人员的重视。
2、人工智能算法的公平性审计是监管机构或用户用于检测和揭示人工智能算法系统中的偏见和潜在歧视的一种机制。出于对知识产权保护和数据隐私等方面的考虑，审计通常由第三方审计机构完成，审计方无法获得被审计的人工智能算法的模型结构和参数信息，同时往往也不能得到模型的训练和测试数据，这对公平性审计的实施带来挑战。
3、针对不同的公平性要求，现有的公平性审计工作可以分为对群体公平的审计和对个体公平的审计。群体公平是一类通过统计算法对不同群体的决策结果来评估算法公平与否的公平性定义。群体公平往往会根据敏感属性(如性别等)的不同，将人群划分为若干的群体，进而要求算法对不同群体的决策是公平的，比如一个预测用户贷款信用情况的算法系统，可能会被要求将男性和女性预测为信用良好的概率是相同的。对群体公平的审计通常基于审计人员的先验知识构造不同群体的大量样本，通过查询算法对这些样本的决策结果，得到群体公平的统计指标。然而仅对算法的群体公平情况进行审计是不够的，因为即便一个算法在群
4、不同于群体公平，个体公平关注的是每个个体用户是否得到了公平的对待。个体公平的要求通常被描述为：相似的人应当得到算法相似的决策结果。其形式化定义是:
5、dy(h(x1),h(x2))≤∈dx(x1,x2),
6、其中，x1,x2是两个样本，是样本空间，h(·)是被审计的算法，dx(·)和dy(·)分别是样本空间和被审计算法输出空间上衡量样本相似性的度量。相对于群体公平而言，个体公平是一个更细粒度的公平性评价体系。同时，个体公平中对相似性(即dy(·)和dx(·))的不同定义给了个体公平适用于各种场景的灵活性。已有的对个体公平的审计往往会定义在不同场景下的个体公平评价指标，利用已知的数据集测试算法的个体公平情况。然而在实际的第三方审计场景下，由于缺乏数据，这些方法很难揭示算法的个体不公平现象并给出证据，很难提供公平性审计的完整方法。
7、现有研究虽然给出了一些对人工智能算法公平性的审计方法，但是仍存在一些明显的不足：
8、1.现有的公平性评价标准大多只关注了人工智能算法的群体公平，忽视了可能存在的个体不公平现象，这使得一个在公平性审计中表现良好的算法仍然可能存在对一些个体用户的歧视。
9、2.现有的对个体公平的审计方法往往只定义了在特定应用场景下的个体公平指标，然而面对实际的第三方审计场景时，由于缺乏数据，这些指标并不能直接用来揭示算法中的不公平现象并给出证据。
10、3.现有审计方法中用于查询算法的样本往往来源于已有的数据集或根据审计人员的先验知识通过人工构造的方式生成。这种生成方式通常会对审计人员有较高的要求，且生成过程缺乏信息指导，难以应对复杂的人工智能算法/系统审计工作。
技术实现思路
1、本专利技术主要目标是提出一种针对人工智能算法个体公平性审计的框架及方法，该方法框架可以应用于缺乏模型和数据知识的第三方公平性度量(审计)场景。
2、本专利技术的目的是解决现有人工智能算法公平性审计方法无法在缺乏模型和数据知识的情况下证实和揭示算法中的个体不公平现象的问题。本专利技术提出了一种以举证方式进行人工智能算法个体公平的审计框架及方法。该框架给出了完整的第三方个体公平性审计的操作流程，构造成对样本对算法进行查询，并判断算法的决策结果是否符合公平性要求，若不符合公平性要求，则该成对样本可作为算法存在个体不公平现象的证据。同时，本专利技术在该框架下，提出了两种自动化构造成对样本的方法，解决了样本构造缺乏信息指导、依赖审计人员先验知识而难以应对复杂人工智能算法审计工作的问题。
3、具体来说本，如图5所示，专利技术公开了一种人工智能模型的个体公平性度量方法，其中包括：
4、度量范围界定步骤s100，根据人工智能模型的数据的输入数据范围，构建该人工智能模型的输入样本集合；公平性确定步骤s200，从该输入样本集合中选择样本构成样本对，计算该样本对中两样本间的样本相似性，将该样本对中样本分别输入该人工智能模型，得到该样本对经过该人工智能模型处理的结果对，计算该结果对中结果间的结果相似性，判断该结果相似性和该样本相似性的差异绝对值是否低于阈值，若是则为该样本对分配代表公平对待的公平性度量结果，否则为该样本对分配代表不公平对待的公平性度量结果；公平性报告输出步骤s300，重复多次该公平性确定步骤，得到公平性报告，该公平性报告包含多个样本对及各样本对的公平性度量结果。
5、由此本申请可将公平性度量结果中不公平的样本对作为该人工智能模型存在个体不公平现象的证据，解决了公平性度量采样难的技术问题。
6、所述的人工智能模型的个体公平性度量方法，其中该公平性确定步骤中选择样本包括：
7、从该输入样本集合中随机选择一个输入样本x1，对该输入样本x1进行随机扰动，得到多个扰动样本，选择所有扰动样本中选择于该输入样本x1相似度小于指定阈值的样本作为输入样本x2，集合该输入样本x1和该输入样本x2构成该样本对。本方法可以不依赖人对公平性定义的主观理解，根据公平性的形式化定义自动化地生成不公平的样本对。
8、所述的人工智能模型的个体公平性度量方法，其中该公平性确定步骤中选择样本包括：
9、从该输入样本集合中随机选择一个随机样本x0，以该随机样本x0查询该人工智能模型，得到初始查询结果；扰动该随机样本x0后查询该人工智能模型，得到扰动查询结果，将所有使该扰动查询结果和该初始查询结果相异的样本作为分类边界，将该随机样本x0向分类边界的方向移动，得到该决策边界内的样本x1，扰动样本x1生成位于该决策边界外的样本x2，集合该样本x1和该样本x2构成该样本对。本方法可以快速地生成不公平的样本对，大幅度减小了发现不公平样本对之前所需的尝试查询被公平性度量的次数。当公平性度量需要较大的时间或物质代价时，可以有效减少公平性度量所需的开销。
10、所述的人工智能模型的个体公平性度量方法，其中该人工智能模型为文字或图片的分类模型，该输入数据范围为文字或图像，该输入样本集合内样本为字段或图片，该公平性度量结果代表该分类模型是否对相似样本做出相似的分类结果，其中相似代表样本或分类结果间相似度是否高于阈值。该分类模型可具体为商品广告推荐模型，根据文本形式的用户画像为其推荐合适的广告或者商品，公平的商品广告推荐模型应做到为本文档来自技高网...
【技术保护点】
1.一种人工智能模型的个体公平性度量方法，其特征在于，包括：
2.如权利要求1所述的人工智能模型的个体公平性度量方法，其特征在于，该公平性确定步骤中选择样本包括：
3.如权利要求1所述的人工智能模型的个体公平性度量方法，其特征在于，该公平性确定步骤中选择样本包括：
4.如权利要求1所述的人工智能模型的个体公平性度量方法，其特征在于，该人工智能模型为文字或图片的分类模型，该输入数据范围为文字或图像，该输入样本集合内样本为字段或图片，该公平性度量结果代表该分类模型是否对相似样本做出相似的分类结果，其中相似代表样本或分类结果间相似度是否高于阈值。
5.一种人工智能模型的个体公平性度量装置，其特征在于，包括：
6.如权利要求5所述的人工智能模型的个体公平性度量装置，其特征在于，该公平性确定模块包括MRST模块，MRST模块用于：
7.如权利要求5所述的人工智能模型的个体公平性度量装置，其特征在于，该公平性确定模块包括BUFF模块，BUFF模块用于：
8.如权利要求5所述的人工智能模型的个体公平性度量装置，
9.一种电子设备，其特征在于，包括权利要求5-8所述的一种人工智能模型的个体公平性度量装置。
10.一种存储介质，用于存储一种执行权利要求1-4所述人工智能模型的个体公平性度量方法的计算机程序。
...【技术特征摘要】
1.一种人工智能模型的个体公平性度量方法，其特征在于，包括：
2.如权利要求1所述的人工智能模型的个体公平性度量方法，其特征在于，该公平性确定步骤中选择样本包括：
3.如权利要求1所述的人工智能模型的个体公平性度量方法，其特征在于，该公平性确定步骤中选择样本包括：
4.如权利要求1所述的人工智能模型的个体公平性度量方法，其特征在于，该人工智能模型为文字或图片的分类模型，该输入数据范围为文字或图像，该输入样本集合内样本为字段或图片，该公平性度量结果代表该分类模型是否对相似样本做出相似的分类结果，其中相似代表样本或分类结果间相似度是否高于阈值。
5.一种人工智能模型的个体公平性度量装置，其特征在于，包括：
6.如权利要求5所述的人工智能模型的个体公平性度量...
【专利技术属性】
技术研发人员：曹婍，刘元浩，沈华伟，张凯科，伍云帆，程学旗，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。