【技术实现步骤摘要】
本专利技术涉及人脸识别及信息保护，具体指一种基于局部修改的人脸身份隐私保护方法。
技术介绍
1、当下正处于智能化和信息化的时代，计算机技术的快速发展推动了智能设备和应用的广泛涌现，为人们提供了个性化和多元化的服务。在日常使用的社交网络平台上，充斥着大量易于识别的人脸图像。这些数据大多描述了特定场景下的个体行为特征，而人脸作为高度个性化的信息载体，是区分不同个体的重要标志，属于敏感信息。
2、随着人脸识别技术准确率的提高，这些信息可以实时识别场景中的个体身份及其多种属性特征，这给个人隐私安全带来了重大隐患，因此迫切需要保护未经授权的人脸图像数据。为了解决因大量图像而导致的隐私泄露问题，一些国家已采取措施，例如制定相关法律法规，以防止含有隐私信息的图像在未获授权的情况下被使用。尽管这些法律法规在一定程度上限制了数据使用者获取授权，从而保护了隐私，但也增加了数据获取的难度，极大限制了相关科研工作的开展。
3、近年来，许多有趣的传统与生成式匿名化方法被提出。传统方法，如遮挡、马赛克和模糊等，常用于保护个人隐私，因为它们实现简单且成本低。然而，这些方法通过损坏大量图像内容和视觉效果来提供保护，导致数据可用性显著下降。随着计算机技术软硬件的不断发展，生成式匿名方法逐渐成为了匿名方法的主导。tao li等人提出了anonymousnet，该方法主要通过修改原始图像中非身份属性信息进行匿名图像的合成，然后在合成图像上添加了噪声来使其无法被识别系统检测，提高了隐私保护性。等在2019年提出的deepprivacy方法，实现
4、综上所述，面部身份隐私保护领域是一个值得深入研究的课题，本专利拟从该领域中几个坐标点切入展开探讨，解决目前方法存在的难点和重点。
5、面部身份隐私保护的一个坐标点就是人脸匿名的有效性以及其与数据复用性之间的平衡。但是，在目前大多数的方法在全局中注重匿名的有效性，不幸的事，这些方法同时也丢失了其他可以保留的属性信息。具体而言，主要存在以下两个方面的难点：
6、1、很少有方法从局部的角度去考虑匿名的可行性。现有的方法都是从全局考虑对人脸施加匿名效果，而很少有考虑对局部区域进行更改达到匿名效果，保留可以不做更改的部分信息。
7、2、如何兼顾匿名成本与匿名保护程度的关系。追求在有限的资源条件下提高匿名性以适应不同场景中的高匿名性需求，也是推动隐私保护领域发展的一个重要方向。
技术实现思路
1、本专利技术目的是针对现有技术的不足，提出一种基于局部修改的人脸身份隐私保护方法，用户可以自由选择需要更改的局部位置，个性化生成匿名图像，不仅能够达到欺骗不知情观察者的目的，而且还可以保护数据的可用性。
2、为了解决上述技术问题，本专利技术的技术方案为：
3、一种基于局部修改的人脸身份隐私保护方法，包括如下步骤：
4、步骤1：数据集预处理；
5、步骤2：面部器官分割；
6、步骤3：局部匿名替换；
7、步骤4：生成模型构建；
8、步骤5：模型训练测试。
9、作为优选，步骤1的具体步骤如下：
10、1-1.图片矫正。通过现有的方法对面部有扭曲或旋转的图片进行矫正，使其能够保持面部平行于图片边框。
11、1-2.面部识别与裁剪。通过获取人脸主要部分坐标，并将面部裁剪出来，留以后续使用。
12、作为优选，步骤2的具体步骤如下：
13、2-1.获取图像语义，首先基于面部分割语义分割获取人脸图像的语义分割信息。
14、2-2.根据语义分割信息对预处理后的图像x像素点进行与运算，获得面部区域图片与背景图片xb。
15、2-3.使用dlib库获取面部器官坐标点，并根据不同面部器官坐标点组合成面部器官坐标集其中指得是眼睛的坐标点，指的是鼻子的坐标点，指的是嘴巴的坐标点，指的是面部轮廓的坐标点。
16、2-4.根据得到的语义分割信息与面部器官坐标点，将面部器官的图像与坐标点进行了组合，得到器官的图片与坐标点对，包括眼睛鼻子嘴部皮肤以及面部轮廓的坐标点
17、作为优选，步骤3的具体步骤如下：
18、使用局部匿名器，基于一些可靠的匿名策略(例如，k最近邻策略)将每个选定的面部器官替换为匿名器官，同时匿名前的面部器官坐标点进行替换。
19、匿名策略，将眼睛、鼻子、嘴部和皮肤的图片作为输入，利用预先训练的卷积神经网络m提取出特征向量，通过计算向量之间的相似度，在大于设定阈值的部件组中随机挑选一个用于替换原有人脸的相应器官，同时替换对应器官的形态轮廓。特征向量间的相似度使用了余弦相似度进行计算，公式为
20、s(x1,x2)＝cos(m(x1),m(x1))
21、额外匿名规则，由于面部信息非常依赖人脸的面部器官坐标点，为了使生成的面部结构更加自然，对于面部器官坐标点的匿名替换增加了部分匿名规则,如嘴部的替换应保证替换嘴部的坐标点两侧位置与原始嘴部坐标点两侧位置接近。
22、作为优选，步骤4的具体步骤如下：
23、4-1.构建局部区域编码器。局部区域编码器将局部图片与其坐标点作为输入，使用预训练的卷积神经网络提取特征向量，作为后续生成过程的输入。
24、4-2.构建面部编码器。面部编码器将原始人脸图像的皮肤以及面部外轮廓作为输入，使用预训练的卷积神经网络提取特征向量，作为后续生成过程的输入。
25、4-3.构建生成器。生成器将面部编码器提取的特征向量作为输入，使用预训练的残差神经网络，在每一层网络结构中加入部件编码器提取的特征向量，进行图像的生成。在完成脸部区域的生成后，在最后一层网络结构中加上原始人脸图像的背景内容进行贴合重建，生成背景内容一致的匿名人脸。
26、作为优选，步骤5模型训练测试，使用公开数据集进行训练及测试，输出最终结果，具体如下：
27、5-1.准备数据集，例如使用celeba-hq、ffhq数据集并按照步骤1所述进行预处理获得所需要的输入图像。
28、5-2.重构方式训练，将属于同一个人的面部区域信息作为训练的全部输入，旨在让模型获得优秀的生成能力，可以根据任意的输入信息生成视觉效果较好的图像。
29、5-3.本文档来自技高网...
【技术保护点】
1.一种基于局部修改的人脸身份隐私保护方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述预处理方法包括对面部有扭曲或旋转的图片进行矫正，矫正后面部平行于图片边框。
3.根据权利要求1所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述面部器官分割方法为：
4.根据权利要求1所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述步骤3中，匿名策略为：将眼睛、鼻子、嘴部和皮肤的图片作为输入，利用预先训练的卷积神经网络M提取出特征向量，通过计算特征向量之间的相似度，在大于设定阈值的器官的图片与坐标点对中随机挑选一个用于替换原有人脸的相应器官。
5.根据权利要求4所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述特征向量之间的相似度采用余弦相似度进行计算。
6.根据权利要求1所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述局部区域编码器包括预训练的VGG19网络和MUST网络结构，通过局部区域编码器对匿名后的眼睛鼻子嘴部皮
7.根据权利要求1所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述面部编码器为堆叠四层残差结构的下采样块，通过面部编码器对器官坐标点进行下采样特征提取，并通过四层卷积操作得到其抽象特征。
8.根据权利要求7所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述面部编码器的输入为皮肤以及面部轮廓的坐标点
9.根据权利要求8所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述生成器，局部区域编码器和面部编码器的输出作为输入，通过堆叠四层AdaIN模块与残差结构的上采样模块，作为人脸区域的特征转换模块；再使用四次卷积操作与Concat操作，作为生成面部结构特征与原人脸背景信息的拼接生成模块，最后使用Tanh激活函数得到最终输出。
10.根据权利要求1所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述生成模型引入判别模型，所述判别模型包括用于判别图像真实性的判别器D1与用于判别面部生成结果合理性的判别器D2；所述判别器D1和判别器D2由一层卷积层、两层下采样层、六层残差结构以及一层Sigmoid激活函数组成。
...【技术特征摘要】
1.一种基于局部修改的人脸身份隐私保护方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述预处理方法包括对面部有扭曲或旋转的图片进行矫正，矫正后面部平行于图片边框。
3.根据权利要求1所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述面部器官分割方法为：
4.根据权利要求1所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述步骤3中，匿名策略为：将眼睛、鼻子、嘴部和皮肤的图片作为输入，利用预先训练的卷积神经网络m提取出特征向量，通过计算特征向量之间的相似度，在大于设定阈值的器官的图片与坐标点对中随机挑选一个用于替换原有人脸的相应器官。
5.根据权利要求4所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述特征向量之间的相似度采用余弦相似度进行计算。
6.根据权利要求1所述的一种基于局部修改的人脸身份隐私保护方法，其特征在于，所述局部区域编码器包括预训练的vgg19网络和must网络结构，通过局部区域编码器对匿名后的眼睛鼻子嘴部皮肤进行特征提取，并通过拼接操作将四...
【专利技术属性】
技术研发人员：匡振中，胡超，潘鸿铭，李忠金，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。