基于隐私保护的图像处理方法、装置及设备制造方法及图纸

本说明书实施例提供了一种基于隐私保护的图像处理方法、装置及设备，其中方法包括：获取待进行隐私保护处理的原始图像，确定获取的原始图像的图像内容中是否包括人脸；若是，则通过预先训练的图像编码模型对原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，且模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。

【技术实现步骤摘要】
基于隐私保护的图像处理方法、装置及设备
本文件涉及图像处理
，尤其涉及一种基于隐私保护的图像处理方法、装置及设备。
技术介绍
随着互联网技术的不断发展，各种社交应用被广泛使用。用户会通过社交应用发布照片来记录生活，并且发布的照片中通常会包括用户自身或其他用户的人脸。而随着人工智能技术的不断发展，换脸技术可以很容易的将用户照片中的人脸应用到其他人体身上，从而制作恶搞图像、视频等并发布于网络。而这不仅造成了用户隐私信息的大范围泄露，而且会给用户带来很多麻烦和不便。
技术实现思路
本说明书一个或多个实施例提供了一种基于隐私保护的图像处理方法。该方法包括获取待进行隐私保护处理的原始图像。确定所述原始图像的图像内容中是否包括人脸。若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露。其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值。所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。本说明书一个或多个实施例提供了一种基于隐私保护的图像处理装置。该装置包括获取模块，获取待进行隐私保护处理的原始图像。该装置还包括确定模块，确定所述原始图像的图像内容中是否包括人脸。该装置还包括处理模块，若所述确定模块的确定结果为是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露。其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值。所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。本说明书一个或多个实施例提供了一种基于隐私保护的图像处理设备。该设备包括处理器。该设备还包括被安排成存储计算机可执行指令的存储器。所述计算机可执行指令在被执行时使所述处理器获取待进行隐私保护处理的原始图像。确定所述原始图像的图像内容中是否包括人脸。若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露。其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值。所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。本说明书一个或多个实施例提供了一种存储介质。该存储介质用于存储计算机可执行指令。所述计算机可执行指令在被处理器执行时获取待进行隐私保护处理的原始图像。确定所述原始图像的图像内容中是否包括人脸。若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露。其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值。所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。附图说明为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理方法的第一种流程示意图；图2为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理方法的第二种流程示意图；图3为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理方法的第三种流程示意图；图4为本说明书一个或多个实施例提供的一种图像编码模型的训练方法的流程示意图；图5为本说明书一个或多个实施例提供的步骤S100-6的细化流程图；图6为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理装置的第一种模块组成示意图；图7为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理设备的结构示意图。具体实施方式为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。图1为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理方法的流程示意图，图1中的方法能够由基于隐私保护的图像处理装置(以下简称为图像处理装置)执行，如图1所示，该方法包括以下步骤：步骤S102，获取待进行隐私保护处理的原始图像；本说明书实施例中，图像处理装置可以设置于用户的终端设备中，还可以设置于服务端。具体的，当图像处理装置设置于用户的终端设备中时，其可以作为一个独立的应用安装于终端设备中，还可以设置于终端设备安装的其他图像处理相关的应用中，该图像处理相关的应用可以是独立的应用程序(Application，简称App)，也可以是设置于其他应用程序中的小程序，还可以是基于网页的应用等。用户可以操作该图像处理装置或图像处理装置所在的图像处理相关的应用，从图像库中选择待进行隐私保护处理的原始图像并上传；相应的，图像处理装置获取用户上传的该原始图像。或者，图像处理装置在获取到用户授权后，若确定用户进行了图像拍摄操作，则获取用户拍摄的图像，并将获取的图像确定为待进行隐私保护处理的原始图像。当图像处理装置设置于服务端时，用户可以操作其终端设备中的图像处理相关的客户端上传待进行隐私保护处理的原始图像，该客户端响应于用户的上传操作，获取原始图像并发送给服务端，图像处理装置将服务端接收到的原始图像确定为待进行隐私保护处理的原始图像。步骤S104，确定原始图像的图像内容中是否包括人脸；考虑到当原始图像中包括人脸时，存在用户隐私泄露的风险，因此，图像处理装置确定获取到的原始图像的图像内容中是否包括人脸，并在确定结果为是时执行步骤S106，在确定结果为否时，可以进行提示处理，如提示用户重新上传图像，或提示用户对原始图像进行其他处理等。步骤S106，若是，则通过预先训练的图像编码模型对原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，且模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。其中，指定人脸检测模型可以是预先训练的模型，还可以是第三方的人脸检测模型。模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，即通过计算机处理技术对模型对抗图像和原始图像进行比对处理后，得到的二者的差异值小于第一阈值；例如通过计算机处理技术计算模型对抗图像的第一均方误差，并计算原始图像的第二均方误差，比对第一均方误差和第二均方误差得到差异值，该差异值小于第一阈值等。模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度本文档来自技高网...

【技术保护点】
1.一种基于隐私保护的图像处理方法，包括：/n获取待进行隐私保护处理的原始图像；/n确定所述原始图像的图像内容中是否包括人脸；/n若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值，且所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。/n

【技术特征摘要】
1.一种基于隐私保护的图像处理方法，包括：
获取待进行隐私保护处理的原始图像；
确定所述原始图像的图像内容中是否包括人脸；
若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值，且所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。


2.根据权利要求1所述的方法，所述方法还包括：
通过预先部署的第一人脸检测模型，对指定图像库中的所述模型对抗图像进行人脸检测处理，得到第一人脸检测结果信息；
若根据所述第一人脸检测结果信息确定对至少一个所述模型对抗图像的人脸可检测程度大于第三阈值，则重新对所述图像编码模型进行训练，得到新的图像编码模型。


3.根据权利要求1所述的方法，所述确定所述原始图像的图像内容中是否包括人脸，包括：
通过预先训练的第二人脸检测模型，对所述原始图像进行人脸检测处理，得到第二人脸检测结果信息；
确定所述第二人脸检测结果信息是否表征检测到人脸；
若是，则确定所述原始图像的图像内容中包括人脸；
若否，则确定所述原始图像的图像内容中不包括人脸。


4.根据权利要求1所述的方法，所述通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，包括：
确定当前部署的所述图像编码模型是否符合预设的更新条件；
若是，则对当前部署的所述图像编码模型进行更新处理，并通过更新处理后的所述图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像；
若否，则通过当前部署的所述图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像。


5.根据权利要求4所述的方法，所述确定当前部署的所述图像编码模型是否符合预设的更新条件，包括：
获取所述图像编码模型的最新版本信息；
确定当前部署的所述编码模型的当前版本信息；
确定所述最新版本信息与所述当前版本信息是否一致；
若是，则确定当前部署的所述图像编码模型不符合预设的更新条件；
若否，则确定当前部署的所述图像编码模型符合预设的更新条件。


6.根据权利要求1所述的方法，所述方法还包括：
获取多个样本图像；其中，所述样本图像中包括人脸；
将所述样本图像划分为训练集和测试集；
根据预设的所述图像编码模型的训练方式基于所述训练集进行训练处理，得到初始编码模型；
通过所述测试集对所述初始编码模型进行测试处理，得到测试结果信息；
若确定所述测试结果信息满足第一预设条件，则将所述初始编码模型确定为所述图像编码模型。


7.根据权利要求6所述的方法，所述根据预设的所述图像编码模型的训练方式基于所述训练集进行训练处理，得到初始编码模型，包括：
对所述训练集中每个样本图像的人脸框和人脸关键点进行标注处理，得到对应的第一标注结果信息和第二标注结果信息；
迭代的通过待训练的图像编码网络对所述标注处理后的每个样本图像进行编码处理，得到对应的第一编码图像；
通过预先训练的至少一个人脸框检测模型对每个所述第一编码图像进行人脸框检测处理，得到对应的第一检测结果信息；
通过预先训练的至少一个人脸关键点检测模型对每个所述第一编码图像进行人脸关键点检测处理，得到对应的第二检测结果信息；
根据预设的比对方式，对所述训练集中的每个样本图像与所述样本图像所对应的所述第一编码图像进行比对处理，得到对应的第一比对结果信息；
根据预设的损失函数，基于所述第一标注结果信息、所述第二标注结果信息、所述第一检测结果信息、所述第二检测结果信息和所述第一比对结果信息，确定所述编码网络的损失；
若确定所述编码网络的损失满足第二预设条件，则将所述图像编码网络确定为所述初始编码模型。


8.根据权利要求7所述的方法，所述根据预设的损失函数，基于所述第一标注结果信息、所述第二标注结果信息、所述第一检测结果信息、所述第二检测结果信息和所述第一比对结果信息，确定所述编码网络的损失，包括：
根据所述第一标注结果信息和所述第一检测结果信息，确定所述样本图像的人脸框与对应的所述第一编码图像的人脸框之间的第一差异值；
根据所述第二标注结果信息和所述第二检测结果信息，确定所述样本图像的人脸关键点与对应的所述第一编码图像的人脸关键点之间的第二差异值；
根据预设的损失函数，对所述第一比对结果、所述第一差异值和所述第二差异值进行计算处理，得到所述图像编码网络的损失。


9.根据权利要求8所述的方法，所述根据预设的损失函数，对所述第一比对结果、所述第一差异值和所述第二差异值进行计算处理，得到所述编码网络的损失，包括：
对所述第一差...

【专利技术属性】
技术研发人员：刘杰，王维强，孟昌华，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33