用于训练图像识别模型的方法及装置制造方法及图纸

本说明书的实施例提供用于训练图像识别模型的方法及装置。在各个第一成员设备处，对训练样本图像数据进行基于频域变换的数据脱敏处理以得到第一脱敏图像数据；将第一脱敏图像数据提供给超参数选择模型来选择第一超参数；使用第一超参数对第一脱敏图像数据进行基于数据增强的图像混合处理，以得到第二脱敏图像数据以及经过标签混合处理的标记标签数据。然后，使用第二脱敏图像数据以及对应的经过标签混合处理后的标记标签数据训练图像识别模型。第二成员设备使用从各个第一成员设备接收的模型训练结果来更新图像识别模型。的模型训练结果来更新图像识别模型。的模型训练结果来更新图像识别模型。

【技术实现步骤摘要】
用于训练图像识别模型的方法及装置


[0001]本说明书实施例通常涉及人工智能
，尤其涉及图像数据处理方法、图像识别模型的训练方法、图像识别方法及其装置。

技术介绍

[0002]基于图像识别模型的业务处理方案已经被广泛地应用于大量应用中，例如，基于人脸识别模型的刷脸支付业务等。涉及到数据隐私信息(例如，用户隐私信息等)的图像数据通常分布在不同的数据拥有方或者不同的地域和国家。为了保护数据隐私信息，数据拥有方之间或者不同地域之间不允许进行这些隐私数据的数据共享，但是为了利用充足的数据来为用户提供更好的服务，需要针对特定任务充分挖掘数据间的信息来进行图像识别模型训练。为此，提出了联邦学习方法，该方法可以在数据不出域的情况下使用多个数据拥有方的私有图像数据来训练图像识别模型。然而，在联邦学习方法中，各个数据拥有方在本地完成图像识别模型训练后，需要向模型拥有方共享梯度信息或权重信息来进行聚合，从而会发生梯度信息或权重信息的信息泄露。如何避免从共享的梯度信息或权重信息中重构出原始图像数据成为亟待解决的问题。

技术实现思路

[0003]鉴于上述，本说明书实施例提供图像识别模型的训练方法及装置。利用该图像识别模型的训练方法及装置，通过对图像数据进行基于频域变换的数据脱敏处理来得到脱敏图像数据，对所得到的脱敏图像数据进行基于数据增强的图像混合处理，随后使用经过图像混合处理后的脱敏图像数据来在本地训练图像识别模型，并向模型拥有方共享本地训练出的图像识别模型的模型更新量，可以避免从共享的模型更新量中重构出原始图像数据，从而实现对原始图像数据的数据隐私保护。
[0004]根据本说明书实施例的一个方面，提供一种用于训练图像识别模型的方法，所述方法由具有本地训练数据的第一成员设备执行，所述方法包括：循环执行下述模型训练过程，直到满足模型训练结束条件：获取当前训练样本图像数据及其标记标签数据；对所述当前训练样本图像数据进行基于频域变换的数据脱敏处理，以得到所述当前训练样本图像数据的第一脱敏图像数据；将所述第一脱敏图像数据提供给超参数选择模型来从候选超参数集中选择用于指示参与图像混合处理的图像个数的第一超参数；使用所述第一超参数对所述第一脱敏图像数据进行基于Mixup数据增强的图像混合处理，以得到第二脱敏图像数据以及对应的经过标签混合处理的标记标签数据；使用所述第二脱敏图像数据以及对应的经过标签混合处理的标记标签数据训练所述当前图像识别模型；以及将所述当前图像识别模型的模型训练结果提供给用于维护图像识别模型的第二成员设备，以供所述第二成员设备使用来自多个第一成员设备的模型训练结果来进行图像识别模型更新，并从所述第二成员设备接收所述更新后的图像识别模型以用于下轮图像识别模型训练。
[0005]可选地，在上述方面的一个示例中，在将所述第一脱敏图像数据提供给超参数选
择模型来从候选超参数集中选择用于指示参与图像混合处理的图像个数的第一超参数之前，所述方法还可以包括：响应于满足第一预定条件，通过下述模型更新过程来更新所述超参数选择模型：将所述第一脱敏图像数据提供给超参数选择模型来从所述候选超参数集中选择用于指示参与图像混合处理的图像个数的第二超参数；使用所述第二超参数对所述第一脱敏图像数据进行基于数据增强的图像混合处理，以得到第三脱敏图像数据以及对应的经过标签混合处理的标记标签数据；将所述第三脱敏图像数据提供给所述当前图像识别模型，得到所述第三脱敏图像数据的第二预测标签数据，并根据所述第二预测标签数据以及对应的经过标签混合处理后的标记标签数据确定第一损失函数；根据所述第一损失函数更新所述当前图像识别模型；将所述第三脱敏图像数据提供给更新后的当前图像识别模型，得到所述第三脱敏图像数据的第三预测标签数据，并根据所述第三预测标签数据以及对应的经过标签混合处理后的标记标签数据确定第二损失函数；基于所述第一损失函数和所述第二损失函数，确定所述第三损失函数；以及基于所述第三损失函数更新所述超参数选择模型的模型参数。
[0006]可选地，在上述方面的一个示例中，所述第一预定条件可以包括：所述图像识别模型的当前训练轮数与所述超参数选择模型的上一更新处理时的训练轮数之间的轮数间隔达到第一指定轮数。
[0007]可选地，在上述方面的一个示例中，将所述当前图像识别模型的模型训练结果提供给所述第二成员设备可以包括：响应于满足第二预定条件，将所述当前图像识别模型的模型训练结果提供给所述第二成员设备。
[0008]可选地，在上述方面的一个示例中，所述第二预定条件可以包括：所述图像识别模型的当前训练轮数与上次发送所述模型训练结果时的训练轮数之间的轮数间隔达到第二指定轮数。
[0009]可选地，在上述方面的一个示例中，所述第一超参数为k，以及混合图像的最大权重系数为W
max
。使用所述第一超参数对所述第一脱敏图像数据进行基于数据增强的图像混合处理可以包括：对所述第一脱敏图像数据的图像数据集合进行k
‑
1次打乱处理，以得到k个图像数据集合；基于所述k个图像数据集合，构建大小为m*k的图像超矩阵，所述图像超矩阵中的第一列对应所述第一脱敏图像数据的原始图像数据集合，以及m为所述原始图像数据集合中的图像数据的个数；为所述图像超矩阵中的每个图像数据随机生成权重系数；对所述图像超矩阵中的图像数据的权重系数进行行归一化，使得每行图像数据的权重系数的和为1，并且每个图像数据的权重系数不大于W
max
；以及对所述图像超矩阵的每行图像数据进行加权求和，得到大小为m*1的混合图像超矩阵，所述混合图像超矩阵中的图像数据为经过数据增强后的脱敏图像数据。
[0010]可选地，在上述方面的一个示例中，对所述当前训练样本图像数据进行基于频域变换的数据脱敏处理可以包括：对所述当前训练样本图像数据进行局部频域变换处理，以得到至少一个特征图，每个特征图包括多个元素并且对应所述当前训练样本图像数据中的一个数据块，每个元素对应频域中的一个频率；分别使用所述至少一个特征图中的各个频率所对应的元素，构建各个频率所对应的频率分量通道特征图；以及从所构建的频率分量通道特征图中筛选出至少一个目标频率分量通道特征图，以得到所述当前训练样本图像数据的脱敏图像数据，所筛选出的目标频率分量通道特征图是图像识别的关键通道特征。
[0011]可选地，在上述方面的一个示例中，在从所构建的频率分量通道特征图中筛选出至少一个目标频率分量通道特征图后，所述方法还可以包括：对所述目标频率分量通道特征图进行第一次洗牌处理，以得到第一洗牌特征图；以及对所述第一洗牌特征图进行归一化处理，得到所述当前训练样本图像数据的脱敏图像数据。
[0012]可选地，在上述方面的一个示例中，在对所述第一洗牌特征图进行归一化处理后，所述方法还可以包括：对经过归一化处理后的第一洗牌特征图进行通道混合处理；对经过通道混合处理后的第一洗牌特征图进行第二次洗牌处理，以得到第二洗牌特征图；以及对所述第二洗牌特征图进行归一化处理，以得到所述当前训练样本图像数据的脱敏图像数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练图像识别模型的方法，所述方法由具有本地训练数据的第一成员设备执行，所述方法包括：循环执行下述模型训练过程，直到满足模型训练结束条件：获取当前训练样本图像数据及其标记标签数据；对所述当前训练样本图像数据进行基于频域变换的数据脱敏处理，以得到所述当前训练样本图像数据的第一脱敏图像数据；将所述第一脱敏图像数据提供给超参数选择模型来从候选超参数集中选择用于指示参与图像混合处理的图像个数的第一超参数；使用所述第一超参数对所述第一脱敏图像数据进行基于Mixup数据增强的图像混合处理，以得到第二脱敏图像数据以及对应的经过标签混合处理的标记标签数据；使用所述第二脱敏图像数据以及对应的经过标签混合处理的标记标签数据训练所述当前图像识别模型；以及将所述当前图像识别模型的模型训练结果提供给用于维护图像识别模型的第二成员设备，以供所述第二成员设备使用来自多个第一成员设备的模型训练结果来进行图像识别模型更新，并从所述第二成员设备接收所述更新后的图像识别模型以用于下轮图像识别模型训练。2.如权利要求1所述的方法，其中，在将所述第一脱敏图像数据提供给超参数选择模型来从候选超参数集中选择用于指示参与图像混合处理的图像个数的第一超参数之前，所述方法还包括：响应于满足第一预定条件，通过下述模型更新过程来更新所述超参数选择模型：将所述第一脱敏图像数据提供给超参数选择模型来从所述候选超参数集中选择用于指示参与图像混合处理的图像个数的第二超参数；使用所述第二超参数对所述第一脱敏图像数据进行基于数据增强的图像混合处理，以得到第三脱敏图像数据以及对应的经过标签混合处理的标记标签数据；将所述第三脱敏图像数据提供给所述当前图像识别模型，得到所述第三脱敏图像数据的第二预测标签数据，并根据所述第二预测标签数据以及对应的经过标签混合处理后的标记标签数据确定第一损失函数；根据所述第一损失函数更新所述当前图像识别模型；将所述第三脱敏图像数据提供给更新后的当前图像识别模型，得到所述第三脱敏图像数据的第三预测标签数据，并根据所述第三预测标签数据以及对应的经过标签混合处理后的标记标签数据确定第二损失函数；基于所述第一损失函数和所述第二损失函数，确定所述第三损失函数；以及基于所述第三损失函数更新所述超参数选择模型的模型参数。3.如权利要求2所述的方法，其中，所述第一预定条件包括：所述图像识别模型的当前训练轮数与所述超参数选择模型的上一更新处理时的训练轮数之间的轮数间隔达到第一指定轮数。4.如权利要求1所述的方法，其中，将所述当前图像识别模型的模型训练结果提供给所述第二成员设备包括：响应于满足第二预定条件，将所述当前图像识别模型的模型训练结果提供给所述第二
成员设备。5.如权利要求4所述的方法，其中，所述第二预定条件包括：所述图像识别模型的当前训练轮数与上次发送所述模型训练结果时的训练轮数之间的轮数间隔达到第二指定轮数。6.如权利要求1所述的方法，其中，所述第一超参数为k，以及混合图像的最大权重系数为W
max
，使用所述第一超参数对所述第一脱敏图像数据进行基于数据增强的图像混合处理包括：对所述第一脱敏图像数据的图像数据集合进行k
‑
1次打乱处理，以得到k个图像数据集合；基于所述k个图像数据集合，构建大小为m*k的图像超矩阵，所述图像超矩阵中的第一列对应所述第一脱敏图像数据的原始图像数据集合，以及m为所述原始图像数据集合中的图像数据的个数；为所述图像超矩阵中的每个图像数据随机生成权重系数；对所述图像超矩阵中的图像数据的权重系数进行行归一化，使得每行图像数据的权重系数的和为1，并且每个图像数据的权重系数不大于W
max
；以及对所述图像超矩阵的每行图像数据进行加权求和，得到大小为m*1的混合图像超矩阵，所述混合图像超矩阵中的图像数据为经过数据增强后的脱敏图像数据。7.如权利要求1所述的方法，其中，对所述当前训练样本图像数据进行基于频域变换的数据脱敏处理包括：对所述当前训练样本图像数据进行局部频域变换处理，以得到至少一个特征图，每个特征图包括多个元素并且对应所述当前训练样本图像数据中的一个数据块，每个元素对应频域中的一个频率；分别使用所述至少一个特征图中的各个频率所对应的元素，构建各个频率所对应的频率分量通道特征图；以及从所构建的频率分量通道特征图中筛选出至少一个目标频率分量通道特征图，以得到所述当前训练样本图像数据的脱敏图像数据，所筛选出的目标频率分量通道特征图是图像识别的关键通道特征。8.如权利要求7所述的方法，其中，在从所构建的频率分量通道特征图中筛选出至少一个目标频率分量通道特征图后，所述方法还包括：对所述目标频率分量通道特征图进行第一次洗牌处理，以得到第一洗牌特征图；以及对所述第一洗牌特征图进行归一化处理，得到所述当前训练样本图像数据的脱敏图像数据。9.如权利要求8所述的方法，其中，在对所述第一洗牌特征图进行归...

【专利技术属性】
技术研发人员：王莹桂，王力，王磊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：