一种微调人脸识别模型的方法技术

本发明专利技术公开了一种微调人脸识别模型的方法，属于人脸识别技术领域。解决了在通用数据集上训练的识别模型在使用在自然环境中识别率大幅降低的问题。包括以下步骤：步骤1：搜集目标人群的脸部数据和智能无线设备的设备信息；根据收集到的信息的时间和位置，将它们分成不同的事件；步骤2：将跨所有事件的人脸图像分组成群集，然后基于人脸图像出现在事件方面的相似性将群集与设备信息关联；步骤3：当人脸图像被用户身份标签标记后，通过微调预先训练的人脸识别模型，使群集标签更新置信度，每个事件有哪些设备参与；步骤4：不断重复直到通过预先训练的人脸识别模型计算出人脸图像的差别变得微小并可以忽略，则得到最适合新环境下人脸识别模型。

A method of fine tuning face recognition model

【技术实现步骤摘要】
一种微调人脸识别模型的方法
本专利技术涉及人脸识别
，更具体的说是涉及利用深度学习技术解决人脸识别问题领域，尤其是一种微调人脸识别模型的方法。
技术介绍
目前许多用于人脸识别的神经网络模型，在通用数据集，如LFW(LabledintheWild)能实现比较高的识别率，虽然这些方法在人脸识别中已被证明是非常有效的，但训练过程中需要大量的带标记人脸图像来训练有监督的深度人脸识别网络。并且当将在通用数据上训练的网络，直接应用在一些自然环境中，识别率会大幅降低。在特定的领域中，大量的标记数据并不总是可以实现的，使用少量的训练数据在自然环境中会导致较差的泛化能力，所以采用大规模带标签的数据训练的方法不能广泛部署和采用。解决在通用数据集上训练的识别模型在使用在自然环境中识别率大幅降低的问题。现有的可能解决的思路是针对特定的环境获取一个大型的带标签的数据集，每个用户都有数百个带注释的人脸图像。通过访问这样一个假设的数据集，那么就有可能对域外数据上的预先训练的分类器进行微调，以适应新的环境并获得优异的性能。但是对于大多数使用应用来说，标记和更新大型的数据集成本很高，实现使用起来会受到很多限制。交叉模式匹配在多个不同的研究领域都受到了关注。从人脸图像视频到文本描述的匹配，发展到人脸图像到语音的匹配，比如从文本中生成视觉模型。但是在人脸图像和无线信号之间的交叉模式匹配的相关研究和应用却很少，考虑到如今智能设备的广泛使用，可以利用无线信号作为人脸图像的身份标签来调整面部识别模型。
技术实现思路
<br>针对解决通用识别模型在特定自然环境中识别率大幅降低的问题，本专利技术提供一种微调人脸识别模型的方法。为了实现上述目的，本专利技术采用以下技术方案：一种微调人脸识别模型的方法，包括以下步骤：步骤1：多样化搜集数据：搜集目标人群的脸部数据和其携带的智能无线设备的设备信息；根据收集到的脸部数据和设备信息的时间和位置，将它们分成不同的事件；步骤2：交叉模式标记：将跨所有事件的人脸图像分组成群集，然后基于人脸图像出现在事件方面的相似性将群集与智能无线设备的设备信息关联；步骤3：模型微调更新：当人脸图像被用户身份标签标记后，通过微调预先训练的人脸识别模型，使群集标签更新置信度，每个事件有哪些设备参与；步骤4：不断重复步骤2和步骤3，直到通过预先训练的人脸识别模型计算出人脸图像的差别变得微小并可以忽略，则最后一次迭代得到的优化模型是最适合新环境下人脸识别模型。进一步的，在步骤1中，通过监控摄像机搜集目标人群的面部信息，同时利用无线信号探测器搜集智能无线设备的无线信号，获得智能无线设备的id；将人脸面部信息与智能无线设备的id关联；然后基于搜集人脸面部信息与智能无线设备的id的时间和位置，将它们分成不同的事件。进一步的，在步骤2中，交叉模式标记具体包括以下内容：交叉模式聚类：根据收集到的脸部数据和设备信息，结合人脸图像的外观相似性和人脸图像出现的位置信息将跨多个事件的人脸图像聚集到一个群集中，对人脸图像进行聚类形成人脸图像群集，人脸图像群集是从一组事件中提取的，将每个人脸图像群集分配给在相似的事件集合中检测到其设备的用户；聚类标记：在人脸图像群集之后，一个人脸图像群集将与其成员人脸图像关联的多个事件链接，同一主题的设备信息和人脸图像集群在事件中共享最一致的出现模式，这反映在它们的事件向量的相似性上，基于这个前提，根据设备id的事件向量的匹配级别为人脸图像群集分配设备id。进一步的，所述交叉模式聚类包括以下内容：多样的特征表示：给定预先训练的人脸识别模型fθ,人脸图像xi可以被转换为特征向量zi,对于事件ei,用向量矩阵表示设备出现的矩阵向量，如果设备lj在事件ek中被检测到，那么采用这种表示方式，可以为在事件ek中收集到的人脸图像xi表示一个异构特征由于在相同事件中捕获的所有的人脸图像有相同的出现特征向量，设备出现部分只用于跨事件的人脸图像对比。人脸图像的相似性：已知人脸图像xi在事件ek中被捕获人脸图像xj在事件ep中被捕获这两个跨事件的人脸图像属于同一主题基于两个因素：一是zi和zj之间特征表示的相似性；二是与它们分别关联的事件uk和up出现的重叠率；相似性用如下表达式评估：log(Pr(xi＝xj))∝β*(|ukANDup|-|ukORup|)-D(zi，zj)运算||表示L1归一化，D表示人脸特征的距离度量；β表示复合损失函数中的正则化参数；|ukORup|背后的基本原理是，参加活动的受试者越多，在这些活动中绘制的任何两幅人脸图像指向同一受试者的不确定性就越大；相反，当|ukANDup|的交点足够大时，这两幅人脸图像指向同一主题的几率就会增大；两个事件的出现相似性可以作为两个跨事件人脸图像属于同一主题的先验，特征相似性可以看作是可能性；它们共同决定了两个交叉事件人脸图像属于同一群集的后验概率；(|ukANKup|-|ukORup|)表示目标人群的出现相似性；基于上述联合相似性，将跨事件的人脸图像分组到群集中。进一步的，所述聚类标记包括以下内容：用表示人脸图像ci的群集,其中h表示事件的总数，只有当ci从事件ek中包含人脸图像时，的值被设置为1；相似地，一个设备id为lj，用表示设备idlj的群集,其中k表示事件的总数，如果在事件ek中检测到设备lj，那么的值设为1；同一主题的设备和人脸图像集群应该在事件中共享最一致的出现模式，这反映在它们的事件向量的相似性上；基于这种判断，根据设备id的事件向量的匹配级别为群集分配设备id；人脸图像的群集和设备id的群集的匹配度LA表述为:aij为和之间匹配的概率；g为集群的数量；m为目标人群的数量；当m<g时，通过添加虚拟节点来创建完全的双向图，即得人脸图像和设备id之间的关联；当m>g时，在集群数量较多的情况下，虽然在集群化之后存在一些未使用的非目标人群集群，但是关联步骤将对它们进行筛选，只选择与m设备信息最一致的m集群；最后，对于每幅人脸图像，通过对不同g计算出的个体关联结果进行决策表决，最终确定其分配的id；通常，多数投票过程会为人脸图像提供一个硬id标签；并使用这些硬id标签对作为训练数据来更新给定的预先训练的人脸识别模型。进一步的，所述聚类标记还包括以下内容：采用了软标签进行投票，然后引入一个概率向量yi＝(yi，1，yi，2，yi，m)，具体来说，每个人脸图像都与所有目标人群相关联，其关联的软标签是由目标人群的投票数除以总投票数得到的；每个人脸图像的软标签都是一个有效的概率分布，加起来等于1。进一步的，在步骤3中，所述模型微调更新包括以下内容：识别模型更新:在将标记后的人脸图像送入预先训练的人脸识别模型后，计算识别结果的损失，根据损失的梯度，将损失反向传播并依据计算的梯度更新参数；用户出现更新：用户不会总是携带设备，根据前面聚类标记步骤得到的结果，可以有机会更新那些用户参与了每个事件的本文档来自技高网...

【技术保护点】
1.一种微调人脸识别模型的方法，其特征在于，包括以下步骤：/n步骤1：多样化搜集数据：搜集目标人群的脸部数据和其携带的智能无线设备的设备信息；根据收集到的脸部数据和设备信息的时间和位置，将它们分成不同的事件；/n步骤2：交叉模式标记：将跨所有事件的人脸图像分组成群集，然后基于人脸图像出现在事件方面的相似性将群集与智能无线设备的设备信息关联；/n步骤3：模型微调更新：当人脸图像被用户身份标签标记后，通过微调预先训练的人脸识别模型，使群集标签更新置信度，每个事件有哪些设备参与；/n步骤4：不断重复步骤2和步骤3，直到通过预先训练的人脸识别模型计算出人脸图像的差别变得微小并可以忽略，则最后一次迭代得到的优化模型是最适合新环境下人脸识别模型。/n

【技术特征摘要】
1.一种微调人脸识别模型的方法，其特征在于，包括以下步骤：
步骤1：多样化搜集数据：搜集目标人群的脸部数据和其携带的智能无线设备的设备信息；根据收集到的脸部数据和设备信息的时间和位置，将它们分成不同的事件；
步骤2：交叉模式标记：将跨所有事件的人脸图像分组成群集，然后基于人脸图像出现在事件方面的相似性将群集与智能无线设备的设备信息关联；
步骤3：模型微调更新：当人脸图像被用户身份标签标记后，通过微调预先训练的人脸识别模型，使群集标签更新置信度，每个事件有哪些设备参与；
步骤4：不断重复步骤2和步骤3，直到通过预先训练的人脸识别模型计算出人脸图像的差别变得微小并可以忽略，则最后一次迭代得到的优化模型是最适合新环境下人脸识别模型。


2.根据权利要求1所述的一种微调人脸识别模型的方法，其特征在于，在步骤1中，通过监控摄像机搜集目标人群的面部信息，同时利用无线信号探测器搜集智能无线设备的无线信号，获得智能无线设备的id；将人脸面部信息与智能无线设备的id关联；然后基于搜集人脸面部信息与智能无线设备的id的时间和位置，将它们分成不同的事件。


3.根据权利要求1所述的一种微调人脸识别模型的方法，其特征在于，在步骤2中，交叉模式标记具体包括以下内容：
交叉模式聚类：根据收集到的脸部数据和设备信息，结合人脸图像的外观相似性和人脸图像出现的位置信息将跨多个事件的人脸图像聚集到一个群集中，对人脸图像进行聚类形成人脸图像群集，人脸图像群集是从一组事件中提取的，将每个人脸图像群集分配给在相似的事件集合中检测到其设备的用户；
聚类标记：在人脸图像群集之后，一个人脸图像群集将与其成员人脸图像关联的多个事件链接，同一主题的设备信息和人脸图像集群在事件中共享最一致的出现模式，这反映在它们的事件向量的相似性上，基于这个前提，根据设备id的事件向量的匹配级别为人脸图像群集分配设备id。


4.根据权利要求3所述的一种微调人脸识别模型的方法，其特征在于，所述交叉模式聚类包括以下内容：
多样的特征表示：人脸图像xi可以被转换为特征向量zi，对于事件ei，用向量矩阵表示设备出现的矩阵向量，如果设备lj在事件ek中被检测到，那么采用这种表示方式，可以为在事件ek中收集到的人脸图像xi表示一个异构特征由于在相同事件中捕获的所有的人脸图像有相同的出现特征向量，设备出现部分只用于跨事件的人脸图像对比；
人脸图像的相似性：已知人脸图像xi在事件ek中被捕获人脸图像xj在事件ep中被捕获这两个跨事件的人脸图像属于同一主题基于两个因素：一是zi和zj之间特征表示的相似性；二是与它们分别关联的事件uk和up出现的重叠率；相似性用如下表达式评估：



log(Pr(xi＝xj))∝β*(|ukANDup|-|ukORup|)-D(zi，zj)
运算||表示L1归一化，D表示人脸特征的距离度量；β表示复合损失函数中的...

【专利技术属性】
技术研发人员：刘阳，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川;51