模型训练方法、亲属关系分类方法、检索方法及相关装置制造方法及图纸

本申请提供模型训练方法、亲属关系分类方法、检索方法及相关装置；模型训练方法包括：获取训练集；获取第一训练图像对应的第一特征向量和第二训练图像对应的第二特征向量；获取第一训练图像对应的第三特征向量和第二训练图像对应的第四特征向量；将特征向量输入拼接层，得到拼接信息；将拼接信息输入全连接模块，得预测信息；利用预测信息和标注信息，对预设深度神经网络进行训练，得到亲属关系分类模型。由于预测信息是采用两个特征提取模块的输出结果拼接得到的，因此，所得到的预测信息的精度更高，利用该预测信息所训练出的亲属关系分类模型在进行亲属关系分类或检索时，精度也相应更高。相应更高。相应更高。

【技术实现步骤摘要】
模型训练方法、亲属关系分类方法、检索方法及相关装置


[0001]本申请涉及深度学习及图像处理
，尤其涉及模型训练方法、亲属关系分类方法、检索方法及相关装置。

技术介绍

[0002]随着宝贝回家等公益活动的开展，社会上对于丢失儿童的救助行动日益增多，这些丢失儿童的身份判定却成了很大的问题。很迫切的需要一种便捷的方法来挽救这些破碎的家庭，为丢失的儿童寻到他们的亲生父母。
[0003]判定亲生关系的理论依据是孟德尔遗传定律，通过鉴定双方的DNA序列来判断双方是否有血缘关系。但是由于时间和空间的关系，并不能随时随地的做D NA检测，而由于遗传的原因，大多数人的相貌与自己的血亲有相似之处，因此，通过照片来进行亲属关系验证的可行性就变得很高，并且通过照片来进行亲属关系验证相比于DNA序列进行验证更加方便快捷。
[0004]在深度学习还没有流行时，除了DNA亲子鉴定，在《Like Father,Like So n:Facial Expression Dynamics for Kinship Verification》一文中还提到了通过动态面部表情来预测亲属关系的一种方法。该方法通过跟踪landmark的运动轨迹，眼部，眉毛，脸颊与嘴唇的位移信息将会被记录下来(嘴部三个阶段的位移的平均值也将会被记录下来)。接下来从多张相邻的图片中提取表情的动态信息以及空间信息和时序信息(提取CLBP纹理特征)，并把两种信息分别用SVM训练。通过训练结果判断二者是否为亲属关系。
[0005]随着深度学习的流行，在《基于特征提取和度量学习的亲属关系认证算法研究》一文中使用了神经网络来判断亲属关系的方法，首先抽取脸部的关键区域，分别对每块关键区域提取纹理和肤色特征,然后进行特征融合。最后引入度量学习，学习能使具有亲属关系样本距离变小，而非亲属关系样本距离变大的变换矩阵，并将提取的特征向量通过变换矩阵映射到度量空间，通过余弦相似函数计算相似度。其次，针对如何利用三个客体进行亲属关系认证，提出重构特征的局部邻域排斥度量学习算法。即通过比较父母面部关键特征与子女面部关键特征之间的欧氏距离,选取欧式距离较小的关键特征作为子女面部关键特征的近似特征。从局部特征的角度入手，分别对各个关键特征进行度量学习，然后利用余弦相似函数求得每对样本对应关键特征的相似度。再次，针对传统的手工特征提取器难以提取高级抽象特征的问题,提出了一种深度卷积神经网络End
‑
to
‑
End模型。通过将成对标记的训练数据输入网络进行迭代优化，卷积层能够提取亲子图像对的隐性特征，全连接层可以将提取的隐性特征映射为亲属关系认证的二分类问题， soft
‑
max分类层能够直接判断该对样本是否具有亲属关系。
[0006]然而，现有技术中，利用图像进行亲子关系的判断准确率仍然较低。

技术实现思路

[0007]基于上述研究背景和问题，本申请采用了基于深度学习的图像分类方法，设计出
一种准确率更高的亲子关系验证的方法，在实际的应用环境中，通过一对面部图像判断孩子是否与父亲或母亲具有亲属关系，进行自动亲属关系一对一视图识别，以此进行亲子关系判断时准确度较高。
[0008]本申请的目的在于提供模型训练方法、亲属关系分类方法、检索方法及相关装置，解决现有技术中利用图像进行亲子关系的判断准确率仍然较低的问题。
[0009]本申请的目的采用以下技术方案实现：
[0010]第一方面，本申请提供了一种模型训练方法，用于对预设深度神经网络进行训练，所述预设深度神经网络包括第一特征提取模块、第二特征提取模块、拼接层和全连接模块，所述模型训练方法包括：获取训练集，所述训练集中的每个训练数据包括第一训练图像、第二训练图像和标注信息，所述第一训练图像和所述第二训练图像对应的标注信息用于指示所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系；针对每个所述训练数据，利用所述训练数据的第一训练图像、第二训练图像和所述第一特征提取模块，获取所述第一训练图像对应的第一特征向量和所述第二训练图像对应的第二特征向量；利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量；将所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量输入所述拼接层，得到所述第一训练图像和所述第二训练图像对应的拼接信息；将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，所述第一训练图像和所述第二训练图像对应的预测信息是所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系的预测结果；利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，对所述预设深度神经网络进行训练，得到亲属关系分类模型。
[0011]该技术方案的有益效果在于：利用第一特征提取模块和第二特征提取模块分别提取训练集中的第一训练图像和第二训练图像对应的第一特征向量、第三特征向量以及第二特征向量、第四特征向量，并进行拼接，得到第一训练图像和第二训练图像对应的拼接信息，并将拼接信息输入全连接层得到预测信息，利用该预测信息和训练集中的标注信息对预设深度神经网络进行训练，得到亲属关系分类模型。由于预测信息是采用两个特征提取模块的输出结果拼接得到的，因此，所得到的预测信息的精度更高，利用该预测信息所训练出的亲属关系分类模型在进行亲属关系分类或检索时，精度也相应更高。
[0012]在一些可选实施例中，所述第一特征提取模块采用FaceNet网络，所述第二特征提取模块采用VggFace网络。该技术方案的有益效果在于：FaceNet网络是成熟的人脸识别网络，其运算效率较高，VggFace网络的识别精度更高，利用两种不同的特征提取网络进行特征提取并对提取出的特征向量进行拼接，使得预测信息的获得效率和精度均较高。
[0013]在一些可选实施例中，所述第二特征提取模块的特征提取网络包括卷积块和标识块，所述利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量，包括：以所述训练数据的第一训练图像和第二训练图像分别作为目标图像，利用所述目标图像和所述卷积块，获取所述目标图像对应的中间特征；将所述目标图像对应的中间特征输入所述标识块，得到所述目标图像对应的特征向量；其中，当所述目标图像是所述第一训练图像
时，所述目标图像对应的特征向量即所述第一训练图像对应的第三特征向量；当所述目标图像是所述第二训练图像时，所述目标图像对应的特征向量即所述第二训练图像对应的第四特征向量。该技术方案的有益效果在于：利用卷积块获得目标图像的中间特征，将该中间特征输入标识块，获得目标图像对应的特征向量，使得获得的特征向量更加准确。
[0014]在一些可选实施例中，所述卷积块包括输入层、第一分支、第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，用于对预设深度神经网络进行训练，所述预设深度神经网络包括第一特征提取模块、第二特征提取模块、拼接层和全连接模块，所述模型训练方法包括：获取训练集，所述训练集中的每个训练数据包括第一训练图像、第二训练图像和标注信息，所述第一训练图像和所述第二训练图像对应的标注信息用于指示所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系；针对每个所述训练数据，利用所述训练数据的第一训练图像、第二训练图像和所述第一特征提取模块，获取所述第一训练图像对应的第一特征向量和所述第二训练图像对应的第二特征向量；利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量；将所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量输入所述拼接层，得到所述第一训练图像和所述第二训练图像对应的拼接信息；将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，所述第一训练图像和所述第二训练图像对应的预测信息是所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系的预测结果；利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，对所述预设深度神经网络进行训练，得到亲属关系分类模型。2.根据权利要求1所述的模型训练方法，其特征在于，所述第一特征提取模块采用FaceNet网络，所述第二特征提取模块采用VggFace网络。3.根据权利要求2所述的模型训练方法，其特征在于，所述第二特征提取模块的特征提取网络包括卷积块和标识块，所述利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量，包括：以所述训练数据的第一训练图像和第二训练图像分别作为目标图像，利用所述目标图像和所述卷积块，获取所述目标图像对应的中间特征；将所述目标图像对应的中间特征输入所述标识块，得到所述目标图像对应的特征向量；其中，当所述目标图像是所述第一训练图像时，所述目标图像对应的特征向量即所述第一训练图像对应的第三特征向量；当所述目标图像是所述第二训练图像时，所述目标图像对应的特征向量即所述第二训练图像对应的第四特征向量。4.根据权利要求3所述的模型训练方法，其特征在于，所述卷积块包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述利用所述目标图像和所述卷积块，获取所述目标图像对应的中间特征，包括：通过所述卷积块的输入层将所述目标图像分别输入所述卷积块的第一分支和第二分支，得到所述目标图像对应的第一分支信息和第二分支信息；将所述目标图像对应的第一分支信息和第二分支信息输入所述卷积块的加法层，得到
所述目标图像对应的第一加法信息；将所述目标图像对应的第一加法信息输入所述卷积块的激活层，得到所述目标图像对应的中间特征并通过所述卷积块的输出层输出。5.根据权利要求4所述的模型训练方法，其特征在于，所述目标图像先后通过所述卷积块的第一分支的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第一分支信息；所述目标图像先后通过所述卷积块的第二分支的卷积层和批标准化层，得到所述目标图像对应的第二分支信息。6.根据权利要求3所述的模型训练方法，其特征在于，所述标识块包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述将所述目标图像对应的中间特征输入所述标识块，得到所述目标图像对应的特征向量，包括：通过所述标识块的输入层将所述目标图像对应的中间特征分别输入所述标识块的第一分支和第二分支，得到所述目标图像对应的第三分支信息和第四分支信息；将所述目标图像对应的第三分支信息和第四分支信息输入所述标识块的加法层，得到所述目标图像对应的第二加法信息；将所述目标图像对应的第二加法信息输入所述标识块的激活层，得到所述目标图像对应的特征向量并通过所述标识块的输出层输出。7.根据权利要求6所述的模型训练方法，其特征在于，所述目标图像对应的中间特征先后通过所述标识块的第一分支的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第三分支信息；所述目标图像对应的中间特征还作为所述目标图像对应的第四分支信息。8.根据权利要求1所述的模型训练方法，其特征在于，所述方法还包括：针对至少一个所述训练图像，对所述训练图像进行数据增广，得到所述训练图像对应的增广图像并放入所述训练集作为新的训练图像。9.根据权利要求1所述的模型训练方法，其特征在于，所述获取训练集，包括：对数据集进行划分，得到所述训练集，以使所述训练集中正样本与负样本的比例满足预设比例条件。10.根据权利要求1所述的模型训练方法，其特征在于，所述拼接层采用具有对称性的叠加方式对所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量进行拼接，得到所述第一训练图像和所述第二训练图像对应的拼接信息。11.根据权利要求1所述的模型训练方法，其特征在于，所述全连接模块包括第一全连接层和第二全连接层，所述将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，包括：将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述第一全连接层，得到所述第一训练图像和所述第二训练图像对应的全连接中间信息；将所述第一训练图像和所述第二训练图像对应的全连接...

【专利技术属性】
技术研发人员：陈海波，罗志鹏，
申请(专利权)人：深延科技北京有限公司，
类型：发明
国别省市：