社交关系识别模型的训练方法、识别方法及相关设备技术

本发明专利技术涉及图像关系识别技术领域，提供一种社交关系识别模型的训练方法、识别方法及相关设备，社交关系识别模型的训练方法包括：基于训练图像中两个样本人员之间关系的先验距离，通过预设的第一训练集对第一网络模型进行自监督训练，得到第二网络模型；将所述第二网络模型的全连接层进行调整以适应社交关系的识别分类，得到第三网络模型；通过预设的第二训练集对所述第三网络模型进行调整训练，得到目标网络模型。本发明专利技术能够减少有标签数据的使用，并训练得到的目标网络模型对社交关系识别的准确率更高。的准确率更高。的准确率更高。

【技术实现步骤摘要】
社交关系识别模型的训练方法、识别方法及相关设备


[0001]本专利技术涉及图像关系识别
，尤其涉及一种社交关系识别模型的训练方法、识别方法及相关设备。

技术介绍

[0002]社交关系(Social relation，SR)是人类社会的基础，所以掌握整个社会的社交关系无论对于国家治理还是科学研究而言都是极为重要的。识别图像中人与人之间的社会关系可以使智能体更好地了解人类的行为或情感。基于图像的社会关系识别的任务是将图像中的一对人分类为预定义的关系类型之一，例如：朋友，家人等。它具有许多重要的应用，例如：个人图像收集挖掘和社交事件理解。
[0003]在过去的十年中，基于图像的社会学分析一直是热门话题。不同的是，近年来，随着大规模数据集的发布，对基于图像的社会关系识别吸引了研究人员。从传统的手工特征到最近的基于深度学习的算法，方法的性能均取得了显着改善。然而，从图像中识别社会关系仍然是一个不容忽视的问题，它面临着一些挑战。首先，视觉特征和社会关系之间存在很大的领域鸿沟。其次，不管是基于手工特征还是基于深度学习的方法，都需要一定的监督信息，而社会关系类型的标签获得是一个十分困难的事情，在过去的工作中，所提出的两个公开数据集PIPA和PISC都是小规模的数据集，且标注过程需要5个人独立完成，最终的标签是基于投票机制产生，这需要耗费太大量的标注人力，且基于深度学习的方法往往需要大量的数据，这增大了社交关系类型识别的应用难度。可见，基于视觉的社交关系识别任务中存在标签数据少且难收集以导致社交关系识别准确率低的问题。<br/>
技术实现思路

[0004]本专利技术实施例提供一种社交关系识别模型的训练方法，能够减少有标签数据的使用，提高社交关系识别的准确率。
[0005]第一方面，本专利技术实施例提供一种社交关系识别模型的训练方法，包括：
[0006]基于训练图像中两个样本人员之间关系的先验距离，通过预设的第一训练集对第一网络模型进行自监督训练，得到第二网络模型；
[0007]将所述第二网络模型的全连接层进行调整以适应社交关系识别分类，得到第三网络模型；
[0008]通过预设的第二训练集对所述第三网络模型进行调整训练，得到目标网络模型。
[0009]第二方面，本专利技术实施例还提供一种社交关系识别方法，包括以下步骤：
[0010]获取待识别图像，所述待识别图像包括第一目标人员与第二目标人员；
[0011]通过上述任一实施例中训练得到的目标网络模型对所述待识别图像中的所述第一目标人员与所述第二目标人员进行社交关系识别。
[0012]第三方面，本专利技术实施例提供一种社交关系识别模型的训练装置，包括：
[0013]第一训练模块，用于基于训练图像中两个样本人员之间关系的先验距离，通过预
设的第一训练集对第一网络模型进行自监督训练，得到第二网络模型；
[0014]调整模块，用于将所述第二网络模型的全连接层进行调整以适应所述社交关系识别模型的训练分类，得到第三网络模型；
[0015]第二训练模块，用于通过预设的第二训练集对所述第三网络模型进行调整训练，得到目标网络模型。
[0016]第四方面，本专利技术实施例提供一种社交关系识别装置，包括：
[0017]获取模块，用于获取待识别图像，所述待识别图像包括第一目标人员与第二目标人员；
[0018]识别模块，用于通过训练得到的目标网络模型对所述待识别图像中的所述第一目标人员与所述第二目标人员进行社交关系识别。
[0019]第五方面，本专利技术实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例提供的一种社交关系识别模型的训练方法中的步骤。
[0020]第六方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现专利技术实施例提供的一种社交关系识别模型的训练方法中的步骤。
[0021]在本专利技术实施例中，通过基于训练图像中两个样本人员之间关系的先验距离，通过预设的第一训练集对第一网络模型进行自监督训练，得到第二网络模型；将所述第二网络模型的全连接层进行调整以适应所述社交关系识别模型的训练分类，得到第三网络模型；通过预设的第二训练集对所述第三网络模型进行调整训练，得到目标网络模型。本专利技术由于提出通过预设的第一训练集以及第二训练集分别进行模型训练，且第一训练集作为无监督数据，第二训练集作为有监督数据，进行训练后不仅减少对有监督数据的需求量，还提高了目标网络模型的识别能力；且在实际应用中能够使用大量无监督数据能够提升模型性能，从而减少对标注数据量的需求，降低标注人力成本。
附图说明
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本专利技术实施例提供的一种社交关系识别模型的训练方法的流程图；
[0024]图2为本专利技术实施例提供的另一种社交关系识别模型的训练方法的流程图；
[0025]图2a为本专利技术实施例提供的第二网络模型训练的示意图；
[0026]图2b为本专利技术实施例提供的目标网络模型训练的示意图；
[0027]图3为本专利技术实施例提供的另一种社交关系识别模型的训练方法的流程图；
[0028]图4为本专利技术实施例提供的另一种社交关系识别方法的流程图；
[0029]图5为本专利技术实施例提供的一种社交关系识别模型的训练装置的结构示意图；
[0030]图6为本专利技术实施例提供的另一种社交关系识别模型的训练装置的结构示意图；
[0031]图7为本专利技术实施例提供的另一种社交关系识别模型的训练装置的结构示意图；
Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant，简称PDA)、移动上网装置(Mobile Internet Device，MID)、计算机或笔记本电脑等电子设备。
[0043]102、将第二网络模型的全连接层进行调整以适应社交关系的识别分类，得到第三网络模型。
[0044]其中，对第二网络模型的全连接层(fully connected layer，fc)进行调整可以是基于要识别的类型、数量等参数对全连接层的输出神经元数量以及关系类别数量进行调整。其中，全连接层主要起到分类作用，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的，全连接层的每一层都是由许多的神经元组成，后一层的所有神经元与前一层的所有的神经元进行全连接，以整合在此之前的卷积层或者池化层中具有类别区分性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种社交关系识别模型的训练方法，其特征在于，包括以下步骤：基于训练图像中两个样本人员之间关系的先验距离，通过预设的第一训练集对第一网络模型进行自监督训练，得到第二网络模型；将所述第二网络模型的全连接层进行调整以适应社交关系的识别分类，得到第三网络模型；通过预设的第二训练集对所述第三网络模型进行调整训练，得到目标网络模型。2.如权利要求1所述的一种社交关系识别模型的训练方法，其特征在于，所述第一网络模型包括第一提取网络、第二提取网络、第三提取网络、第一全连接层以及第一损失函数，其中，所述第一提取网络与所述第二提取网络的网络参数共享。3.如权利要求2所述的一种社交关系识别模型的训练方法，其特征在于，所述第一网络模型还包括目标检测网络，所述第一训练集中包括无标签样本图像，每一所述无标签样本图像中包括至少两个所述样本人员，所述基于训练图像中两个样本人员之间关系的先验距离，通过预设的第一训练集对第一网络模型进行自监督训练，得到第二网络模型，包括：将所述无标签样本图像输入到所述目标检测网络中，通过所述目标检测网络检测输出所述无标签样本图像中第一样本人员的第一样本人体框、第二样本人员的第二样本人体框以及所述第一样本人员与所述第二样本人员的第一样本人体联合框；根据所述第一样本人体框以及所述第二样本人体框，计算两个样本人员之间的先验距离；通过所述第一提取网络提取所述第一样本人体框的第一特征，通过所述第二提取网络提取所述第二样本人体框的第二特征，通过所述第三提取网络提取所述第一样本人体联合框的第三特征；将所述第一特征、所述第二特征与所述第三特征进行拼接，得到第一拼接特征；通过所述第一全连接层对所述第一拼接特征进行全连接计算，得到预测距离；通过所述第一损失函数，计算所述先验距离与所述预测距离之间的第一误差；根据所述第一误差，反向传播调整所述第一提取网络、第二提取网络以及第三提取网络的网络参数，得到所述第二网络模型。4.如权利要求3所述的一种社交关系识别模型的训练方法，其特征在于，所述根据所述第一样本人体框以及所述第二样本人体框，计算两个样本人员之间的先验距离，包括：计算所述第一样本人体框与所述第二样本人体框之间的中心距离；计算所述第一样本人体框的第一对角线长度值，以及计算所述第二样本人体框的第二对角线长度值；选取所述第一对角线长度值与所述第二对角线长度值中较大值作为参考值，并计算所述中心距离与所述参考值的比值作为两个样本人员之间的先验距离。5.如权利要求1
‑
4任一所述的一种社交关系识别模型的训练方法，其特征在于，所述第三网络模型包括第四提取网络、第五提取网络、第六提取网络、第二全连接层以及第二损失函数，其中，所述第四提取网络与所述第五提取网络的网络参数共享。6.如权利要求5所述的一种社交关系识别模型的训练方法，其特征在于，所述第二训练集中包括有标签样本图像，所述有标签样本图像中包括至少两个样本人员以及关系标签，所述通过预设的第二训练集对所述第三网络模型进行调整训练，得到目标网络模型，包括：<...

【专利技术属性】
技术研发人员：邢玲，余意，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：