样本筛选及表情识别方法、神经网络、设备及存储介质技术

本发明专利技术适用计算机技术领域，提供了一种样本筛选及表情识别方法、神经网络、设备及存储介质，其中，利用多元组样本，进行神经网络的训练，在每一迭代步，确定锚样本与正样本之间的第一样本距离以及锚样本与负样本之间的第二样本距离，根据样本距离的分布统计特性，构建用于对多元组样本进行筛选的边界条件，利用该边界条件对多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练，这样，可在神经网络的训练过程中，对异常多元组样本进行筛除，避免了异常多元组样本对神经网络训练结果的影响，从而提高了表情分类识别准确度。

Sample selection and expression recognition methods, neural networks, devices and storage media

The invention is applicable to the field of computer technology, and provides a method of sample screening and expression recognition, neural network, equipment and storage medium, wherein, the first sample distance between anchor sample and positive sample and the second sample distance between anchor sample and negative sample are determined in each iteration step by training neural network with multiple groups of samples, according to the division of sample distance In this way, in the process of neural network training, the abnormal multi group samples can be filtered out to avoid the influence of the abnormal multi group samples on the neural network training results It improves the accuracy of expression classification and recognition.

【技术实现步骤摘要】
样本筛选及表情识别方法、神经网络、设备及存储介质
本专利技术属于计算机
，尤其涉及一种样本筛选及表情识别方法、神经网络、设备及存储介质。
技术介绍
随着人机交互的发展，面部表情识别已经成为近几十年来热门课题。如今，深度学习神经网络采用复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象，并应用于端对端的图像识别与分析。基于深度学习的表情识别已经在各种表情数据库上超越了传统方法，并且通过各种网络设计以及数据增强、度量学习与网络复合等算法对训练特征进行有效性提升以改善其泛化识别能力。在基于深度学习的面部表情识别算法中，三元组损失函数是深度学习中的一种损失函数，用于训练差异性较小的样本。其训练数据包括锚(Anchor)样本、正(Positive)样本、负(Negative)样本。该损失函数通过学习使锚样本与正样本之间的距离小于锚样本与负样本之间的距离，实现样本的相似性计算。但是，传统的利用三元组损失函数所训练得到的神经网络，通常会受到异常三元组样本的影响，这些异常三元组样本表现为：在不同的表情标签(分类)下有相似的表情，或者相同表情标签下表情差距很大，如果神经网络学习了这些异常三元组样本，会在一定程度上影响神经网络的训练结果，从而使得表情分类识别准确度得不到提高。
技术实现思路
本专利技术的目的在于提供一种样本筛选及表情识别方法、神经网络、设备及存储介质，旨在解决现有技术所存在的、表情识别准确度无法得到有效提高的问题。一方面，本专利技术提供了一种样本筛选方法，包括：获得多元组样本，所述多元组样本包括：锚样本、正样本及负样本；利用所述多元组样本，进行神经网络的训练，在训练的每一迭代步，利用所述神经网络对多元组样本进行处理，得到所述锚样本的第一特征表达向量、所述正样本的第二特征表达向量及所述负样本的第二特征表达向量；根据所述第一特征表达向量及所述第二特征表达向量确定所述锚样本与所述正样本之间的第一样本距离，根据所述第一特征表达向量与所述第三特征表达向量确定所述锚样本与所述负样本之间的第二样本距离；根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件；利用所述边界条件对所述多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练。进一步的，所述第一样本距离与所述第二样本距离为随机样本距离并且服从正态分布，根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件，具体包括：利用所述多元组样本在所述神经网络中全连接层的模，以及所述多元组样本在所述全连接层的特征维度，确定正态分布的均值和标准方差；利用所述均值、所述标准方差、所述正样本对应的第一显著性水平以及所述负样本对应的第二显著性水平，构建用于筛选所述正样本的第一子边界条件以及用于筛选所述负样本的第二子边界条件。进一步的，所述神经网络利用基于所述第一样本距离、所述第二样本距离以及损失函数参数所构建的多元组损失函数。进一步的，所述多元组损失函数为三元组损失函数或四元组损失函数。另一方面，本专利技术提供了一种表情识别方法，包括：利用如上述的样本筛选方法训练所得的所述神经网络，对待识别图像进行处理，得到表情识别结果。进一步的，所述表情识别方法还包括：对所述多元组样本进行侧脸筛选。进一步的，所述表情识别方法还包括：对所述多元组样本进行遮挡筛选。另一方面，本专利技术还提供了一种神经网络，所述神经网络通过如上述的样本筛选方法训练得到。另一方面，本专利技术还提供了一种计算设备，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。本专利技术利用多元组样本，进行神经网络的训练，在每一迭代步，确定锚样本与正样本之间的第一样本距离以及锚样本与负样本之间的第二样本距离，根据样本距离的分布统计特性，构建用于对多元组样本进行筛选的边界条件，利用该边界条件对多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练，这样，可在神经网络的训练过程中，对异常多元组样本进行筛除，避免了异常多元组样本对神经网络训练结果的影响，从而提高了表情分类识别准确度。附图说明图1是本专利技术实施例一提供的样本筛选方法的实现流程图；图2是本专利技术实施例二提供的样本筛选方法的实现流程图；图3是本专利技术实施例五提供的计算设备的结构示意图；图4是本专利技术具体应用例的样本筛选方法的实现流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述：实施例一：图1示出了本专利技术实施例一提供的样本筛选方法的实现流程，为了便于说明，仅示出了与本专利技术实施例相关的部分，详述如下：在步骤S101中，获得多元组样本，所述多元组样本包括：锚样本、正样本及负样本。本实施例中，多元组样本可以是三元组样本、四元组样本等。以三元组样本为例，三元组样本包括：锚样本(也称固定样本或基准样本)、与锚样本相似的正样本，以及与锚样本不相似的负样本。以四元组样本为例，四元组样本包括：锚样本、与锚样本相似的正样本、与锚样本不相似的第一负样本，以及与锚样本不相似的第二负样本。样本一般为图像样本，从而可用于图像识别。多元组样本可经过相应的预处理，例如：灰度化处理、去噪点处理、去网格处理、去阴影处理等。经过相应的预处理，可优化处理效果。当然，在其他实施例中，样本类型还可以为其他样本，例如：音频样本、文本样本等，从而可用于音频或文本等的识别、搜索。在步骤S102中，利用所述多元组样本，进行神经网络的训练，在训练的每一迭代步，利用所述神经网络对多元组样本进行处理，得到所述锚样本的第一特征表达向量、所述正样本的第二特征表达向量及所述负样本的第二特征表达向量；根据所述第一特征表达向量及所述第二特征表达向量确定所述锚样本与所述正样本之间的第一样本距离，根据所述第一特征表达向量与所述第三特征表达向量确定所述锚样本与所述负样本之间的第二样本距离；根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件；利用所述边界条件对所述多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练。本实施例中，神经网络可以是卷积神经网络、循环神经网络、深度神经网络、长短期记忆神经网络等。神经网络中还可以根据实际需求引入注意力机制。神经网络中，构建了基于第一样本距离、第二样本距离以及损失函数参数的多元组损失函数，多元组损失函数为三元组损失函数或四元组损失函数等。神经网络对多元组样本进行处理过本文档来自技高网...

【技术保护点】
1.一种样本筛选方法，其特征在于，包括：/n获得多元组样本，所述多元组样本包括：锚样本、正样本及负样本；/n利用所述多元组样本，进行神经网络的训练，在训练的每一迭代步，利用所述神经网络对多元组样本进行处理，得到所述锚样本的第一特征表达向量、所述正样本的第二特征表达向量及所述负样本的第二特征表达向量；根据所述第一特征表达向量及所述第二特征表达向量确定所述锚样本与所述正样本之间的第一样本距离，根据所述第一特征表达向量与所述第三特征表达向量确定所述锚样本与所述负样本之间的第二样本距离；根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件；利用所述边界条件对所述多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练。/n

【技术特征摘要】
1.一种样本筛选方法，其特征在于，包括：
获得多元组样本，所述多元组样本包括：锚样本、正样本及负样本；
利用所述多元组样本，进行神经网络的训练，在训练的每一迭代步，利用所述神经网络对多元组样本进行处理，得到所述锚样本的第一特征表达向量、所述正样本的第二特征表达向量及所述负样本的第二特征表达向量；根据所述第一特征表达向量及所述第二特征表达向量确定所述锚样本与所述正样本之间的第一样本距离，根据所述第一特征表达向量与所述第三特征表达向量确定所述锚样本与所述负样本之间的第二样本距离；根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件；利用所述边界条件对所述多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练。


2.如权利要求1所述的样本筛选方法，其特征在于，所述第一样本距离与所述第二样本距离为随机样本距离并且服从正态分布，根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件，具体包括：
利用所述多元组样本在所述神经网络中全连接层的模，以及所述多元组样本在所述全连接层的特征维度，确定正态分布的均值和标准方差；
利用所述均值、所述标准方差、所述正样本对应的第一显著性水平以及所述负样本对应的第二显著性水平，构建用于筛选所述正样本的第一子边界条件以及用于筛选所述负样本...

【专利技术属性】
技术研发人员：解为成，田怡，沈琳琳，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44