【技术实现步骤摘要】
本专利技术涉及人工智能和计算机视觉领域，尤其涉及一种基于婴儿面部特征提取的婴儿啼哭分类方法。
技术介绍
1、随着人工智能技术的不断发展，智能看护系统在婴儿看护中的应用越来越广泛。婴儿由于语言中枢神经系统尚未发育成熟，主要通过面部表情和啼哭来表达其需求和不适。然而，由于婴儿面部表情类间相似性高，且啼哭的原因复杂多样，传统的表情识别方法难以有效区分婴儿的不同情绪和需求。因此，提出一种基于婴儿面部特征提取的啼哭分类方法，对婴儿面部表情进行智能识别和分类，具有重要意义。
技术实现思路
1、本专利技术所要解决的技术问题是针对
技术介绍
中所涉及到的缺陷，提供一种基于婴儿面部特征提取的婴儿啼哭分类方法。
2、本专利技术为解决上述技术问题采用以下技术方案：
3、一种基于婴儿面部特征提取的婴儿啼哭分类方法，包括以下步骤：
4、步骤1)，数据预处理，对婴儿面部图像数据进行归一化和数据增强处理；
5、步骤2)，特征提取，通过双分支特征提取结构，分别采用卷积神经网络(cnn)分支和自注意力分支提取婴儿面部的局部特征与全局特征；
6、步骤3)，特征融合，利用空间全局注意力模块和通道注意力模块在空间域和通道域对局部特征与全局特征进行融合；
7、步骤4)，特征分类，采用自适应深度中心损失联合softmax损失进行特征分类，确定婴儿啼哭的类型。
8、作为本专利技术一种基于婴儿面部特征提取的婴儿啼哭分类方法进一步的优化方案，步骤2)中
9、作为本专利技术一种基于婴儿面部特征提取的婴儿啼哭分类方法进一步的优化方案，所述步骤3)中的空间全局注意力模块即sga-net模块应用于婴儿啼哭分类任务之中，其通过融合降维生成的特征图获取输入特征的空间权重信息,用以指导特征权重的分配；
10、sga-net模块将cnn分支提取的婴儿表情局部特征和自注意力分支提取的全局特征相加得到的特征通过支路a的全局最大池化操作获得特征每个通道向量中的最大元素值来表示特征信息；xin通过支路b的全局平均池化操作获得特征每个通道向量中的平均元素值来表示特征信息，将二者拼接得到特征xin在空间域的一种表示，利用7×7卷积增强拼接特征，最终通过sigmoid函数进行激活得到融合特征i，详细计算过程为公式(1)；
11、i＝s(f7×7[avgpool (xin )；maxpool (xin )]) (1)
12、其中，s代表激活函数sigmoid，f7×7代表7×7的卷积，[·]代表矩阵的拼接，avgpool代表全局平均池化操作，maxpool代表全局最大池化操作；
13、同时xin通过支路c和支路d的1×1卷积进行通道变换，实现对婴儿面部表情特征的降维处理转换成一维向量，将支路c获取的降维特征转置之后再乘以支路d获取的降维特征，用于融合表情特征的低维信息，最终通过softmax函数得到归一化特征j，详细计算过程为公式(2)；
14、
15、其中，δ代表softmax函数，f1×1代表1×1的卷积，*代表矩阵相乘；
16、特征j转置之后乘以特征i，促进两者之间信息的交互，并将获得的特征恢复至婴儿面部表情原始输入特征的维度，使特征在空间域的信息得到增强；
17、此外，步骤3)采用通道注意力模块即sk-net模块用于特征通道信息的处理；
18、sk-net模块将婴儿表情的局部特征和全局特征相加得到的特征同时输入3×3的空洞卷积与3×3的分组卷积得到特征与特征为了达到自适应调整感受野范围的效果，通过门控单元控制多分支的信息流，将多分支信息整合得到
19、整合后的特征u经过全局平均池化得到的特征图再通过函数生成向量并由公式(3)和公式(4)计算得到和
20、
21、其中，ac和bc中的矩阵和在训练之前需要进行初始化；
22、ac和bc的函数值和为1，在对分支的特征图权重进行设置时，控制两条分支的比重；
23、将ac与bc与相乘得整合获得特征图
24、
25、v＝[v1,v2,…,vc] (6)
26、其中，ac和bc是和分别对应的注意力向量，ac与bc分别代表a与b的第c行，ac与bc分别代表a与b的第c个元素，[·]代表矩阵的拼接；
27、在sga-net模块中，特征的各通道被等同考虑，忽视通道之间的信息交流；在sk-net模块中，则是直接对特征的每个通道进行整体分析，且不考虑空间信息之间的交流；将sga-net模块和sk-net模块并联得到混合域注意力模块即hdam模块，在通道域与空间域分别处理特征，保留特征通道与空间的关键信息，增强特征的表达能力。
28、作为本专利技术一种基于婴儿面部特征提取的婴儿啼哭分类方法进一步的优化方案，所述步骤4)中，针对婴儿面部表情类间相似性高的特点，采用一个自适应深度中心损失，利用注意力网络降低不同类别啼哭之间共同特征的权重，提高不同类别啼哭差异特征的权重，联合softmax损失对网络进行优化，实现婴儿啼哭种类的精准识别，具体计算如式(7)所示：
29、l＝ls+γlsc (7)
30、其中，平衡系数γ设为0.6，ls为softmax损失，lsc为自适应深度中心损失；
31、双分支特征提取结构提取的特征经hdam模块后获得融合特征，通过一个特征池化层提取最终的d维深度特征向量，将其用于softmax损失和自适应深度中心损失进行啼哭类别判断；同时作为上下文输入到注意力网络用于估计注意力权重，并将得到的权重用于指导中心损失，实现特征元素子集中婴儿啼哭特征的类内紧凑与类间分离，联合softmax损失进行优化；
32、在一个特征向量中并非所有的元素都与分类有关，目标是在婴儿啼哭表情的深度特征向量中减少不相关的元素，从而获得向量中一个子集的元素来辅助分类；为了在分类过程中过滤掉不相关的特征和婴儿不同啼哭类别的共同特征，采用自适应深度中心损失即sdcl，其在中心损失计算方法的基础上对每个维度的欧氏距离进行了加权计算，具体计算如式(8)所示：
33、
34、其中，⊙代表元素相乘，aij代表在嵌入空间中由深度注意网络计算得出的沿维度j∈{1,…,d}的第i个深度特征的权重；
35、利用了一个深度注意网络连接到hdam模块之后，根据输入的婴儿啼哭特征动态地估计自适应深度中心损失的注意力权重aij指导中心损失；深度注意网络主要包含两个组成部分：上下文编码模块和多头二元分类模块，上下文编码模块将hdam模块获得的融合特征图作为输入本文档来自技高网...
【技术保护点】
1.一种基于婴儿面部特征提取的婴儿啼哭分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于婴儿面部特征提取的婴儿啼哭分类方法，其特征在于，步骤2)中双分支特征提取结构的CNN分支采用ResNet18的骨干网络、自注意力分支采用SwinTransformer的骨干网络。
3.根据权利要求2所述的基于婴儿面部特征提取的婴儿啼哭分类方法，其特征在于，所述步骤3)中的空间全局注意力模块即SGA-Net模块应用于婴儿啼哭分类任务之中，其通过融合降维生成的特征图获取输入特征的空间权重信息,用以指导特征权重的分配；
4.根据权利要求3所述的基于婴儿面部特征提取的婴儿啼哭分类方法，其特征在于，所述步骤4)中，针对婴儿面部表情类间相似性高的特点，采用一个自适应深度中心损失，利用注意力网络降低不同类别啼哭之间共同特征的权重，提高不同类别啼哭差异特征的权重，联合SoftMax损失对网络进行优化，实现婴儿啼哭种类的精准识别，具体计算如式(7)所示：
【技术特征摘要】
1.一种基于婴儿面部特征提取的婴儿啼哭分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于婴儿面部特征提取的婴儿啼哭分类方法，其特征在于，步骤2)中双分支特征提取结构的cnn分支采用resnet18的骨干网络、自注意力分支采用swintransformer的骨干网络。
3.根据权利要求2所述的基于婴儿面部特征提取的婴儿啼哭分类方法，其特征在于，所述步骤3)中的空间全局注意力模块即sga-net模块应用于...
【专利技术属性】
技术研发人员：任世伟，孙萌，王斌，施冬奇，吴衡，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。