本发明专利技术实施例提供了一种层级分类和模型训练方法、装置、电子设备和存储介质。所述模型训练方法包括：分别基于多个分类层级，提取第一图像样本的多个图像特征，其中，分类层级越高，分类粒度越大；分别融合所述多个分类层级的多个语义标签与所述多个图像特征，得到所述多个分类层级对应的多组融合数据；将按照分类层级从高到低排序的多组融合数据作为输入，将所述多个语义标签作为输出，训练第一序列神经网络，得到层级分类模型。本发明专利技术实施例的方案即使在图像样本较少的情况下，仍然通过分类层级之间的依赖关系给出了可靠的分类结果，实现了可靠的小样本学习。了可靠的小样本学习。了可靠的小样本学习。
【技术实现步骤摘要】
层级分类和模型训练方法、装置、电子设备和存储介质
[0001]本专利技术实施例涉及计算机
，尤其涉及一种层级分类和模型训练方法、装置、电子设备和存储介质。
技术介绍
[0002]随着全球互联网快速发展，社交网络、电子商务、直播以及短视频等领域每天生产出海量的数据信息，一些潜在的风险信息也会参杂其中，而互联网的快速传播使得一些违禁信息能够快速扩散，造成社会上不良的价值观引导甚至导致一些经济的损失。除此之外，这些风险也具备了一些特殊属性导致了识别、防控难度提升。
[0003]在大量的多媒体信息中，虽然存在大量的数据样本，但是在复杂内容治理场景由于治理风险类别复杂、部分特殊风险黑数据匮乏、风险变化快、人工标注难度高等原因，用于模型训练、优化等标签数据受到了制约。
[0004]因此，针对标注数据受限场景的模型，急需一套有效的小样本学习方法，以符合场景定制化要求。
技术实现思路
[0005]有鉴于此，本专利技术实施例提供一种层级分类和模型训练方法、装置、电子设备和存储介质，以至少部分解决上述问题。
[0006]根据本专利技术实施例的第一方面，提供了一种模型训练方法，包括：分别基于多个分类层级，提取第一图像样本的多个图像特征，其中，分类层级越高，分类粒度越大；分别融合所述多个分类层级的多个语义标签与所述多个图像特征，得到所述多个分类层级对应的多组融合数据；将按照分类层级从高到低排序的多组融合数据作为输入，将所述多个语义标签作为输出，训练第一序列神经网络，得到层级分类模型。
[0007]在本专利技术的另一实现方式中，所述分别融合所述多个分类层级的多个语义标签与所述多个图像特征，得到所述多个分类层级对应的多组融合数据，包括：获取所述多个分类层级的多个语义标签各自的语义特征向量和所述多个图像特征各自的图像特征向量；分别拼接每个语义标签的语义特征向量和对应的图像特征向量，得到每个分类层级的拼接向量；确定每个分类层级的拼接向量，作为每个分类层级的一组融合数据。
[0008]在本专利技术的另一实现方式中，所述获取所述多个语义标签各自的语义特征向量，包括：将所述多个语义标签输入到预先训练的语义向量编码模型中，得到多个语义标签各自的语义特征向量。
[0009]在本专利技术的另一实现方式中，所述第一序列神经网络为多个传播单元构成的长短期记忆神经网络。所述将按照分类层级从高到低排序的多组融合数据作为输入，将所述多个语义标签作为输出，训练第一序列神经网络，得到层级分类模型，包括：将按照分类层级从高到低排序的多组融合数据分别作为所述多个传播单元的输入，将所述多个语义标签分别作为所述多个传播单元的输出，训练所述长短期记忆神经网络，其中，每个传播单元的单
元状态和隐状态基于输入与上游传播单元的单元状态和隐状态确定，每个传播单元的输出基于对应的隐状态确定。
[0010]在本专利技术的另一实现方式中，所述分别基于多个语义标签，提取第一图像样本的多个图像特征，包括：将第一图像样本输入到特征提取模型中，得到所述第一图像样本的多个图像特征，所述特征提取模型用于基于从高到低的多个分类层级进行特征提取。
[0011]在本专利技术的另一实现方式中，所述特征提取模型包括主干网络和多个分支网络，所述主干网络的输出连接到所述多个分支网络各自的输入。所述方法还包括：在锁定预先训练的主干网络的各个参数的同时，将所述第一图像样本作为所述主干网络的输入，分别将所述多个语义标签作为所述多个分支网络的输出，训练所述多个分支网络。
[0012]在本专利技术的另一实现方式中，所述方法还包括：解除所述主干网络的各个参数的锁定。将所述第一图像样本作为所述主干网络的输入，将所述多个语义标签作为所述多个分支网络的输出，进一步训练所述主干网络和所述多个分支网络。
[0013]在本专利技术的另一实现方式中，所述方法还包括：基于第二图像样本和第三图像样本各自的目标分类层级，提取所述第二图像样本和所述第三图像样本的图像特征，所述第二图像样本的目标分类层级和所述第三图像样本的目标分类层级具有共用分类层级；融合所述第二图像样本和所述第三图像样本的图像特征，得到融合图像数据；根据所述第二图像样本的目标分类层级与所述共用分类层级之间的第二层级语义标签、以及所述第三图像样本的目标分类层级与所述共用分类层级之间的第三层级语义标签，确定融合层级语义标签，其中，在所述融合层级语义标签中，所述第二层级语义标签与所述第三层级语义标签具有所述共用分类层级的标签；将所述融合图像数据作为每个传播单元的输入，将所述融合层级语义标签中的每个标签作为对应的传播单元的输出，训练所述层级分类模型。
[0014]在本专利技术的另一实现方式中，所述层级分类模型还包括语义向量编码模型，所述语义向量编码模型的输入连接到每个传播单元的输出，所述语义向量编码模型的输入连接到所述融合层级语义标签中对应的标签。
[0015]根据本专利技术实施例的第二方面，提供了一种层级分类方法，包括：分别基于多个分类层级，提取目标图像的多个图像特征以及所述多个图像特征对应的多个分类层级，其中，分类层级越高，分类粒度越大；将按照分类层级从高到低排序的多组融合数据输入到层级分类模型中，得到属于所述多个分类层级的分类结果，所述层级分类模型根据第一方面所述的方法训练得到。
[0016]根据本专利技术实施例的第三方面，提供了一种模型训练装置，包括：提取模块，分别基于多个语义标签，提取第一图像样本的多个图像特征，其中，语义标签对应的分类层级越高，分类粒度越大；融合模块，分别融合所述多个语义标签与所述多个图像特征，得到所述多个语义标签对应的多组融合数据；训练模块，将按照分类层级从高到低排序的多组融合数据作为输入，将所述多个语义标签作为输出，训练第一序列神经网络，得到层级分类模型。
[0017]根据本专利技术实施例的第四方面，提供了一种层级分类装置，包括：提取模块，分别基于多个分类层级，提取目标图像的多个图像特征以及所述多个图像特征对应的多个分类层级，其中，分类层级越高，分类粒度越大；融合模块，将按照分类层级从高到低排序的多组融合数据输入到层级分类模型中，得到属于所述多个分类层级的分类结果，所述层级分类
模型根据第一方面所述的方法训练得到。
[0018]根据本专利技术实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述的方法对应的操作。
[0019]根据本专利技术实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的方法。
[0020]在本专利技术实施例的方案中，分类层级的语义标签除了分类标签的先验知识之外还引入了分类层级的先验知识，在多个分类层级对应的多组融合数据中融合了分类层级的语义标签和图像特征，有利于在第一序列神经模型的训练中关联输入的融合数据与语义标签，进一步地，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，包括：分别基于多个分类层级，提取第一图像样本的多个图像特征，其中，分类层级越高，分类粒度越大；分别融合所述多个分类层级的多个语义标签与所述多个图像特征，得到所述多个分类层级对应的多组融合数据；将按照分类层级从高到低排序的多组融合数据作为输入，将所述多个语义标签作为输出，训练第一序列神经网络，得到层级分类模型。2.根据权利要求1所述的方法，其中，所述分别融合所述多个分类层级的多个语义标签与所述多个图像特征，得到所述多个分类层级对应的多组融合数据，包括：获取所述多个分类层级的多个语义标签各自的语义特征向量和所述多个图像特征各自的图像特征向量；分别拼接每个语义标签的语义特征向量和对应的图像特征向量，得到每个分类层级的拼接向量；确定每个分类层级的拼接向量，作为每个分类层级的一组融合数据。3.根据权利要求2所述的方法，其中，所述获取所述多个语义标签各自的语义特征向量，包括：将所述多个语义标签输入到预先训练的语义向量编码模型中，得到多个语义标签各自的语义特征向量。4.根据权利要求1所述的方法，其中，所述第一序列神经网络为多个传播单元构成的长短期记忆神经网络；所述将按照分类层级从高到低排序的多组融合数据作为输入，将所述多个语义标签作为输出，训练第一序列神经网络，得到层级分类模型，包括：将按照分类层级从高到低排序的多组融合数据分别作为所述多个传播单元的输入，将所述多个语义标签分别作为所述多个传播单元的输出，训练所述长短期记忆神经网络，其中，每个传播单元的单元状态和隐状态基于输入与上游传播单元的单元状态和隐状态确定，每个传播单元的输出基于对应的隐状态确定。5.根据权利要求4所述的方法，其中，所述分别基于多个语义标签，提取第一图像样本的多个图像特征，包括：将第一图像样本输入到特征提取模型中，得到所述第一图像样本的多个图像特征，所述特征提取模型用于基于从高到低的多个分类层级进行特征提取。6.根据权利要求5所述的方法，其中，所述特征提取模型包括主干网络和多个分支网络，所述主干网络的输出连接到所述多个分支网络各自的输入；所述方法还包括：在锁定预先训练的主干网络的各个参数的同时，将所述第一图像样本作为所述主干网络的输入，分别将所述多个语义标签作为所述多个分支网络的输出，训练所述多个分支网络。7.根据权利要求6所述的方法，其中，所述方法还包括：解除所述主干网络的各个参数的锁定；将所述第一图像样本作为所述主干网络的输入，将所述多个语义标签作为所述多个分
支网络的输出，进一步训练所述主干网络和所述多个分支网络。8.根据权利要求4所述的方法，其中，所述方法还包括：基于第二图像样本和第三图像样本各自的目标分类...
【专利技术属性】
技术研发人员：金炫，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。