图像分类方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种图像分类方法、装置、电子设备和存储介质；本发明专利技术中当检测到目标图像中对象部位缺失时，获取目标图像对应的目标文本；对目标图像和目标文本进行特征提取，得到目标图像的图像特征和目标文本的文本特征；对目标图像的图像特征和目标文本的文本特征进行特征融合，得到目标融合特征；根据目标融合特征对目标图像的场景进行识别，得到场景信息；基于场景信息确定目标图像的图像类别。当检测到目标图像中对象部位缺失时，结合对应的目标文本的文本特征来识别目标图像的场景，基于目标图像的场景信息对目标图像进行分类；由此，该方案可以提升图像分类的准确率。该方案可以提升图像分类的准确率。该方案可以提升图像分类的准确率。

【技术实现步骤摘要】
图像分类方法、装置、电子设备和存储介质


[0001]本专利技术涉及计算机
，具体涉及一种图像分类方法、装置、电子设备和存储介质。

技术介绍

[0002]当代人们可以通过各种方式来实现信息交流。在信息流场景下，视频/图文内容都需要一个合适的封面图，一个合适的封面会极大地提升用户体验。因此，信息流平台一般会向创作视频/图文内容的用户推荐封面候选图，以使视频/图文内容的封面图符合要求。其次，视频/图文内容上传到信息流平台后，信息流平台会基于该视频/图文内容的质量向其他用户进行推荐。为了保证视频/图文内容的质量，需要对该视频/图文内容中的图像进行图像分类。
[0003]然而，目前在对视频/图文内容中的图像进行分类时，图像分类的准确率较低。

技术实现思路

[0004]本专利技术提供一种图像分类方法、装置、电子设备和存储介质，可以提升图像分类的准确率。
[0005]本专利技术提供一种图像分类方法，包括：
[0006]当检测到目标图像中对象部位缺失时，获取目标图像对应的目标文本；
[0007]对目标图像和目标文本进行特征提取，得到目标图像的图像特征和目标文本的文本特征；
[0008]对目标图像的图像特征和目标文本的文本特征进行特征融合，得到目标融合特征；
[0009]根据目标融合特征对目标图像的场景进行识别，得到场景信息；
[0010]基于场景信息确定目标图像的图像类别。
[0011]本专利技术还提供一种图像推荐装置，包括：
[0012]获取单元，用于当检测到目标图像中对象部位缺失时，获取目标图像对应的目标文本；
[0013]特征提取单元，用于对目标图像和目标文本进行特征提取，得到目标图像的图像特征和目标文本的文本特征；
[0014]融合单元，用于对目标图像的图像特征和目标文本的文本特征进行特征融合，得到目标融合特征；
[0015]识别单元，用于根据目标融合特征对目标图像的场景进行识别，得到场景信息；
[0016]分类单元，用于基于场景信息确定目标图像的图像类别。
[0017]在一些实施例中，特征提取单元具体用于：
[0018]在特征提取层对目标图像和目标文本进行特征提取；
[0019]特征提取层包括图像子网络和文本子网络，在特征提取层对目标图像和目标文本
进行特征提取，包括：
[0020]采用训练好的图像子网络对目标图像进行图像特征提取，得到目标图像的图像特征；
[0021]采用训练好的文本子网络对目标文本进行文本特征提取，得到目标文本的文本特征。
[0022]在一些实施例中，图像推荐装置还用于：
[0023]获取预设模型，预设模型包括特征提取层、全连接层和输出层；
[0024]获取训练集，训练集包括训练图像和训练图像对应的训练文本；
[0025]基于训练图像训练预设的图像子网络，得到训练好的图像子网络；
[0026]基于训练文本训练预设的文本子网络，得到训练好的文本子网络；
[0027]采用训练好的图像子网络和训练好的文本子网络，对训练图像和训练文本进行特征提取，得到训练图像的图像特征和训练文本的文本特征；
[0028]基于训练图像的图像特征和训练文本的文本特征训练预设的全连接层和输出层，得到训练好的全连接层和输出层。
[0029]在一些实施例中，训练好的图像子网络包括浅层特征提取层、采样层、深层特征提取层和池化层，特征提取单元具体用于：
[0030]采用浅层特征提取层对目标图像进行浅层特征提取，得到浅层特征；
[0031]采用采样层对浅层特征进行采样，得到采样特征；
[0032]采用深层特征提取层对采样特征进行深层特征提取，得到深层特征；
[0033]采用池化层对深层特征进行池化，得到目标图像的图像特征。
[0034]在一些实施例中，特征提取单元具体用于：
[0035]在浅层特征上移动采样区域，得到移动后采样区域，其中，移动后采样区域与移动前采样区域部分相交；
[0036]对浅层特征上的移动后采样区域进行采样操作，得到采样特征。
[0037]在一些实施例中，深层特征提取层包括多个子特征提取层，特征提取单元具体用于：
[0038]将当前子特征提取层输出的特征矩阵与前一子特征提取层输出的特征矩阵进行特征融合，得到融合特征矩阵；
[0039]将融合特征矩阵输入下一子特征提取层进行深层特征提取；
[0040]获取最后端子特征提取层输出的特征矩阵，得到深层特征。
[0041]在一些实施例中，特征提取单元具体用于：
[0042]当当前子特征提取层输出的特征矩阵与前一子特征提取层输出的特征矩阵的维度不一致时，基于当前子特征提取层中预设的卷积层，对当前子特征提取层输出的特征矩阵进行卷积操作，以增加当前子特征提取层输出的特征矩阵的维度；
[0043]对增加维度后的当前子特征提取层输出的特征矩阵与前一子特征提取层输出的特征矩阵进行求和。
[0044]在一些实施例中，特征提取单元具体用于：
[0045]提取目标文本的字词向量、字词位置向量和全局向量；
[0046]对目标文本的字词向量、字词位置向量和全局向量进行向量融合处理，得到目标
文本的文本特征。
[0047]在一些实施例中，融合单元具体用于：
[0048]将目标图像的图像特征的矩阵尾部与目标文本的文本特征的矩阵首部进行拼接处理，得到目标融合特征。
[0049]在一些实施例中，图像分类装置还用于：
[0050]当场景信息为预设场景时，确定目标图像的图像类别属于第一类别；
[0051]当场景信息为无时，确定目标图像的图像类别属于第二类别。
[0052]在一些实施例中，图像分类装置还用于：
[0053]当所述目标图像的图像类别属于第一类别时，对所述目标图像执行推荐处理；
[0054]当检测到目标图像中对象完整时，对所述目标图像执行推荐处理。
[0055]在一些实施例中，图像分类装置还用于：
[0056]确定多媒体内容的第一推荐权重，多媒体内容中包括目标图像和目标文本；
[0057]根据第一类别与推荐池之间的映射关系，确定目标图像的图像类别所对应的目标推荐池；
[0058]将多媒体内容存入目标推荐池中；
[0059]确定用户的喜好标签；
[0060]当用户的喜好标签指向目标推荐池时，基于第一推荐权重向用户推荐多媒体内容。
[0061]本专利技术还提供一种电子设备，包括存储器和处理器，存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本专利技术所提供的任一种图像分类方法中的步骤。
[0062]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本专利技术所提供的任一种图像分类方法中的步骤。...

【技术保护点】

【技术特征摘要】
1.一种图像分类方法，其特征在于，包括：当检测到目标图像中对象部位缺失时，获取所述目标图像对应的目标文本；对所述目标图像和所述目标文本进行特征提取，得到所述目标图像的图像特征和所述目标文本的文本特征；对所述目标图像的图像特征和所述目标文本的文本特征进行特征融合，得到目标融合特征；根据所述目标融合特征对所述目标图像的场景进行识别，得到场景信息；基于所述场景信息确定所述目标图像的图像类别。2.如权利要求1所述的图像分类方法，其特征在于，所述对所述目标图像和所述目标文本进行特征提取，得到所述目标图像的图像特征和所述目标文本的文本特征，包括：在特征提取层对所述目标图像和所述目标文本进行特征提取；所述特征提取层包括图像子网络和文本子网络，所述在特征提取层对所述目标图像和所述目标文本进行特征提取，包括：采用训练好的图像子网络对所述目标图像进行图像特征提取，得到所述目标图像的图像特征；采用训练好的文本子网络对所述目标文本进行文本特征提取，得到所述目标文本的文本特征。3.如权利要求2所述的图像分类方法，其特征在于，所述在特征提取层对所述目标图像和所述目标文本进行特征提取之前，还包括：获取预设模型，所述预设模型包括特征提取层、全连接层和输出层；获取训练集，所述训练集包括训练图像和所述训练图像对应的训练文本；基于所述训练图像训练所述预设的图像子网络，得到训练好的图像子网络；基于所述训练文本训练所述预设的文本子网络，得到训练好的文本子网络；采用所述训练好的图像子网络和所述训练好的文本子网络，对所述训练图像和所述训练文本进行特征提取，得到所述训练图像的图像特征和所述训练文本的文本特征；基于所述训练图像的图像特征和所述训练文本的文本特征训练预设的全连接层和输出层，得到训练好的全连接层和输出层。4.如权利要求2所述的图像分类方法，其特征在于，所述训练好的图像子网络包括浅层特征提取层、采样层、深层特征提取层和池化层，采用训练好的图像子网络对所述目标图像进行图像特征提取，得到所述目标图像的图像特征，包括：采用所述浅层特征提取层对所述目标图像进行浅层特征提取，得到浅层特征；采用所述采样层对所述浅层特征进行采样，得到采样特征；采用所述深层特征提取层对所述采样特征进行深层特征提取，得到深层特征；采用所述池化层对所述深层特征进行池化，得到所述目标图像的图像特征。5.如权利要求4所述的图像分类方法，其特征在于，所述采用所述采样层对所述浅层特征进行采样，得到采样特征，包括：在所述浅层特征上移动采样区域，得到移动后采样区域，其中，所述移动后采样区域与移动前采样区域部分相交；对所述浅层特征上的移动后采样区域进行采样操作，得到采样特征。
6.如权利要求4所述的图像分类方法，其特征在于，所述深层特征提取层包括多个子特征提取层，所述采用所述深层特征提取层对所述采样特征进行深层特征提取，得到深层特征，包括：将当前子特征提取层输出的特征矩阵与前一子特征提取层输出的特征矩阵进行特征融合，得到融合特征矩阵；将所述融合特征矩阵输入下一子特征提取层进行深层特征提取；获取最后端子特征提取层输出的特征矩阵，得到深层...

【专利技术属性】
技术研发人员：谢一宾，侯昊迪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：