图像处理方法、系统、集群、介质及程序产品技术方案

本申请提供了一种图像处理方法，应用于人工智能(AI)领域，包括：获取待处理的图像，将待处理的图像输入由级联子网络将多个子网络(例如是基于第一知识图谱构建的第一子网络和基于第二知识图谱构建的第二子网络)级联的图像处理模型，获得处理结果。其中，第一子网络根据图像的特征，对所述图像的内容进行识别，得到一个识别维度的第一识别结果，第二子网络根据图像的特征和第一识别结果进行推理，得到另一识别维度的第二识别结果。通过将基于不同知识图谱构建的不同子网络级联，可使得图像处理模型学习到图像中深层特征，基于深层特征进行深度识别、推理的能力，满足了业务需求。满足了业务需求。满足了业务需求。

【技术实现步骤摘要】
图像处理方法、系统、集群、介质及程序产品


[0001]本申请涉及人工智能(artificial intelligence，AI)
，尤其涉及一种图像处理方法、图像处理系统、计算机集群、计算机可读存储介质以及计算机程序产品。

技术介绍

[0002]随着人工智能和计算机视觉技术的迅猛发展，图像内容识别已逐渐成为人工智能领域的重要分支。在信息时代，通过人工智能技术对图像内容进行准确识别，可以为内容审核、个性化推荐等任务提供帮助。
[0003]目前，图像内容的识别主要通过标签分类算法实现。标签分类算法包括单标签分类算法和多标签分类算法。基于单标签分类算法的分类模型针对输入的图像输出多个标签。例如，针对一张包括篮球、人、单车的图像，基于单标签分类算法的分类模型可以输出单个标签“篮球”，基于多标签分类算法的分类模型可以输出多个标签“篮球”、“人”、“单车”。
[0004]然而，无论是单标签分类算法还是多标签分类算法，从图像中学习的特征通常是初级特征，对于图像内容的识别不深入，导致难以满足业务需求。

技术实现思路

[0005]本申请提供了一种图像处理方法，该方法利用级联子网络建立不同知识图谱之间的关联关系，通过级联子网络从图像中学习图像中的深层特征，进而实现不同维度的识别结果的推理，对图像的内容进行深度挖掘，满足了业务需求。本申请还提供了上述方法对应的图像处理系统、计算机集群、计算机可读存储介质以及计算机程序产品。
[0006]第一方面，本申请提供了一种图像处理方法。该方法可以由图像处理系统执行。该图像处理系统可以是具有图像处理功能的软件系统，该软件系统部署在计算机集群中，计算机集群运行上述软件系统以实施本申请的图像处理方法。该图像处理系统也可以是具有图像处理功能的硬件系统。
[0007]具体地，图像处理系统获取待处理的图像，然后将所述待处理的图像输入由级联子网络将多个子网络(例如是基于第一知识图谱构建的第一子网络和基于第二知识图谱构建的第二子网络)级联的图像处理模型，获得处理结果。
[0008]其中，级联子网络的第一层的结构与所述第一知识图谱相同，级联子网络的最后一层的结构与所述第二知识图谱相同。第一子网络用于根据所述图像的特征，对所述图像的内容进行识别，得到第一识别结果，第二子网络用于根据所述图像的特征和所述第一识别结果进行推理，得到第二识别结果。所述第一识别结果的识别维度不同于所述第二识别结果的识别维度。所述处理结果包括所述第二识别结果。
[0009]该方法通过级联子网络将输入节点数不同的多个子网络级联，使得级联后的子网络的输入节点数和输出节点数可以不必保持一致，克服了传统图卷积网络输入节点和输出节点个数必须保持一致的缺点。通过将基于不同知识图谱构建的不同子网络级联，赋予了图像处理模型学习图像中深层特征，基于深层特征进行深度识别、推理的能力，例如是从实
际物体到抽象信息的推理能力，能够实现对图像内容的深度挖掘，满足了业务需求。
[0010]在一些可能的实现方式中，所述级联子网络包括至少一个级联单元，所述级联单元包括至少两层，所述级联单元的第一层的结构与所述第一知识图谱相同，所述级联单元的最后一层的结构与所述第二知识图谱相同。
[0011]该方法支持调整级联单元的数量，以改变级联子网络的深度，进而改变图像处理模型的深度，如此可以实现识别不同层次的特征，满足不同业务的需求。
[0012]在一些可能的实现方式中，所述级联单元包括两层，所述级联单元的第一层的节点与所述级联单元的第二层的节点通过注意力机制全连接。
[0013]该方法通过引入注意力机制连接两层级联单元中第一层的节点和第二层的节点，一方面可以简化网络结构，另一方面可以将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。如此可以提高图像处理的效率以及提升图像处理的效果。
[0014]在一些可能的实现方式中，所述级联子网络的第一层包括的节点数量不同于所述级联子网络的最后一层包括的节点数量。如此，整个图像处理模型的输入节点数可以不同于输出节点数，克服了传统图卷积网络输入节点和输出节点个数必须保持一致的缺点，赋予了图像处理模型进行深度识别、推理的能力。
[0015]在一些可能的实现方式中，所述第一知识图谱的每个节点对应一个第一类型标签的标签向量，所述第一识别结果包括所述图像被分类到所述第一类型标签的概率，所述级联子网络的输入为所述第一类型标签的加权标签向量，所述加权标签向量的权值为所述图像被分类到所述第一类型标签的概率，所述第二识别结果包括所述图像被分类到第二类型标签的概率。
[0016]该方法通过分层级的标签预测，例如是第一类型标签预测和第二类型标签预测，可以有效提高图像的多标签分类性能。
[0017]在一些可能的实现方式中，图像处理系统还可以根据所述第一类型标签在训练集中出现的条件概率确定所述第一知识图谱中边的权重，然后根据所述节点以及所述边的权重，构建所述第一知识图谱。
[0018]该方法通过第一类型标签在训练集中出现的条件概率等客观数据驱动第一知识图谱的构建，能够获得高质量的知识图谱，为图像处理如图像分类提供帮助。
[0019]在一些可能的实现方式中，图像处理系统还可以以所述边的权重为训练参数进行模型微调，以更新所述第一知识图谱。
[0020]也即该方法支持通过两阶段构建知识图谱，先基于条件概率等先验知识构建知识图谱，在知识图谱的模型训练趋于收敛后，将知识图谱中的边修改为可训练参数，模型将会以数据驱动的方式进行训练微调，实现更优的知识图谱建模。如此可以提升知识图谱的表征能力，进一步提升图像分类的准确度。
[0021]在一些可能的实现方式中，所述第一类型标签用于标识物理实体，即第一类型标签可以为实体标签，例如第一类型标签可以包括篮球、单车、蜡烛、玫瑰等。所述第二类型标签用于标识抽象概念，即第二类型标签可以为抽象标签，例如该第二类型标签可以包括浪漫、热血、搞笑等。
[0022]该方法通过在实体标签推理结果基础上，进一步对抽象标签进行推理，满足了对图像进行深度挖掘的业务需求。
[0023]在一些可能的实现方式中，所述待处理的图像可以为待处理的视频中的图像，图像处理系统还可以根据所述第二识别结果，例如是图像的第二类型标签，对所述视频进行分类或剪辑，以便于用户可以基于对应的类型标签检索相应的视频或视频片段，无需完整播放视频，提高了用户体验。
[0024]在一些可能的实现方式中，图像处理系统还可以根据所述第二识别结果向用户推送推广对象。其中，推广对象可以是文本、图像、视频、音频等中的任意一种或多种。为了便于理解，以视频应用为例，图像处理系统在对用户观看的视频中的图像进行图像处理，例如是进行图像识别，得到识别结果后，可以基于识别结果确定与该视频相似的视频，然后推送给用户，以满足用户需求，提高用户留存时间。
[0025]在一些可能的实现方式中，所述第一类型标签用于标识产品的属性，所述第二类型标签用于标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理的图像；将所述待处理的图像输入至由多个子网络级联的图像处理模型，获得处理结果；其中，所述多个子网络包括基于第一知识图谱构建的第一子网络和基于第二知识图谱构建的第二子网络，所述第一子网络和所述第二子网络通过级联子网络级联，所述第一子网络用于根据所述图像的特征，对所述图像的内容进行识别，得到第一识别结果，所述第二子网络用于根据所述图像的特征和所述第一识别结果进行推理，得到第二识别结果，所述第一识别结果的识别维度不同于所述第二识别结果的识别维度，所述处理结果包括所述第二识别结果。2.根据权利要求1所述的方法，其特征在于，所述级联子网络包括至少一个级联单元，所述级联单元包括至少两层，所述级联单元的第一层的结构与所述第一知识图谱相同，所述级联单元的最后一层的结构与所述第二知识图谱相同。3.根据权利要求2所述的方法，其特征在于，所述级联单元包括两层，所述级联单元的第一层的节点与所述级联单元的第二层的节点通过注意力机制全连接。4.根据权利要求1至3任一项所述的方法，其特征在于，所述级联子网络的第一层包括的节点数量不同于所述级联子网络的最后一层包括的节点数量。5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一知识图谱的每个节点对应一个第一类型标签的标签向量，所述第一识别结果包括所述图像被分类到所述第一类型标签的概率，所述级联子网络的输入为所述第一类型标签的加权标签向量，所述加权标签向量的权值为所述图像被分类到所述第一类型标签的概率，所述第二识别结果包括所述图像被分类到第二类型标签的概率。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：根据所述第一类型标签在训练集中出现的条件概率确定所述第一知识图谱中边的权重；根据所述节点以及所述边的权重，构建所述第一知识图谱。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：以所述边的权重为训练参数进行模型微调，以更新所述第一知识图谱。8.根据权利要求5所述的方法，其特征在于，所述第一类型标签用于标识物理实体，所述第二类型标签用于标识抽象概念。9.根据权利要求1至8任一项所述的方法，其特征在于，所述待处理的图像为待处理的视频中的图像，所述方法还包括：根据所述第二识别结果，对所述视频进行分类或剪辑。10.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：根据所述第二识别结果向用户推送推广对象。11.根据权利要求5所述的方法，其特征在于，所述第一类型标签用于标识产品的属性，所述第二类型标签用于标识所述产品是否存在缺陷。12.根据权利要求1至11任一项所述的方法，其特征在于，所述第一子网络、所述第二子网络和所述级联子网络为图神经网络。13.一种图像处理系统，其特征在于，所述系统包括：
通信模块，用于获取待处理的图像；处理模块，用于将所述待处理的图像输入由多个子网络级联的图像处理模型，获得处理结果；其中，所述多个子网络包括基于第一知识图谱构建的第一子网络和基于第二知识图谱构建的第二子网络，所述第一子网络和所述第二子网络通过级联子网络级联，所述第一子网络用于根据所述图像的...

【专利技术属性】
技术研发人员：杨乐，迟亚雄，李文祥，常建龙，司宏杰，田奇，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：