【技术实现步骤摘要】
本申请属于图像处理，具体涉及一种图像分割方法、装置、电子设备及存储介质。
技术介绍
1、常规的显著性分割(salient object detection，sod)指通过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)。显著性分割技术是深度学习、计算机视觉领域的研究热点，在机器视觉、智能交通、智慧医疗、智能创作等场景都具有重要的应用价值。将显著性分割功能部署到电子设备中，可以帮助用户在电子设备的相册里就能随时随地地抠取万物，并可以将抠图结果用于二次创作，这大大降低了抠图的难度和图片创作的门槛，激发用户的创作潜能和热情。
2、但是，sod任务自带天然的歧义，例如：两张图像同样包括建筑，一张图像中的前景人物为主体对象，另一张图像中的建筑物为主体对象。这在模型学习的时候会引入混淆(为什么都是建筑物，在这张图像中就是主体对象，而在另一张图像中不是主体对象)，传统图像分割方法即使使用多尺度信息或是深度信息也无法克服歧义，导致模型训练很难达到理想的结果，分割主体对象残缺问题难以攻克。如此，电子设备分割图像中主体对象的完整性较低。
技术实现思路
1、本申请实施例的目的是提供一种图像分割方法、装置、电子设备及存储介质，能够提高电子设备分割图像中主体对象的完整性。
2、第一方面，本申请实施例提供了一种图像分割方法，该方法包括：基于第一图像的第一图像特征向量以及第一图像对应的第一文本的全局文本特征的特征向量和主语文本特征的特征向量，获取第一注意力分数矩阵，第
3、第二方面，本申请实施例提供了一种图像分割装置，该装置包括：获取模块和处理模块。获取模块，用于基于第一图像的第一图像特征向量以及第一图像对应的第一文本的全局文本特征的特征向量和主语文本特征的特征向量，获取第一注意力分数矩阵，该第一注意力分数矩阵包括第一图像中的每个图像特征对应的第一注意力分数。处理模块，用于基于第一图像的深度特征向量和获取模块获取的第一注意力分数矩阵，得到第一注意力分数向量。获取模块，用于基于处理模块处理得到的第一注意力分数向量和第一图像，获取第一图像中的主体对象对应的分割结果预测图。
4、第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
5、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
6、第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
7、第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
8、在本申请实施例中，基于第一图像的第一图像特征向量以及第一图像对应的第一文本的全局文本特征的特征向量和主语文本特征的特征向量，获取第一注意力分数矩阵，第一注意力分数矩阵包括第一图像中的每个图像特征对应的第一注意力分数；基于第一图像的深度特征向量和第一注意力分数矩阵，得到第一注意力分数向量；基于第一注意力分数向量和第一图像，获取第一图像中的主体对象对应的分割结果预测图。在本方案中，由于第一文本用于描述第一图像的图像内容，因此，本申请通过将第一文本的全局文本特征和主语文本特征与第一图像的图像特征进行结合，能够将全局文本特征和主语文本特征融入第一注意力分数矩阵，从而将第一图像中的主体对象与其他区域区分。同时，通过将第一图像的深度特征融入第一注意力分数矩阵，能够更好的区分出第一图像中的主体对象，从而提高了电子设备分割图像中主体对象的完整性。
本文档来自技高网...【技术保护点】
1.一种图像分割方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于第一图像的第一图像特征向量以及所述第一图像对应的第一文本的全局文本特征的特征向量和主语文本特征的特征向量，获取第一注意力分数矩阵，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像的深度特征向量和所述第一注意力分数矩阵，得到第一注意力分数向量，包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述基于所述第一注意力分数向量和所述第一图像，获取所述第一图像中的主体对象对应的分割结果预测图，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一注意力分数向量和所述第一图像，获取所述第一图像中的主体对象对应的分割结果预测图，包括：
6.一种图像分割装置，其特征在于，所述装置包括：获取模块和处理模块；
7.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于基于所述第一图像特征向量和所述全局文本特征的特征向量进行交叉注意力计算，得到第二注意力分数矩阵，所述第二注意力分
8.根据权利要求6所述的装置，其特征在于，所述处理模块，具体用于基于所述第一图像的深度特征向量和所述第一注意力分数矩阵进行交叉注意力计算，得到第三注意力分数矩阵，所述第三注意力分数矩阵包括所述每个图像特征对应的第三注意力分数；并将所述第三注意力分数矩阵进行矩阵重新排列，得到所述第一注意力分数向量。
9.根据权利要求6至8中任一项所述的装置，其特征在于，
10.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于将所述第一注意力分数向量和所述第一图像输入图像分割模型，输出所述第一图像中的主体对象对应的分割结果预测图。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的图像分割方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的图像分割方法的步骤。
...【技术特征摘要】
1.一种图像分割方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于第一图像的第一图像特征向量以及所述第一图像对应的第一文本的全局文本特征的特征向量和主语文本特征的特征向量，获取第一注意力分数矩阵，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像的深度特征向量和所述第一注意力分数矩阵，得到第一注意力分数向量，包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述基于所述第一注意力分数向量和所述第一图像，获取所述第一图像中的主体对象对应的分割结果预测图，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一注意力分数向量和所述第一图像，获取所述第一图像中的主体对象对应的分割结果预测图，包括：
6.一种图像分割装置，其特征在于，所述装置包括：获取模块和处理模块；
7.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于基于所述第一图像特征向量和所述全局文本特征的特征向量进行交叉注意力计算，得到第二注意力分数矩阵，所述第二注意力分数矩阵包括所述每个图像特征对应的第二注意力分...
【专利技术属性】
技术研发人员：王思维，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。