【技术实现步骤摘要】
本公开涉及图文处理，尤其涉及一种图文处理方法及装置。
技术介绍
1、在各种视觉语言和图文处理任务中，大规模视觉和语言表征学习都效果显著。常规情况下，大多采用基于transformer的多模态编码器，对图像特征和文本特征进行联合建模。但是由于视觉特征和文本特征是不对齐的，导致多模态编码器学习图像与文本之间的交互具有难度，常规方法是通过多模态编码器将图像特征与文本特征融合在一起，但广泛使用的图像和文本数据集来自于网络，本身存在噪声过大或者文本描述不详尽等情况。
2、由此可见，现有技术中存在由于视觉特征和文本特征的维度不同，导致提升了模态编码器学习图像与文本之间的交互难度的问题。
技术实现思路
1、有鉴于此，本公开实施例提供了一种图文处理方法及装置，以解决现有技术中由于视觉特征和文本特征的维度不同，导致提升了模态编码器学习图像与文本之间的交互难度的问题。
2、本公开实施例的第一方面，提供了一种图文处理方法，包括：获取待识别对象的数据，待识别对象的数据包含文本数据和图像数据，对文本数据进行特征提取，得到文本数据对应的特征向量，对图像数据进行特征提取，得到图像数据对应的全局特征向量；对文本数据对应的特征向量和图像数据对应的全局特征向量进行多模态融合，得到待识别对象的数据对应的全局图文融合特征向量；以分区的方式对图像数据进行特征提取，得到图像数据对应的多个局部图片特征向量；对图像数据对应的多个局部图片特征向量进行预测分类，得到图像数据对应的多个分类结果文本数据；对图像数
3、本公开实施例的第二方面，提供了一种图文处理装置，包括：获取模块，用于获取待识别对象的数据，待识别对象的数据包含文本数据和图像数据，对文本数据进行特征提取，得到文本数据对应的特征向量，对图像数据进行特征提取，得到图像数据对应的全局特征向量；第一处理模块，用于对文本数据对应的特征向量和图像数据对应的全局特征向量进行多模态融合，得到待识别对象的数据对应的全局图文融合特征向量；第二处理模块，用于以分区的方式对图像数据进行特征提取，得到图像数据对应的多个局部图片特征向量；第三处理模块，用于对图像数据对应的多个局部图片特征向量进行预测分类，得到图像数据对应的多个分类结果文本数据；第四处理模块，用于对图像数据对应的多个分类结果文本数据进行特征提取，得到图像数据对应的多个分类结果文本特征向量；第五处理模块，用于对图像数据对应的多个局部图片特征向量和图像数据对应的多个分类结果文本特征向量进行多模态融合，得到待识别对象的数据对应的局部图文融合特征向量；第六处理模块，用于对待识别对象的数据对应的全局图文融合特征向量和待识别对象的数据对应的局部图文融合特征向量进行特征拼接，并将拼接结果进行自注意力学习，得到待识别对象的数据对应的图文匹配特征向量。
4、本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
5、本公开实施例的第四方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
6、本公开实施例与现有技术相比存在的有益效果是：通过获取待识别对象的数据，并将待识别对象的数据中包含的文本数据和图像数据分别进行特征提取，并将提取后得到的文本数据的特征向量和图像数据的特征向量进行多模态融合得到对应的融合特征向量，分区提取局部特征进行预测分类，再对分类结果进行特征提取得到分类结果对应的多个文本向量，将局部图片特征向量和文本向量进行多模态融合得到对应的局部图文融合向量，将局部融合向量和前述得到的全局融合向量进行拼接并自注意力学习得到图文匹配特征向量，以此实现了将文本数据和图像数据维度对齐，提升了视觉和语言表征学习的效果，降低了噪声文本的影响，提升了该图文处理方法的适用性。
本文档来自技高网...【技术保护点】
1.一种图文处理方法，其特征在于，包括：
2.根据权利要求1所述的图文处理方法，其特征在于，在所述得到所述待识别对象的数据对应的图文匹配特征向量之后，还包括：
3.根据权利要求1所述的图文处理方法，其特征在于，所述以分区的方式对所述图像数据进行特征提取，得到所述图像数据对应的多个局部图片特征向量，包括：
4.根据权利要求1所述的图文处理方法，其特征在于，所述对所述图像数据对应的多个局部图片特征向量进行预测分类，得到所述图像数据对应的多个分类结果文本数据，包括：
5.根据权利要求1所述的图文处理方法，其特征在于，所述对所述待识别对象的数据对应的全局图文融合特征向量和所述待识别对象的数据对应的局部图文融合特征向量进行特征拼接，并将拼接结果进行自注意力学习，得到所述待识别对象的数据对应的图文匹配特征向量，包括：
6.根据权利要求1所述的图文处理方法，其特征在于，在所述获取待识别对象的数据之前，还包括：
7.根据权利要求6所述的图文处理方法，其特征在于，所述对所述图像训练数据对应的特征向量进行分区识别，得到所述图像训
8.一种图文处理装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种图文处理方法，其特征在于，包括：
2.根据权利要求1所述的图文处理方法，其特征在于，在所述得到所述待识别对象的数据对应的图文匹配特征向量之后，还包括：
3.根据权利要求1所述的图文处理方法，其特征在于，所述以分区的方式对所述图像数据进行特征提取，得到所述图像数据对应的多个局部图片特征向量，包括：
4.根据权利要求1所述的图文处理方法，其特征在于，所述对所述图像数据对应的多个局部图片特征向量进行预测分类，得到所述图像数据对应的多个分类结果文本数据，包括：
5.根据权利要求1所述的图文处理方法，其特征在于，所述对所述待识别对象的数据对应的全局图文融合特征向量和所述待识别对象的数据对应的局部图文融合特征向量进行特征拼接，并将拼接结果进行自注意力学习，得到所述待识...
【专利技术属性】
技术研发人员：石雅洁，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。