本申请提供了一种数据处理的方法和装置、电子设备和存储介质，其中，该方法包括：获取待处理的数据，其中，待处理的数据内包含目标文本信息和/或目标图像信息；将待处理的数据输入目标模型中，得到目标图像特征和目标文本特征，其中，目标模型用于得到关联度大于关联度阈值的目标图像特征和目标文本特征，目标模型是通过对初始模型的模型参数进行调整后得到的；根据目标图像特征和目标文本特征，确定对待处理的数据的处理结果。通过本申请，解决了相关技术中图像的表征内容不能准确展现出文本表达的内容，存在文本和图像关联度较低的问题。题。题。
【技术实现步骤摘要】
数据处理的方法和装置、电子设备和存储介质
[0001]本申请涉及大数据领域，尤其涉及一种数据处理的方法和装置、电子设备和存储介质。
技术介绍
[0002]目前，在确定图像和文本是否存在一定的相关性时，通常是分为两个单独的通道分别识别图像和文本，得到图像识别结果和文本识别结果，之后将图像识别结果和文本识别结果做关联度计算，在得到的关联度数值大于预设的关联度阈值后，则认为当前的图像和文本存在较强的关联度。
[0003]但是，上述方法中图像和文本之间是对比式学习，自动化程度较低，且在获取文本后确定与之对应的图像信息时，图像的表征内容不能准确展现出文本表达的内容，存在文本和图像关联度较低的问题。
技术实现思路
[0004]本申请提供了一种数据处理的方法和装置、电子设备和存储介质，以至少解决相关技术中图像的表征内容不能准确展现出文本表达的内容，存在文本和图像关联度较低的问题。
[0005]根据本申请实施例的一个方面，提供了一种数据处理的方法，该方法包括：
[0006]获取待处理的数据，其中，所述待处理的数据内包含目标文本信息和/或目标图像信息；
[0007]将所述待处理的数据输入目标模型中，得到目标图像特征和目标文本特征，其中，所述目标模型用于得到关联度大于关联度阈值的所述目标图像特征和所述目标文本特征，所述目标模型是通过对初始模型的模型参数进行调整后得到的；
[0008]根据所述目标图像特征和所述目标文本特征，确定对所述待处理的数据的处理结果。
[0009]根据本申请实施例的另一个方面，还提供了一种数据处理的装置，该装置包括：
[0010]第一获取单元，用于获取待处理的数据，其中，所述待处理的数据内包含目标文本信息和/或目标图像信息；
[0011]第一输入单元，用于将所述待处理的数据输入目标模型中，得到目标图像特征和目标文本特征，其中，所述目标模型用于得到关联度大于关联度阈值的所述目标图像特征和所述目标文本特征，所述目标模型是通过对初始模型的模型参数进行调整后得到的；
[0012]确定单元，用于根据所述目标图像特征和所述目标文本特征，确定对所述待处理的数据的处理结果。
[0013]可选地，该装置还包括：
[0014]第二获取单元，用于在将所述待处理的数据输入目标模型中，得到目标图像特征和目标文本特征之前，获取初始图像信息和初始文本信息的文本序列，其中，所述初始图像
信息和所述初始文本信息为训练所述初始模型的样本集；
[0015]遮罩单元，用于利用遮罩方案对所述初始图像信息进行遮罩处理，得到被遮挡的第一图像块和未被遮挡的第二图像块，利用所述遮罩方案对所述文本序列进行遮罩处理，得到被遮挡的第一序列文本和未被遮挡的第二序列文本，其中，所述第一图像块和所述第二图像块的个数都为至少一个、所述第一序列文本和所述第二序列文本中包含的文本个数都为至少一个；
[0016]第一得到单元，用于根据所述第一图像块、所述第二图像块、所述第一序列文本以及所述第二序列文本，得到所述目标模型。
[0017]可选地，遮罩单元包括：
[0018]分块模块，用于对所述初始图像信息进行等额分块处理，得到多个图像块；
[0019]遮罩模块，用于按照所述遮罩方案中设置的遮罩比例，对所述图像块进行遮罩处理，得到所述第一图像块和所述第二图像块。
[0020]可选地，第一得到模块包括：
[0021]第一得到子单元，用于根据所述第一图像块、所述第二图像块、所述第一序列文本、所述第二序列文本、文本编码器、文本解码器、图像编码器以及图像解码器，得到解码后的图像特征和解码后的文本特征；
[0022]调整子单元，用于利用所述解码后的图像特征、所述解码后的文本特征以及损失函数，调整所述模型参数，得到所述目标模型。
[0023]可选地，第一得到子单元包括：
[0024]第一输入子模块，用于将所述第二图像块输入所述图像编码器，得到编码后的第一图像特征；
[0025]第二输入子模块，用于将所述第二序列文本输入所述文本编码器，得到编码后的第一文本特征；
[0026]融合子模块，用于根据所述第一文本特征和所述第一图像特征，得到融合后的第二图像特征和第二文本特征；
[0027]确定子模块，用于确定所述第一图像块所处在的第一目标位置和所述第一序列文本所处在的第二目标位置；
[0028]添加子模块，用于在所述第二图像特征的所述第一目标位置处添加遮罩标识，得到第三图像特征，在所述第二文本特征的所述第二目标位置处添加所述遮罩标识，得到第三文本特征，其中，所述遮罩标识的个数为至少一个，所述遮罩标识用于增加所述第二图像特征和所述第二文本特征的完整度；
[0029]第三输入子模块，用于，用于将所述第三图像特征输入所述图像解码器，得到所述解码后的图像特征，将所述第三文本特征输入所述文本解码器，得到所述解码后的文本特征。
[0030]可选地，第一输入子模块包括：
[0031]排列子单元，用于将所述第二图像块按照初始行排列次序进行排列，得到图像序列；
[0032]第一输入子单元，用于将所述图像序列输入所述图像编码器，得到所述第一图像特征。
[0033]可选地，融合子模块包括：
[0034]拼接子单元，用于将所述第一文本特征和所述第一图像特征进行维度拼接，得到拼接后的特征向量；
[0035]第二输入子单元，用于将所述特征向量输入自注意力模块内，得到所述第二图像特征和所述第二文本特征。
[0036]根据本申请实施例的又一个方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
[0037]根据本申请实施例的又一个方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
[0038]本申请实施例应用于深度学习
进行计算机视觉，在本申请实施例中，通过获取待处理的数据，其中，待处理的数据内包含目标文本信息和/或目标图像信息；将待处理的数据输入目标模型中，得到目标图像特征和目标文本特征，其中，目标模型用于得到关联度大于关联度阈值的目标图像特征和目标文本特征，目标模型是通过对初始模型的模型参数进行调整后得到的；根据目标图像特征和目标文本特征，确定对待处理的数据的处理结果。由于本申请实施例将目标文本信息和/或目标图像信息输入目标模型后，输出的目标图像特征和目标文本特征之间是具有强关联性的，且目标图像特征与目标文本特征之间也具有很强的互相表征力，进而解决相关技术中图像的表征内容不能准确展现出文本表达的内容，存在文本和图像关联度较低的问题。
附图说明
[0039]此处的附图被并入本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法包括：获取待处理的数据，其中，所述待处理的数据内包含目标文本信息和/或目标图像信息；将所述待处理的数据输入目标模型中，得到目标图像特征和目标文本特征，其中，所述目标模型用于得到关联度大于关联度阈值的所述目标图像特征和所述目标文本特征，所述目标模型是通过对初始模型的模型参数进行调整后得到的；根据所述目标图像特征和所述目标文本特征，确定对所述待处理的数据的处理结果。2.根据权利要求1所述的方法，其特征在于，在将所述待处理的数据输入目标模型中，得到目标图像特征和目标文本特征之前，所述方法还包括：获取初始图像信息和初始文本信息的文本序列，其中，所述初始图像信息和所述初始文本信息为训练所述初始模型的样本集；利用遮罩方案对所述初始图像信息进行遮罩处理，得到被遮挡的第一图像块和未被遮挡的第二图像块，利用所述遮罩方案对所述文本序列进行遮罩处理，得到被遮挡的第一序列文本和未被遮挡的第二序列文本，其中，所述第一图像块和所述第二图像块的个数都为至少一个、所述第一序列文本和所述第二序列文本中包含的文本个数都为至少一个；根据所述第一图像块、所述第二图像块、所述第一序列文本以及所述第二序列文本，得到所述目标模型。3.根据权利要求2所述的方法，其特征在于，所述利用遮罩方案对所述初始图像信息进行遮罩处理，得到被遮挡的第一图像块和未被遮挡的第二图像块包括：对所述初始图像信息进行等额分块处理，得到多个图像块；按照所述遮罩方案中设置的遮罩比例，对所述图像块进行遮罩处理，得到所述第一图像块和所述第二图像块。4.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像块、所述第二图像块、所述第一序列文本以及所述第二序列文本，得到所述目标模型包括：根据所述第一图像块、所述第二图像块、所述第一序列文本、所述第二序列文本、文本编码器、文本解码器、图像编码器以及图像解码器，得到解码后的图像特征和解码后的文本特征；利用所述解码后的图像特征、所述解码后的文本特征以及损失函数，调整所述模型参数，得到所述目标模型。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一图像块、所述第二图像块、所述第一序列文本、所述第二序列文本、文本编码器、文本解码器、图像编码器以及图像解码器，得到解码后的图像特征和解码后的文本特征包括：将所述第二图像块输入所述图像编码器，得到编码后的第一图像特征；将所...
【专利技术属性】
技术研发人员：胡郡郡，唐大闰，
申请(专利权)人：北京明略昭辉科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。