【技术实现步骤摘要】
本公开涉及人工智能领域中的计算机视觉和自然语言处理领域，尤其涉及一种模型训练方法、装置、设备、存储介质及程序产品。
技术介绍
1、近年来，多模态理解模型取得了显著的进步和发展。多模态理解模型(largevision-language model，简称vlm)是随着大语言模型(large language model，简称llm)的兴起而逐渐受到关注的一种新型模型。这类模型旨在融合多种模态(如文本、图像、视频等)的信息，以实现更高效的信息理解和智能识别。
2、另外，生成模型也取得了快速的发展，例如扩散模型等，其通过学习训练数据的分布，能够生成与训练数据相似但不完全相同的新样本，生成模型能够根据输入的文本生成图像。
3、目前利用专家模型辅助多模态理解模型生成文本，或者，利用专家模型辅助生成模型生成图像，以提高多模态理解模型的文本生成效果和提高生成模型的图像生成效果。
4、然而，在上述方式中，模型生成效果受限于相应专家模型的效果上限，如果专家模型本身效果不好，对应模型的生成效果也不好。
技术实现思路
1、本公开提供了一种模型训练方法、装置、设备以及存储介质，并在此基础上，提供了一种文本生成方法、装置、设备以及存储介质，以及一种视频生成方法、装置、设备以及存储介质。
2、根据本公开的第一方面，提供了一种模型训练方法，包括：
3、获取作为训练数据的图像文本对数据，所述图像文本对数据包括图像数据和与所述图像数据匹配的文本数据；
...【技术保护点】
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述图像数据和所述第一对抗网络对所述图像到文本模型进行训练，得到第一训练结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述文本数据和所述第二对抗网络对所述文本到图像数据进行训练，得到第二训练结果，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一训练结果调整所述图像到文本模型的模型参数，以及基于所述第二训练结果调整所述文本到图像模型的模型参数，得到训练后的图像到文本模型和训练后的文本到图像模型，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一生成文本数据和所述第一生成图像数据，计算所述图像到文本模型的模型损失值，得到第一损失值，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一差异信息、所述第二差异信息和所述第三差异信息，计算所述图像到文本模型的模型损失值，得到第一损失值，包括：
8.
9.一种视频生成方法，其特征在于，包括：
10.一种模型训练装置，其特征在于，包括：
11.一种文本生成装置，其特征在于，包括：
12.一种视频生成装置，其特征在于，包括：
13.一种电子设备，其特征在于，包括：
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法，或，所述计算机指令用于使所述计算机执行根据权利要求8所述的方法，或，所述计算机指令用于使所述计算机执行根据权利要求9所述的方法。
15.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤，或，该计算机程序被处理器执行时实现权利要求8所述方法的步骤，或，该计算机程序被处理器执行时实现权利要求9所述方法的步骤。
...【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述图像数据和所述第一对抗网络对所述图像到文本模型进行训练，得到第一训练结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述文本数据和所述第二对抗网络对所述文本到图像数据进行训练，得到第二训练结果，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一训练结果调整所述图像到文本模型的模型参数，以及基于所述第二训练结果调整所述文本到图像模型的模型参数，得到训练后的图像到文本模型和训练后的文本到图像模型，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一生成文本数据和所述第一生成图像数据，计算所述图像到文本模型的模型损失值，得到第一损失值，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一差异信息、所述第二差异信息和所述第三差异信息，...
【专利技术属性】
技术研发人员：陈妙，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。