【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种内容生成模型的训练方法、装置、电子设备和存储介质。
技术介绍
1、目前，在内容生成平台中通常采用部署在中心节点上的通用内容生成模型，对各个细化的垂直领域的内容生成请求进行服务，然而，通过中心节点对各个细化的垂直领域的内容生成请求进行处理，不仅造成提交给中心节点的流量较大，负载较高，而且所生成的垂直领域下的内容生成效果不佳。因此，为了可以为各个细化的垂直领域的内容生成请求进行服务，可在内容生成平台上部署多个边缘节点，并在边缘节点上部署对应垂直领域所对应的内容生成模型，然而，为每个垂直领域训练生成一套内容生成模型，从初始状态开始全量训练，所需的资源很高。因此，如何使得边缘节点得到其对应垂直领域所对应的内容生成模型是目前亟需解决的技术问题。
技术实现思路
1、本公开提供一种内容生成模型的训练方法、装置、电子设备和存储介质。
2、第一方面，本公开提供一种内容生成模型的训练方法，所述方法应用于内容生成平台中的中心节点，所述中心节点上部署有通用内容生成模型，所述内容生成平台还包括多个边缘节点，每个所述边缘节点服务一个不同的垂直领域，所述方法包括：针对所述多个边缘节点中的任意一个目标边缘节点，从所述目标边缘节点中获取目标垂直领域的训练语料，所述目标垂直领域为所述目标边缘节点所服务的垂直领域；获取对待训练权重矩阵进行矩阵分解所得到的第一低秩权重矩阵和第二低秩权重矩阵，其中，所述第一低秩权重矩阵和所述第二低秩权重矩阵的乘积等于所述待训练权重矩阵，所述待训练权
3、第二方面，本公开提供一种内容生成模型的训练装置，所述装置应用于内容生成平台中的中心节点，所述中心节点上部署有通用内容生成模型，所述内容生成平台还包括多个边缘节点，每个所述边缘节点服务一个不同的垂直领域，所述装置包括：第一获取模块，用于针对所述多个边缘节点中的任意一个目标边缘节点，从所述目标边缘节点中获取目标垂直领域的训练语料，所述目标垂直领域为所述目标边缘节点所服务的垂直领域；第二获取模块，用于获取对待训练权重矩阵进行矩阵分解所得到的第一低秩权重矩阵和第二低秩权重矩阵，其中，所述第一低秩权重矩阵和所述第二低秩权重矩阵的乘积等于所述待训练权重矩阵，所述待训练权重矩阵和所述通用内容生成模型的权重矩阵的维度是相同的；配置模块，用于将所述第一低秩权重矩阵和所述第二低秩权重矩阵配置到所述通用内容生成模型中，以得到第一内容生成模型；训练模块，用于根据所述训练语料，对所述第一内容生成模型进行训练，以得到所述目标垂直领域下的第二内容生成模型，其中，在训练所述第一内容生成模型的过程中，冻结所述权重矩阵；发送模块，用于将所述第二内容生成模型发送至所述目标边缘节点，以将所述第二内容生成模型部署在所述目标边缘节点。
4、第三方面，本公开提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现本公开实施例公开的内容生成模型的训练方法。
5、第四方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现本公开实施例公开的内容生成模型的训练方法。
6、第五方面，本公开提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开实施例公开的内容生成模型的训练方法。
7、本公开的实施例提供的技术方案至少带来以下有益效果：
8、在内容生成平台的对应边缘节点上需要部署其所服务的垂直领域的内容生成模型的情况下，内容生成平台的中心点从对应边缘节点上获取对应垂直领域的训练语料，并结合训练语料对通用内容生成模型进行微调训练，以得到适配对应垂直领域的内容生成模型，并将所得到的内容生成模型发送给对应边缘节点，以将所得到的内容生成模型部署在对应边缘节点上。由此，通过对通用内容生成模型进行微调训练的方式，得到了适配对应垂直领域的内容生成模型，降低了得到对应垂直领域的内容生成模型所需要的资源和成本，提高了对应垂直领域的内容生成模型的效率和准确性。
本文档来自技高网...【技术保护点】
1.一种内容生成模型的训练方法，其特征在于，所述方法应用于内容生成平台中的中心节点，所述中心节点上部署有通用内容生成模型，所述内容生成平台还包括多个边缘节点，每个所述边缘节点服务一个不同的垂直领域，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述第一内容生成模型为多个，每个所述第一内容生成模型中的第一低秩权重矩阵的列数和第二低秩权重矩阵的行数均为秩r，不同的所述第一内容生成模型所对应的秩r是不相同的，其中，所述根据所述训练语料，对所述第一内容生成模型进行训练，以得到所述目标垂直领域下的第二内容生成模型，包括：
3.如权利要求2所述的方法，其特征在于，所述根据所述权重矩阵和各个训练后的第一内容生成模型中的第一低秩权重矩阵和第二低秩权重矩阵，生成所述目标垂直领域下的第二内容生成模型，包括：
4.如权利要求3所述的方法，其特征在于，针对各个训练后的第一内容生成模型，根据所述训练后的第一内容生成模型中的第一低秩权重矩阵和第二低秩权重矩阵以及所述中间内容生成模型中的第一低秩权重矩阵和第二低秩权重矩阵，确定所述训练后的第一内容生成模型所对应的注
5.如权利要求4所述的方法，其特征在于，所述根据所述中间内容生成模型所对应的目标权重矩阵和所述训练后的第一内容生成模型所对应的目标权重矩阵，确定所述训练后的第一内容生成模型所对应的注意力权重，包括：
6.如权利要求3所述的方法，其特征在于，所述根据所述权重矩阵和所述融合权重矩阵，生成所述目标垂直领域下的第二内容生成模型，包括：
7.一种内容生成模型的训练装置，其特征在于，所述装置应用于内容生成平台中的中心节点，所述中心节点上部署有通用内容生成模型，所述内容生成平台还包括多个边缘节点，每个所述边缘节点服务一个不同的垂直领域，所述装置包括：
8.如权利要求7所述的装置，其特征在于，所述第一内容生成模型为多个，每个所述第一内容生成模型中的第一低秩权重矩阵的列数和第二低秩权重矩阵的行数均为秩r，不同的所述第一内容生成模型所对应的秩r是不相同的，其中，所述训练模块，包括：
9.如权利要求8所述的装置，其特征在于，所述生成单元，包括：
10.如权利要求9所述的装置，其特征在于，所述第二确定子单元，具体用于：
11.如权利要求10所述的装置，其特征在于，所述第二确定子单元，具体用于：
12.如权利要求9所述的装置，其特征在于，所述生成子单元，具体用于：
13.一种电子设备，其特征在于，包括：
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
15.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
...【技术特征摘要】
1.一种内容生成模型的训练方法，其特征在于，所述方法应用于内容生成平台中的中心节点，所述中心节点上部署有通用内容生成模型，所述内容生成平台还包括多个边缘节点，每个所述边缘节点服务一个不同的垂直领域，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述第一内容生成模型为多个，每个所述第一内容生成模型中的第一低秩权重矩阵的列数和第二低秩权重矩阵的行数均为秩r，不同的所述第一内容生成模型所对应的秩r是不相同的，其中，所述根据所述训练语料，对所述第一内容生成模型进行训练，以得到所述目标垂直领域下的第二内容生成模型，包括：
3.如权利要求2所述的方法，其特征在于，所述根据所述权重矩阵和各个训练后的第一内容生成模型中的第一低秩权重矩阵和第二低秩权重矩阵，生成所述目标垂直领域下的第二内容生成模型，包括：
4.如权利要求3所述的方法，其特征在于，针对各个训练后的第一内容生成模型，根据所述训练后的第一内容生成模型中的第一低秩权重矩阵和第二低秩权重矩阵以及所述中间内容生成模型中的第一低秩权重矩阵和第二低秩权重矩阵，确定所述训练后的第一内容生成模型所对应的注意力权重，包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述中间内容生成模型所对应的目标权重矩阵和所述训练后的第一内容生成模型所对应的目标权重矩阵，确定所述训练后的第一内容生成模型所对应的注意力权重，包括：
6.如权利要...
【专利技术属性】
技术研发人员：李斌，闫宇，谢天铎，郑正广，谢致达，
申请(专利权)人：中移互联网有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。