【技术实现步骤摘要】
本公开涉及深度学习，尤其涉及一种知识预训练模型的训练方法、装置、电子设备及存储介质。
技术介绍
1、预训练模型在训练过程中能够学习到很多有用的信息，包括语言结构、语义等方面的知识，这些知识可以帮助模型在处理下游任务时更加精确和高效。
2、目前，相关技术中，在对预训练模型进行训练时，通常直接使用结构化的知识图谱对预训练模型进行知识预训练，以便训练后的预训练模型能够学习实体与实体之间的关系。但是，由于下游任务中多是非结构化数据，结构化的知识图谱与非结构化的下游数据之间存在数据分布差异，导致使用知识图谱训练得到的预训练模型应用于下游任务时，模型的效果较差。
技术实现思路
1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的至少一个实施例提供了一种知识预训练模型的训练方法、装置、电子设备及存储介质。
2、第一方面，本公开提供了一种知识预训练模型的训练方法，包括：
3、从知识图谱中提取非结构化数据，所述非结构化数据包括所述知识图谱中的实体，以及每个实体对应的属性、每个属性的属性信息；
4、根据所述每个实体及其对应的所述属性和所述属性信息，按照预设的拼接规则进行拼接生成训练数据，所述训练数据包括所述每个实体对应的文本序列、知识提示序列及答案序列，所述文本序列用于提供所述实体的属性信息，所述知识提示序列用于提供待预测属性信息的上下文信息，所述答案序列用于提供与所述知识提示序列对应的待预测属性信息；
5、根据所述训练数据对待训
6、第二方面，本公开提供了一种知识预训练模型的训练装置，包括：
7、数据获取模块，用于从知识图谱中提取非结构化数据，所述非结构化数据包括所述知识图谱中的实体，以及每个实体对应的属性、每个属性的属性信息；
8、训练数据生成模块，用于根据所述每个实体及其对应的所述属性和所述属性信息，按照预设的拼接规则进行拼接生成训练数据，所述训练数据包括所述每个实体对应的文本序列、知识提示序列及答案序列，所述文本序列用于提供所述实体的属性信息，所述知识提示序列用于提供待预测属性信息的上下文信息，所述答案序列用于提供与所述知识提示序列对应的待预测属性信息；
9、训练模块，用于根据所述训练数据对待训练的知识预训练模型进行训练。
10、第三方面，本公开提供了一种电子设备，包括：处理器和存储器；
11、所述处理器通过调用所述存储器存储的程序或指令，用于执行本公开实施例提供的任一所述的知识预训练模型的训练方法。
12、第四方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行本公开实施例提供的任一所述的知识预训练模型的训练方法。
13、第五方面，本公开提供了一种计算机程序产品，所述计算机程序产品用于执行本公开实施例提供的任一所述的知识预训练模型的训练方法。
14、本公开实施例提供的技术方案与现有技术相比至少具有如下优点：
15、在本公开实施例中，从知识图谱中提取非结构化数据，非结构化数据包括知识图谱中的实体，以及每个实体对应的属性、每个属性的属性信息，并根据每个实体及其对应的属性和属性信息，按照预设的拼接规则进行拼接生成训练数据，训练数据包括每个实体对应的文本序列、知识提示序列及答案序列，文本序列用于提供实体的属性信息，知识提示序列用于提供待预测属性信息的上下文信息，答案序列用于提供与知识提示序列对应的待预测属性信息，进而根据训练数据对待训练的知识预训练模型进行训练。采用上述技术方案，先从结构化的知识图谱中提取实体、对应的属性及每个属性的属性信息这些非结构化的文本数据，再利用获取的非结构化的数据来构建训练数据用于训练知识预训练模型，由于下游任务中多是非结构化数据，本方案中模型训练时采用的也是非结构化数据，减小了预训练过程中训练数据与下游任务中非结构化数据之间的分布差异，从而使得训练后的预训练模型应用于下游任务时，不会因为数据分布差异而影响模型的预测精度，有利于保证训练得到的预训练模型在下游任务中的预测效果。
本文档来自技高网...【技术保护点】
1.一种知识预训练模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述每个实体及其对应的所述属性和所述属性信息，按照预设的拼接规则进行拼接生成训练数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述拼接规则为随机拼接属性信息，所述根据所述每个实体及所述目标属性对应的目标属性信息，按照预设的拼接规则进行拼接生成所述每个实体对应的文本序列，包括：
4.根据权利要求2所述的方法，其特征在于，所述对所述目标属性对应的知识提示模板进行拼接，生成所述每个实体对应的知识提示序列，包括：
5.根据权利要求2所述的方法，其特征在于，所述按照所述目标属性对应的知识提示模板的拼接顺序，对所述目标属性对应的目标属性信息进行拼接，生成所述每个实体对应的答案序列，包括：
6.根据权利要求5所述的方法，其特征在于，所述知识提示模板中包括预测位置标识，所述按照所述目标属性之间的顺序，对所述目标属性对应的所述目标属性信息进行拼接，生成所述答案序列，包括：
7.根据权利要求1-6任一项所述的
8.一种知识预训练模型的训练装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：处理器和存储器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述的知识预训练模型的训练方法。
...【技术特征摘要】
1.一种知识预训练模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述每个实体及其对应的所述属性和所述属性信息，按照预设的拼接规则进行拼接生成训练数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述拼接规则为随机拼接属性信息，所述根据所述每个实体及所述目标属性对应的目标属性信息，按照预设的拼接规则进行拼接生成所述每个实体对应的文本序列，包括：
4.根据权利要求2所述的方法，其特征在于，所述对所述目标属性对应的知识提示模板进行拼接，生成所述每个实体对应的知识提示序列，包括：
5.根据权利要求2所述的方法，其特征在于，所述按照所述目标属性对应的知识提示模板的拼接顺序，对所述目标属性对应的目...
【专利技术属性】
技术研发人员：陆恒通，任磊，江会星，陈伟，
申请(专利权)人：北京罗克维尔斯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。