【技术实现步骤摘要】
本专利技术涉及人工智能领域，尤其涉及一种基于跨境支付行业知识库的预训练模型生成方法、预训练模型生成方法和产品。
技术介绍
1、随着人工智能技术在各个领域的应用，需要构建各应用场景对应的专业库，现有通用领域一般有对应的模型，而针对专业库通过是使用模型在应用场景下的特定任务的微调。比如在申请号为202311187668.7中公开应用语言人工智能的文书生成方法及系统，使用信息抽取模型对文本文档进行关系抽取得到多个三元组组成三元组集合，使用文本文档对预训练语言模型进行微调训练得到生成模型，使用生成模型对模板文档进行补全得到补全文本，根据补全文本对三元组集合进行语义缩合反应得到文本反应系数，根据文本反应系数对补全文本进行缩合，更好地保证文本生成的安全与质量。上述的专利提案是针对某个特定的任务(审核文本安全性)进行预训练语言模型的微调训练。在该提案中通过与chatgpt的聊天进行zero-shot的信息提取来实现所述信息抽取模型([1]zero-shotinformation extraction via chatting with chatgpt arxiv 2023xiang weixingyucuining chengxiaobin wangxin zhangshen huangpengjun xiejinan xuyufengchenmeishan zhang)，而在一些实施例中，为了保证数据的安全性和独立性，可以使用基于bert-ner构建的中文信息抽取框架(例如bert-ner)。但是上述预训练语言模型容易存在专业性和准确性上的
2、另外，随着企业涉及的跨境支付业务越来越多，涉及的相关专业知识面越来越广，导致模型在特定领域(跨境支付)的表现不如在通用领域的表现好，需要进一步的通过适配特定的领域知识信息来提高准确性。而一般对特定领域的适应，大多使用模型在特定任务下的微调。在支付领域，特别是跨境支付行业需要有更强的专业性，如果按照上述的方法存在准确性较低的问题，而若直接使用人工标注数据进行微调，则存在效率太慢的问题。即：现有的领域适应性预训练模型主要是通过基础行业词汇生成基本源模型，然后通过多个下游任务进行微调的方式以适应不同领域的一些专有词汇以及上下文。微调阶段的标注数据需要大量的人力去进行人工审核标注。特别存在：存在着下述缺陷：
3、1.需要大量的标注数据：微调模型通常需要大量的针对特定领域或任务的标注数据。这是因为微调模型需要在目标领域中重新学习相关特征和表示，而只有充足的标注数据才能提供足够的信息来进行有效的微调。而当前的数据标注主要依赖人工进行。
4、2.对标注数据的依赖性：微调模型对于标注数据的依赖性较高，如果没有足够的标注数据，可能无法进行有效的微调。这会限制在特定领域或任务上使用微调模型的可行性。
5、3.人工标注的不准确性：由于每个人对于文本的理解存在误差，可能出现标注数据的不准确，而知识库因为部分具有权威性，所以相对准确性较高。
技术实现思路
1、本专利技术提供一种基于跨境支付行业知识库的预训练模型生成方法、预训练模型生成方法，以解决微调阶段的标注数据需要大量的人力去进行人工审核标注成本高且准确性有待提高的技术问题。
2、一种基于跨境支付行业知识库的预训练模型生成方法，包括：
3、s1:对基础数据库进行预训练，得到初始模型；
4、s2:获得跨境支付行业知识库数据，对该跨境支付行业知识库以图数据库形式作为存储，其顶点的属性作为回答，其顶点的边的标签或者属性作为描述，进行对该些数据的拆分，并将拆分后的数据转换为标注数据集；
5、s3:设置跨境支付行业知识库适配的优化因子，利用该优化因子将该标注数据集的标注数据加入进行该初始模型的微调操作，得到基于跨境支付行业知识库训练模型。
6、步骤s2进一步还包括：
7、以图数据库作为存储，一个顶点会对应一条或者多条边，并且设置顶点出边的方向，以此建立多标签文本分类任务；
8、采用sigmoid函数y＝1/(1+e-wx)为新激活函数,使用交叉熵损失函数作为损失函数，将多标签任务转换为文本对于每个标签的二分类任务；w为根据顶点出边的方向动态而设置的动态权重系数，以提升训练专业性匹配度。
9、y＝1/(1+e-wx)进一步为：
10、当边为同向出顶点，则w为一个大于1的权重系数，
11、当边为反向入顶点，则w为一个小于1的权重系数，
12、当边为双向出顶点时，则w为1。
13、设置跨境支付行业知识库适配的优化因子进一步设置learning rate学习率为0.0001，epoch设置为10。
14、与现有技术相比，本专利技术具有以下优点：
15、利用知识库已有的准确的知识信息直接转换成标注数据，避免了人工标注的效率与准确性相对较低的问题，并且可以快速对接不同领域的知识库，提升了模型对于领域适应的效率和准确率。
16、对sigmoid激活函数进行了改动，增加了动态权重以更好地利用图数据库的方向性来提升模型训练的效率。
17、对于预训练模型使用跨境支付知识库进行有监督微调，提升训练的效率和性能。
本文档来自技高网...【技术保护点】
1.一种基于跨境支付行业知识库的预训练模型生成方法，其特征在于，包括：
2.如权利要求1所述的一种基于跨境支付行业知识库的预训练模型生成方法，其特征在于，步骤S2进一步还包括：
3.如权利要求2所述的一种基于跨境支付行业知识库的预训练模型生成方法，其特征在于，优化激活函数y＝1/(1+e-wx)进一步为：
4.如权利要求2所述的一种基于跨境支付行业知识库的预训练模型生成方法，其特征在于，设置跨境支付行业知识库适配的优化因子进一步设置Learning rate学习率为0.0001，epoch设置为10。
5.如权利要求1所述的一种基于跨境支付行业知识库的预训练模型生成方法，其特征在于，对基础数据库进行预训练，得到初始模型进一步包括：使用通用语料基于transformer结构进行MLM训练得到初始模型。
6.一种知识库的预训练模型生成方法，其特征在于，包括：
7.如权利要求6所述的方法，其特征在于，包括：
8.一种基于跨境支付行业知识库的预训练模型生成装置，其特征在于，包括：
9.一种计算
...【技术特征摘要】
1.一种基于跨境支付行业知识库的预训练模型生成方法，其特征在于，包括：
2.如权利要求1所述的一种基于跨境支付行业知识库的预训练模型生成方法，其特征在于，步骤s2进一步还包括：
3.如权利要求2所述的一种基于跨境支付行业知识库的预训练模型生成方法，其特征在于，优化激活函数y＝1/(1+e-wx)进一步为：
4.如权利要求2所述的一种基于跨境支付行业知识库的预训练模型生成方法，其特征在于，设置跨境支付行业知识库适配的优化因子进一步设置learning rate学习率为0.0001，epoch设置为10。
【专利技术属性】
技术研发人员：吴方洲，丁颖，陈鹏，陈宇，汪宁，芦帅，
申请(专利权)人：杭州乒乓智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。