【技术实现步骤摘要】
本说明书实施例涉及计算机，特别涉及一种问答模型训练方法、数据处理方法、文本处理方法和视频处理方法。
技术介绍
1、随着大模型在指令跟随能力上的出色表现，大模型逐渐被广泛应用至各个
在实际应用中，不同长度训练数据下训练出来的预训练模型之间并不通用，例如，在文本预测领域，有标注的样本数据成本高昂，也很稀缺，常常会出现在短文本数据上训练出来的模型在长文本数据上预测效果很差的情况，反之亦然。这使得训练好的模型的性能较为单一化。从而，若使用基于短文本数据训练好的模型，对长文本数据进行预测，其预测结果的准确性较低，因此，需要使用长文本数据重新对模型进行训练，并使用重新训练好的模型对长文本数据进行处理，但由于对长文本数据进行标注的成本高昂，使用标注后的长文本数据重新对模型进行训练仍需花费高昂的成本。因此，亟需一种方法来解决使用训练好的模型对不同数据进行处理所导致的准确性较低的技术问题。
技术实现思路
1、有鉴于此，本说明书实施例提供了一种问答模型训练方法、数据处理方法、文本处理方法和视频处理方法。本说明书一个或者多个实施例同时涉及一种问答模型训练装置、数据处理装置、文本处理装置和视频处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。
2、根据本说明书实施例的第一方面，提供了一种问答模型训练方法，包括：
3、获取原始训练数据、所述原始训练数据的切分训练数据和所述切分训练数据的待训练问题，其中，所述原始训练数据的数据
4、将所述切分训练数据和所述待训练问题输入初始问答模型，获得所述待训练问题的第一答案数据；
5、将所述原始训练数据和所述待训练问题输入所述初始问答模型，获得所述待训练问题的第二答案数据；
6、基于所述切分训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第一训练数据对，基于所述原始训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第二训练数据对；
7、根据所述第一训练数据对和所述第二训练数据对，训练所述初始问答模型，获得目标问答模型。
8、根据本说明书实施例的第二方面，提供了一种问答模型训练装置，包括：
9、获取模块，被配置为获取原始训练数据、所述原始训练数据的切分训练数据和所述切分训练数据的待训练问题，其中，所述原始训练数据的数据长度大于预设长度阈值，所述切分训练数据的数据长度小于或等于所述预设长度阈值；
10、第一输入模块，被配置为将所述切分训练数据和所述待训练问题输入初始问答模型，获得所述待训练问题的第一答案数据；
11、第二输入模块，被配置为将所述原始训练数据和所述待训练问题输入所述初始问答模型，获得所述待训练问题的第二答案数据；
12、生成模块，被配置为基于所述切分训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第一训练数据对，基于所述原始训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第二训练数据对；
13、训练模块，被配置为根据所述第一训练数据对和所述第二训练数据对，训练所述初始问答模型，获得目标问答模型。
14、根据本说明书实施例的第三方面，提供了另一种问答模型训练方法，应用于云侧设备，包括：
15、响应于问答模型训练指令获取原始训练数据、所述原始训练数据的切分训练数据和所述切分训练数据的待训练问题，其中，所述原始训练数据的数据长度大于预设长度阈值，所述切分训练数据的数据长度小于或等于所述预设长度阈值；
16、将所述切分训练数据和所述待训练问题输入初始问答模型，获得所述待训练问题的第一答案数据；
17、将所述原始训练数据和所述待训练问题输入所述初始问答模型，获得所述待训练问题的第二答案数据；
18、基于所述切分训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第一训练数据对，基于所述原始训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第二训练数据对；
19、根据所述第一训练数据对和所述第二训练数据对，训练所述初始问答模型，获得目标问答模型；
20、将所述目标问答模型的目标模型参数反馈至目标终端。
21、根据本说明书实施例的第四方面，提供了另一种问答模型训练装置，应用于云侧设备，包括：
22、响应模块，被配置为响应于问答模型训练指令获取原始训练数据、所述原始训练数据的切分训练数据和所述切分训练数据的待训练问题，其中，所述原始训练数据的数据长度大于预设长度阈值，所述切分训练数据的数据长度小于或等于所述预设长度阈值；
23、第一数据输入模块，被配置为将所述切分训练数据和所述待训练问题输入初始问答模型，获得所述待训练问题的第一答案数据；
24、第二数据输入模块，被配置为将所述原始训练数据和所述待训练问题输入所述初始问答模型，获得所述待训练问题的第二答案数据；
25、数据对生成模块，被配置为基于所述切分训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第一训练数据对，基于所述原始训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第二训练数据对；
26、模型训练模块，被配置为根据所述第一训练数据对和所述第二训练数据对，训练所述初始问答模型，获得目标问答模型；
27、反馈模块，被配置为将所述目标问答模型的目标模型参数反馈至目标终端。
28、根据本说明书实施例的第五方面，提供了一种数据处理方法，包括：
29、获取待处理业务数据和针对所述待处理业务数据的待确定问题；
30、将所述待处理业务数据和所述待确定问题输入目标问答模型，获得所述待确定问题的目标答案，其中，所述目标问答模型根据上述问答模型训练方法获得。
31、根据本说明书实施例的第六方面，提供了一种数据处理装置，包括：
32、业务数据获取模块，被配置为获取待处理业务数据和针对所述待处理业务数据的待确定问题；
33、业务数据输入模块，被配置为将所述待处理业务数据和所述待确定问题输入目标问答模型，获得所述待确定问题的目标答案，其中，所述目标问答模型根据上述问答模型训练方法获得。
34、根据本说明书实施例的第七方面，提供了一种文本处理方法，包括：
35、获取待处理文本和针对所述待处理文本的待确定文本问题，其中，所述待处理文本包括待处理长文本或待处理短文本；
36、将所述待处理文本和所述待确定文本问题输入目标问答模型，获得所述待确定文本问题的目标文本答案，其中，所述目标问答模型根据上述问答模型训练方法获得。
37、根据本说明书实施例的第八方面，提供了一种文本处理装置，包括：...
【技术保护点】
1.一种问答模型训练方法，包括：
2.如权利要求1所述的方法，基于所述切分训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第一训练数据对，包括：
3.如权利要求1所述的方法，基于所述原始训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第二训练数据对，包括：
4.如权利要求1所述的方法，根据所述第一训练数据对和所述第二训练数据对，训练所述初始问答模型，获得目标问答模型，包括：
5.如权利要求4所述的方法，根据所述第一训练数据对，确定所述初始问答模型的参考输出分布，包括：
6.如权利要求1所述的方法，获取所述原始训练数据的切分训练数据，包括：
7.如权利要求1所述的方法，获取所述切分训练数据的待训练问题，包括：
8.一种问答模型训练方法，应用于云侧设备，包括：
9.一种数据处理方法，包括：
10.一种文本处理方法，包括：
11.一种视频处理方法，包括：
12.一种计算设备，包括：
13.一种计算机可读存储介
14.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1-11任意一项所述方法的步骤。
...【技术特征摘要】
1.一种问答模型训练方法，包括：
2.如权利要求1所述的方法，基于所述切分训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第一训练数据对，包括：
3.如权利要求1所述的方法，基于所述原始训练数据、所述待训练问题、所述第一答案数据和所述第二答案数据，生成第二训练数据对，包括：
4.如权利要求1所述的方法，根据所述第一训练数据对和所述第二训练数据对，训练所述初始问答模型，获得目标问答模型，包括：
5.如权利要求4所述的方法，根据所述第一训练数据对，确定所述初始问答模型的参考输出分布，包括：
6.如权利要求1所述的方法，获取所述原始训练数据的...
【专利技术属性】
技术研发人员：陈官正，李昕，邴立东，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。