任务处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种任务处理方法、装置、电子设备及存储介质，涉及人工智能技术领域。方法包括：获取待处理任务；其中，待处理任务包含：待处理任务指令以及至少一个模态的待处理数据；对待处理数据进行特征提取，得到待处理初始特征；基于预先训练好的类语言对齐模型对待处理初始特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征；其中，在基于初始结构的类语言对齐模型和大语言模型对第一样本任务进行处理时，大语言模型的损失值用于对初始结构的类语言对齐模型的模型参数进行调整；将待处理任务指令和待处理类语言特征输入至大语言模型，得到待处理任务的处理结果。如此，能够提高任务处理的泛化性。能够提高任务处理的泛化性。能够提高任务处理的泛化性。

【技术实现步骤摘要】
任务处理方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能
，特别是涉及一种任务处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，任务处理模型被广泛应用于各种场景中。相关技术中，技术人员可以根据实际需求，训练用于在指定场景下完成特定类型任务的任务处理模型。例如，针对语音识别的场景，可以预先训练用于将用户输入的语音数据转换为文本数据的任务处理模型。或者，针对图像处理的场景，可以预先训练用于在图像中检测目标对象的任务处理模型。
[0003]然而，基于上述方式得到的任务处理模型只能应用于单一场景下对特定类型的任务进行处理。

技术实现思路

[0004]本申请实施例的目的在于提供一种任务处理方法、装置、电子设备及存储介质，提高任务处理的泛化性。具体技术方案如下：
[0005]本申请实施例的第一方面，首先提供了一种任务处理方法，所述方法包括：
[0006]获取待处理任务；其中，所述待处理任务包含：待处理任务指令以及至少一个模态的待处理数据；
[0007]对所述待处理数据进行特征提取，得到待处理初始特征；
[0008]基于预先训练好的类语言对齐模型对所述待处理初始特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征；其中，在基于初始结构的类语言对齐模型和所述大语言模型对第一样本任务进行处理时，所述大语言模型的损失值用于对初始结构的类语言对齐模型的模型参数进行调整；
[0009]将所述待处理任务指令和所述待处理类语言特征输入至所述大语言模型，得到所述待处理任务的处理结果。
[0010]在一些实施例中，所述基于预先训练好的类语言对齐模型对所述待处理初始特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征，包括：
[0011]基于预先训练好的自对齐模型，将所述待处理初始特征对齐至预设统一特征空间，得到所述待处理数据的自对齐特征，作为待处理自对齐特征；其中，所述自对齐模型为：基于多个模态，且语义一致的数据进行训练得到的；
[0012]基于预先训练好的类语言对齐模型对所述待处理自对齐特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征。
[0013]在一些实施例中，所述待处理任务包含多个模态的待处理数据；
[0014]所述基于预先训练好的类语言对齐模型对所述待处理自对齐特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征，包括：
[0015]基于预先训练好的融合模型，对各模态的待处理数据的待处理自对齐特征进行特
征融合，得到待处理融合特征；其中，在基于初始结构的融合模型、所述类语言对齐模型和所述大语言模型对第二样本任务进行处理时，所述大语言模型的损失值用于对初始结构的融合模型的模型参数进行调整；
[0016]将所述待处理融合特征输入至预先训练好的类语言对齐模型，得到大语言模型所支持的特征，作为待处理类语言特征。
[0017]在一些实施例中，所述类语言对齐模型的训练步骤包含：
[0018]获取第一样本任务和第一样本结果；其中，所述第一样本任务包含：第一样本任务指令以及至少一个模态的第一样本数据；所述第一样本结果表示：按照所述第一样本任务指令对所述第一样本数据进行处理得到的预期结果；
[0019]对所述第一样本数据进行特征提取，得到第一样本初始特征；
[0020]将所述第一样本初始特征输入至初始结构的类语言对齐模型，得到预测类语言特征；
[0021]将所述第一样本任务指令和所述预测类语言特征输入至所述大语言模型，得到所述第一样本任务的第一预测结果；
[0022]基于所述第一预测结果和所述第一样本结果，计算损失值；
[0023]基于计算出的损失值调整初始结构的类语言对齐模型的模型参数，直至达到收敛，得到训练好的类语言对齐模型。
[0024]在一些实施例中，所述自对齐模型的训练步骤包含：
[0025]获取第二样本数据；其中，所述第二样本数据包含多个不同模态，且语义一致的数据；
[0026]对每一所述第二样本数据进行特征提取，得到各自的第二样本初始特征；
[0027]针对任意两个第二样本初始特征，将该两个第二样本初始特征输入至初始结构的自对齐模型，得到该两个第二样本初始特征各自的自对齐特征；
[0028]基于该两个第二样本初始特征各自的自对齐特征之间特征距离，计算损失值；
[0029]基于计算出的损失值调整初始结构的自对齐模型的模型参数，直至达到收敛，得到训练好的自对齐模型。
[0030]在一些实施例中，所述融合模型的训练步骤包含：
[0031]获取第二样本任务和第二样本结果；其中，所述第二样本任务包含：第二样本任务指令，以及多个不同模态的第三样本数据；所述第二样本结果表示：按照所述第二样本任务指令对所述第三样本数据进行处理得到的预期结果；
[0032]对每一所述第三样本数据进行特征提取，得到各自的第三样本初始特征；
[0033]基于各第三样本初始特征，得到多个特征组合；其中，任意一个特征组合包含至少两个第三样本初始特征；
[0034]针对每一特征组合，将该特征组合中的第三样本初始特征输入至初始结构的融合模型，得到该特征组合对应的样本融合特征；
[0035]将该特征组合对应的样本融合特征输入至所述类语言对齐模型，得到所述大语言模型所支持的特征，得到该特征组合对应的样本类语言特征；
[0036]将所述第二样本任务指令和该特征组合对应的样本类语言特征输入至所述大语言模型，得到该特征组合对应的第二预测结果；
[0037]基于该特征组合对应的第二预测结果和所述第二样本结果，计算损失值；
[0038]基于计算出的损失值调整初始结构的融合模型的模型参数，直至达到收敛，得到训练好的融合模型。
[0039]本申请实施例的第二方面，提供了一种任务处理装置，所述装置包括：
[0040]任务获取模块，用于获取待处理任务；其中，所述待处理任务包含：待处理任务指令以及至少一个模态的待处理数据；
[0041]特征提取模块，用于对所述待处理数据进行特征提取，得到待处理初始特征；
[0042]特征处理模块，用于基于预先训练好的类语言对齐模型对所述待处理初始特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征；其中，在基于初始结构的类语言对齐模型和所述大语言模型对第一样本任务进行处理时，所述大语言模型的损失值用于对初始结构的类语言对齐模型的模型参数进行调整；
[0043]结果获取模块，用于将所述待处理任务指令和所述待处理类语言特征输入至所述大语言模型，得到所述待处理任务的处理结果。
[0044]在一些实施例中，所述特征处理模块，包括：
[0045]自对齐子模块，用于基于预先训练好的自对齐模型，将所述待处理初始特征对齐至预设统一特征空间，得到所述待处理数据的自对齐特征，作为待处理自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法包括：获取待处理任务；其中，所述待处理任务包含：待处理任务指令以及至少一个模态的待处理数据；对所述待处理数据进行特征提取，得到待处理初始特征；基于预先训练好的类语言对齐模型对所述待处理初始特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征；其中，在基于初始结构的类语言对齐模型和所述大语言模型对第一样本任务进行处理时，所述大语言模型的损失值用于对初始结构的类语言对齐模型的模型参数进行调整；将所述待处理任务指令和所述待处理类语言特征输入至所述大语言模型，得到所述待处理任务的处理结果。2.根据权利要求1所述的方法，其特征在于，所述基于预先训练好的类语言对齐模型对所述待处理初始特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征，包括：基于预先训练好的自对齐模型，将所述待处理初始特征对齐至预设统一特征空间，得到所述待处理数据的自对齐特征，作为待处理自对齐特征；其中，所述自对齐模型为：基于多个模态，且语义一致的数据进行训练得到的；基于预先训练好的类语言对齐模型对所述待处理自对齐特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征。3.根据权利要求2所述的方法，其特征在于，所述待处理任务包含多个模态的待处理数据；所述基于预先训练好的类语言对齐模型对所述待处理自对齐特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征，包括：基于预先训练好的融合模型，对各模态的待处理数据的待处理自对齐特征进行特征融合，得到待处理融合特征；其中，在基于初始结构的融合模型、所述类语言对齐模型和所述大语言模型对第二样本任务进行处理时，所述大语言模型的损失值用于对初始结构的融合模型的模型参数进行调整；将所述待处理融合特征输入至预先训练好的类语言对齐模型，得到大语言模型所支持的特征，作为待处理类语言特征。4.根据权利要求1所述的方法，其特征在于，所述类语言对齐模型的训练步骤包含：获取第一样本任务和第一样本结果；其中，所述第一样本任务包含：第一样本任务指令以及至少一个模态的第一样本数据；所述第一样本结果表示：按照所述第一样本任务指令对所述第一样本数据进行处理得到的预期结果；对所述第一样本数据进行特征提取，得到第一样本初始特征；将所述第一样本初始特征输入至初始结构的类语言对齐模型，得到预测类语言特征；将所述第一样本任务指令和所述预测类语言特征输入至所述大语言模型，得到所述第一样本任务的第一预测结果；基于所述第一预测结果和所述第一样本结果，计算损失值；基于计算出的损失值调整初始结构的类语言对齐模型的模型参数，直至达到收敛，得到训练好的类语言对齐模型。
5.根据权利要求2所述的方法，其特征在于，所述自对齐模型的训练步骤包含：获取第二样本数据；其中，所述第二样本数据包含多个不同模态，且语义一致的数据；对每一所述第二样本数据进行特征提取，得到各自的第二样本初始特征；针对任意两个第二样本初始特征，将该两个第二样本初始特征输入至初始结构的自对齐模型，得到该两个第二样本初始特征各自的自对齐特征；基于该两个第二样本初始特征各自的自对齐特征之间特征距离，计算损失值；基于计算出的损失值调整初始结构的自对齐模型的模型参数，直至达到收敛，得到训练好的自对齐模型。6.根据权利要求3所述的方法，其特征在于，所述融合模型的训练步骤包含：获取第二样本任务和第二样本结果；其中，所述第二样本任务包含：第二样本任务指令，以及多个不同模态的第三样本数据；所述第二样本结果表示：按照所述第二样本任务指令对所述第三样本数据进行处理得到的预期结果；对每一所述第三样本数据进行特征提取，得到各自的第三样本初始特征；基于各第三样本初始特征，得到多个特征组合；其中，任意一个特征组合包含至少两个第三样本初始特征；针对每一特征组合，将该特征组合中的第三样本初始特征输入至初始结构的融合模型，得到该特征组合对应的样本融合特征；将该特征组合对应的样本融合特征输入至所述类语言对齐模型，得到所述大语言模型所支持的特征，得到该特征组合对应的样本类语言特征；将所述第二样本任务指令和该特征组合对应的样本类语言特征输入至所述大语言模型，得到该特征组合对应的第二预测结果；基于该特征组合对应的第二预测结果和所述第二样本结果，计算损失值；基于计算出的损失值调整初始结构的融合模型的模型参数，直至达到收敛，得到训练好的融合模型。7.一种任务处理装置，其特征在于，所述装置包括：任务获取模块，用于获取待处理任务；其中，所述待处理任务包含：待处理任务指令以及至少一个模态的待处理数据；特征提取模块...

【专利技术属性】
技术研发人员：何逸炜，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：