多媒体处理网络生成方法、多媒体处理方法及装置制造方法及图纸

本申请公开了一种多媒体处理网络生成方法、多媒体处理方法及装置，涉及人工智能技术领域，该方法基于对初始多媒体样本集对应的每个聚类多媒体样本集进行多次采样得到的多个初始关键多媒体样本集，分别对预设多媒体处理网络进行多次训练，根据训练后的多媒体处理网络的多媒体处理评价指标，从多个初始关键多媒体样本集中确定目标关键多媒体样本集，并得到其对应的训练后的多媒体处理网络，预设多媒体处理网络为经过预训练的大型语言模型。利用本申请提供的技术方案可以提升筛选出的用于微调上述预训练大型语言模型的多媒体样本集的代表性和合理性，进而提升基于该多媒体样本集训练得到的多媒体处理网络的生成效率，同时保证多媒体处理的准确性。证多媒体处理的准确性。证多媒体处理的准确性。

【技术实现步骤摘要】
多媒体处理网络生成方法、多媒体处理方法及装置


[0001]本申请涉及人工智能
，尤其涉及一种多媒体处理网络生成方法、多媒体处理方法及装置。

技术介绍

[0002]随着互联网和人工智能技术的发展，以大型语言模型（Large Language Model，LLM）为基础的多种语言模型被广泛应用于各种多模态任务，如对话系统、机器翻译、文本摘要等文本处理任务，图片描述、视觉知识问答等图像处理任务以及语音处理任务等等。目前，预训练
‑
微调已成为了大型语言模型的训练范式，并取得了显著的突破。但是，由于大型语言模型的参数量一般都在数十亿甚至达到千亿规模，使用现有大批量训练数据去微调训练模型不仅会导致大型语言模型微调训练的效率低下，还会带来巨大的计算成本。

技术实现思路

[0003]本申请提供了一种多媒体处理网络生成方法、多媒体处理方法及装置，可以提升多媒体处理网络的生成效率，降低计算成本，同时提升多媒体处理网络的泛化能力，也可以在后续多媒体处理应用过程中，保证多媒体处理结果的准确性。
[0004]一方面，本申请提供了一种多媒体处理网络生成方法，所述方法包括：获取初始多媒体样本集；对所述初始多媒体样本集中的多媒体样本进行聚类处理，得到预设数量个聚类多媒体样本集；对每个聚类多媒体样本集进行至少两次采样，基于至少两次采样得到的采样结果生成所述初始多媒体样本集对应的至少两个初始关键多媒体样本集；每个初始关键多媒体样本集的样本数量不同；基于所述每个初始关键多媒体样本集对预设多媒体处理网络进行训练，得到所述每个初始关键多媒体样本集对应的更新多媒体处理网络；根据所述更新多媒体处理网络对应的多媒体处理评价指标，从所述至少两个初始关键多媒体样本集中确定目标关键多媒体样本集，所述多媒体处理评价指标用于表征所述更新多媒体处理网络的多媒体处理的准确程度；将所述目标关键多媒体样本集对应的更新多媒体处理网络作为目标多媒体处理网络。
[0005]另一方面提供了一种多媒体处理方法，所述方法包括：获取待处理多媒体数据；将所述待处理多媒体数据输入目标多媒体处理网络进行多媒体处理，得到目标处理结果，所述目标多媒体处理网络为采用上述的多媒体处理网络生成方法生成的。
[0006]另一方面提供了一种多媒体处理网络生成装置，所述装置包括：第一获取模块，用于获取初始多媒体样本集；
聚类模块，用于对所述初始多媒体样本集中的多媒体样本进行聚类处理，得到预设数量个聚类多媒体样本集；采样模块，用于对每个聚类多媒体样本集进行至少两次采样，基于至少两次采样得到的采样结果生成所述初始多媒体样本集对应的至少两个初始关键多媒体样本集；每个初始关键多媒体样本集的样本数量不同；训练模块，用于基于所述每个初始关键多媒体样本集对预设多媒体处理网络进行训练，得到所述每个初始关键多媒体样本集对应的更新多媒体处理网络；目标关键多媒体样本集确定模块，用于根据所述更新多媒体处理网络对应的多媒体处理评价指标，从所述至少两个初始关键多媒体样本集中确定目标关键多媒体样本集，所述多媒体处理评价指标用于表征所述更新多媒体处理网络的多媒体处理的准确程度；目标多媒体处理网络确定模块，用于将所述目标关键多媒体样本集对应的更新多媒体处理网络作为目标多媒体处理网络。
[0007]另一方面提供了一种多媒体处理处理装置，所述装置包括：第二获取模块，用于获取待处理多媒体数据；多媒体处理模块，用于将所述待处理多媒体数据输入目标多媒体处理网络进行多媒体处理，得到目标处理结果，所述目标多媒体处理网络为采用上述的多媒体处理网络生成方法生成的。
[0008]另一方面提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述的多媒体处理网络生成方法或多媒体处理方法。
[0009]另一方面提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述的多媒体处理网络生成方法或多媒体处理方法。
[0010]另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的多媒体处理网络生成方法或多媒体处理方法。
[0011]本申请提供的一种多媒体处理网络生成方法、多媒体处理方法及装置，具有如下技术效果：本申请获取初始多媒体样本集，对初始多媒体样本集中的多媒体样本进行聚类处理，得到预设数量个聚类多媒体样本集，进而对每个聚类多媒体样本集进行至少两次采样，基于至少两次采样得到的采样结果生成初始多媒体样本集对应的至少两个初始关键多媒体样本集，并基于每个初始关键多媒体样本集对预设多媒体处理网络进行训练，得到每个初始关键多媒体样本集对应的更新多媒体处理网络；根据更新多媒体处理网络对应的多媒体处理评价指标，从至少两个初始关键多媒体样本集中确定目标关键多媒体样本集，其中多媒体处理评价指标可以用于表征更新多媒体处理网络的多媒体处理的准确程度，能够从初始多媒体样本集中筛选出既能够保证多媒体样本多样性，且样本数量远小于初始多媒体样本集的样本数量的初始关键多媒体样本集，可以提升筛选出的用于训练大型语言模型的
多媒体样本集的代表性和合理性；从而将目标关键多媒体样本集对应的更新多媒体处理网络作为目标多媒体处理网络，可以提升基于上述筛选出的多媒体样本集训练得到的用于多媒体处理的大型语言模型的生成效率，大大降低计算成本，同时提升用于多媒体处理的大型语言模型的泛化能力，也可以在后续多媒体处理应用过程中，保证多媒体处理结果的准确性。
附图说明
[0012]为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0013]图1是本申请实施例提供的一种多媒体处理网络生成方法的应用环境的示意图；图2是本申请实施例提供的一种多媒体处理网络生成方法的流程示意图；图3是本申请实施例提供的一种初始关键多媒体样本集生成方法的流程示意图；图4是本申请实施例提供的一种聚类多媒体样本集采样方法的流程示意图；图5是本申请实施例提供的一种多媒体处理网络训练过程的示意图；图6是本申请实施例提供的一种目标关键多媒体样本集确定方法的流程示意图；图7是本申请实施例提供的一种生成多媒体处理网络的示意图；图8是本申请实施例提供的一种多媒体处理方法的流程示意图；图9是本申请实施例提供的一种多媒体处理网络生成装置的结构示意图；图10是本申请实施例提供的一种多媒体处理装置的结构示意图；图11是本申请实施例提供的一种用于多媒体处理网络生成或多媒体处理的电子设备的框图；图12是本申请实施例提供的另一种用于多媒体处理网络生成或多媒体处理的电子设备的框图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多媒体处理网络生成方法，其特征在于，所述方法包括：获取初始多媒体样本集；对所述初始多媒体样本集中的多媒体样本进行聚类处理，得到预设数量个聚类多媒体样本集；对每个聚类多媒体样本集进行至少两次采样，基于至少两次采样得到的采样结果生成所述初始多媒体样本集对应的至少两个初始关键多媒体样本集；每个初始关键多媒体样本集的样本数量不同；基于所述每个初始关键多媒体样本集对预设多媒体处理网络进行训练，得到所述每个初始关键多媒体样本集对应的更新多媒体处理网络；根据所述更新多媒体处理网络对应的多媒体处理评价指标，从所述至少两个初始关键多媒体样本集中确定目标关键多媒体样本集，所述多媒体处理评价指标用于表征所述更新多媒体处理网络的多媒体处理的准确程度；将所述目标关键多媒体样本集对应的更新多媒体处理网络作为目标多媒体处理网络。2.根据权利要求1所述的方法，所述每个聚类多媒体样本集包括一个中心多媒体样本，其特征在于，所述对每个聚类多媒体样本集进行至少两次采样，基于至少两次采样得到的采样结果生成所述初始多媒体样本集对应的至少两个初始关键多媒体样本集包括：基于所述每个聚类多媒体样本集中的其它多媒体样本与所述每个聚类多媒体样本集中的中心多媒体样本的相似度信息，从所述其它多媒体样本中确定所述每个聚类多媒体样本集对应的关键多媒体样本；所述其它多媒体样本为所述每个聚类多媒体样本集中除所述中心多媒体样本外的多媒体样本；基于所述每个聚类多媒体样本集对应的关键多媒体样本，对所述每个聚类多媒体样本集进行至少两次采样，基于至少两次采样得到的采样结果生成所述初始多媒体样本集对应的至少两个初始关键多媒体样本集。3.根据权利要求2所述的方法，其特征在于，所述基于所述每个聚类多媒体样本集对应的关键多媒体样本，对所述每个聚类多媒体样本集进行至少两次采样，基于至少两次采样得到的采样结果生成所述初始多媒体样本集对应的至少两个初始关键多媒体样本集包括：基于所述每个聚类多媒体样本集对应的关键多媒体样本，对所述每个聚类多媒体样本集进行至少两次采样，得到每次采样生成的所述每个聚类多媒体样本集对应的关键多媒体样本集；对所述每次采样生成的所述每个聚类多媒体样本集对应的关键多媒体样本集进行融合，得到每次采样对应的初始关键多媒体样本集；根据所述每次采样对应的初始关键多媒体样本集，生成所述至少两个初始关键多媒体样本集。4.根据权利要求3所述的方法，其特征在于，所述基于所述每个聚类多媒体样本集对应的关键多媒体样本，对所述每个聚类多媒体样本集进行至少两次采样，得到每次采样生成的所述每个聚类多媒体样本集对应的关键多媒体样本集包括：基于所述每次采样对应的初始关键多媒体样本集的样本数量及所述每个聚类多媒体样本集的样本数量在所述初始多媒体样本集的样本数量中的占比信息，确定所述每个聚类多媒体样本集对应的采样样本数量；
将所述每个聚类多媒体样本集对应的关键多媒体样本作为所述每个聚类多媒体样本集对应的当前关键多媒体样本；基于所述每个聚类多媒体样本集中的非当前关键多媒体样本与所述每个聚类多媒体样本集对应的当前关键多媒体样本间的距离信息，从所述非当前关键多媒体样本中确定所述每个聚类多媒体样本集对应的采样多媒体样本；根据所述每个聚类多媒体样本集对应的采样多媒体样本和所述每个聚类多媒体样本集对应的当前关键多媒体样本，生成所述每个聚类多媒体样本集对应的更新关键多媒体样本集；将所述每个聚类多媒体样本集对应的更新关键多媒体样本集中的多媒体样本重新作为所述每个聚类多媒体样本集对应的当前关键多媒体样本，重复所述基于所述每个聚类多媒体样本集中的非当前关键多媒体样本与所述每个聚类多媒体样本集对应的当前关键多媒体样本间的距离信息，至所述生成所述每个聚类多媒体样本集对应的更新关键多媒体样本集的步骤，直至所述更新关键多媒体样本集的样本数量达到所述采样样本数量，得到所述每次采样生成的所述每个聚类多媒体样本集对应的关键多媒体样本集。5.根据权利要求1所述的方法，其特征在于，所述根据所述更新多媒体处理网络对应的多媒体处理评价指标，从所述至少两个初始关键多媒体样本集中确定目标关键多媒体样本集包括：将预设测试多媒体...

【专利技术属性】
技术研发人员：冯晓，何蕾，刘一仝，徐程程，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：