System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 模型转换方法、设备、存储介质及程序产品技术_技高网

模型转换方法、设备、存储介质及程序产品技术

技术编号:43995311 阅读:8 留言:0更新日期:2025-01-10 20:14
本申请实施例提供一种模型转换方法、设备、存储介质及程序产品。在本申请实施例中,在移动终端的可用资源信息满足数据包所需的资源加载条件的情况下,根据初始数字人推理模型支持的原始模型格式和模型‑格式转换工具映射表,确定目标格式转换工具,模型‑格式转换工具映射表中存储有支持不同模型格式的数字人推理模型所对应的格式转换工具;调用目标格式转换工具,对初始数字人推理模型进行模型格式的转换处理,以得到支持目标模型格式的适合运行于移动终端的目标数字人推理模型,由此可以提高数字人模型的推理速度,并且还可以减少后续该数字人视频的延迟和卡顿问题,提高目标数字人视频的播放质量。

【技术实现步骤摘要】

本申请涉及互联网,尤其涉及一种模型转换方法、设备、存储介质及程序产品


技术介绍

1、随着人工智能的不断发展,ai数字人技术也得到了广泛的应用。现阶段大多生成数字人的方案都是借助服务端完成推理任务,再将生成的ai数字人视频传输给移动端。

2、但是这种方式存在以下问题:当服务端在同一时间需要执行多个推理任务时,服务端可能会因为负载太大使得响应不及时,导致推理速度缓慢。另外,当服务端生成完数字人视频后,还需要通过网络传输给移动端,那么在网络环境较差时,可能会导致在移动端上播放该数字人视频的延迟和卡顿。


技术实现思路

1、本申请的多个方面提供一种模型转换方法、设备、存储介质及程序产品,用以提高模型推理速度,以及提高播放数字人视频的播放质量。

2、本申请实施例提供一种模型转换方法,应用于服务终端,该方法包括:接收移动终端发送的模型转换请求消息,模型转换请求消息至少包括移动终端的系统类型、可用资源信息和移动终端所需的模型功能;从基于目标模型开发框架开发的数字人推理模型中,确定与移动终端的系统类型和所需的模型功能适配的初始数字人推理模型,目标模型开发框架是指适用于服务端的模型开发框架;在移动终端的可用资源信息满足数据包所需的资源加载条件的情况下,根据初始数字人推理模型支持的原始模型格式和模型-格式转换工具映射表,确定目标格式转换工具,模型-格式转换工具映射表中存储有支持不同模型格式的数字人推理模型所对应的格式转换工具;调用目标格式转换工具,对初始数字人推理模型进行模型格式的转换处理,以得到支持目标模型格式的目标数字人推理模型,目标数字人推理模型适合运行于移动终端。

3、申请实施例还提供一种电子设备,包括:存储器和处理器;存储器,用于存储计算机程序;处理器,与存储器耦合,用于执行计算机程序,以实现上述基于数字人直播方法中的步骤。

4、本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,当计算机程序被处理器执行时,致使处理器实现基于数字人直播方法中的步骤。

5、本申请实施例还提供一种计算机程序产品,计算机程序产品包含计算机程序/指令,当计算机程序/指令被处理器执行时,致使处理器能够实现上述数字人的直播方法中的步骤。

6、在本申请实施例中,基于目标模型开发框架开发的数字人推理模型中,确定与移动终端的系统类型和所需的模型功能适配的初始数字人推理模型,目标模型开发框架是指适用于服务端的模型开发框架;在移动终端的可用资源信息满足数据包所需的资源加载条件的情况下,根据初始数字人推理模型支持的原始模型格式和模型-格式转换工具映射表,确定目标格式转换工具,模型-格式转换工具映射表中存储有支持不同模型格式的数字人推理模型所对应的格式转换工具;调用目标格式转换工具,对初始数字人推理模型进行模型格式的转换处理,以得到支持目标模型格式的适合运行于移动终端的目标数字人推理模型,由此可以提高数字人模型的推理速度,并且还可以减少后续该数字人视频的延迟和卡顿问题,提高目标数字人视频的播放质量。

本文档来自技高网...

【技术保护点】

1.一种模型转换方法,其特征在于,应用于服务终端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,从基于目标模型开发框架开发的数字人推理模型中,确定与所述移动终端的系统类型和所需的模型功能适配的初始数字人推理模型,包括:

3.根据权利要求1所述的方法,其特征在于,还包括:

4.根据权利要求1所述的方法,其特征在于,调用所述目标格式转换工具,对所述初始数字人推理模型进行模型格式的转换处理,以得到支持目标模型格式的目标数字人推理模型,包括:

5.根据权利要求4所述的方法,其特征在于,对所述初始数字人推理模型的模型文件进行解析,以得到所述初始数字人推理模型的网络结构和权重参数集,包括:

6.根据权利要求4所述的方法,其特征在于,通过对所述初始数字人推理模型进行模拟运行,以得到所述初始数字人推理模型的静态计算图,包括:

7.根据权利要求4所述的方法,其特征在于,通过对所述初始数字人推理模型进行控制流分析,以得到所述初始数字人推理模型的静态计算图,包括:

8.根据权利要求4-7任一项所述的方法,其特征在于,根据所述目标模型格式,对所述初始数字人推理模型的网络结构、权重参数集和静态计算图进行重新组织,以得到所述目标数字人推理模型,包括:

9.根据权利要求8所述的方法,其特征在于,基于操作符转换表,将所述网络结构中各个网络层中的操作符转换为所述目标模型格式下的目标操作符,包括:

10.根据权利要求1-9任一项所述的方法,其特征在于,所述初始数字人推理模型是用于基于音频特征信息生成嘴部形态连续变化的多个脸部区域图像的神经网络模型;所述方法还包括:

11.一种电子设备,其特征在于,包括:存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,与所述存储器耦合,用于执行所述计算机程序,以实现权利要求1-10中任一项所述方法中的步骤。

12.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序被处理器执行时,致使所述处理器实现权利要求1-10中任一项所述方法中的步骤。

13.一种计算机程序产品,其特征在于,所述计算机程序产品包含计算机程序/指令,当所述计算机程序/指令被处理器执行时,致使所述处理器能够实现权利要求1-10中任一项方法中的步骤。

...

【技术特征摘要】

1.一种模型转换方法,其特征在于,应用于服务终端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,从基于目标模型开发框架开发的数字人推理模型中,确定与所述移动终端的系统类型和所需的模型功能适配的初始数字人推理模型,包括:

3.根据权利要求1所述的方法,其特征在于,还包括:

4.根据权利要求1所述的方法,其特征在于,调用所述目标格式转换工具,对所述初始数字人推理模型进行模型格式的转换处理,以得到支持目标模型格式的目标数字人推理模型,包括:

5.根据权利要求4所述的方法,其特征在于,对所述初始数字人推理模型的模型文件进行解析,以得到所述初始数字人推理模型的网络结构和权重参数集,包括:

6.根据权利要求4所述的方法,其特征在于,通过对所述初始数字人推理模型进行模拟运行,以得到所述初始数字人推理模型的静态计算图,包括:

7.根据权利要求4所述的方法,其特征在于,通过对所述初始数字人推理模型进行控制流分析,以得到所述初始数字人推理模型的静态计算图,包括:

8.根据权利要求4-7任一项所述的方法,其特征在于,根据所述目...

【专利技术属性】
技术研发人员:王明宇
申请(专利权)人:五八畅生活北京信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1