System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 虚拟人集成中的渲染方法、装置及计算机可读存储介质制造方法及图纸_技高网

虚拟人集成中的渲染方法、装置及计算机可读存储介质制造方法及图纸

技术编号:41896554 阅读:6 留言:0更新日期:2024-07-05 14:04
本申请提供了一种虚拟人集成中的渲染方法、装置及计算机可读存储介质,该方法包括:获取虚拟人模型数据、虚拟人驱动数据、渲染模式控制信息、渲染效果控制信息以及渲染上下文环境信息;基于渲染上下文环境信息创建对应的渲染上下文环境,并在渲染上下文环境中,基于虚拟人模型数据以及虚拟人驱动数据,获取纹理图像;若渲染模式控制信息指示渲染模式为离屏模式,则将渲染结果输出至预设帧缓存中,以供集成方从预设帧缓存的颜色缓冲区中获取纹理附件,并将纹理附件作为纹理图像进行虚拟人展示。该方案中,由于将纹理图像输出给集成方进行展示,便于集成方对纹理图像进行二次修改,降低了虚拟人集成的门槛,并提升了虚拟人集成的定制性。

【技术实现步骤摘要】

本申请涉及计算机,具体而言,本申请涉及一种虚拟人集成中的渲染方法、装置及计算机可读存储介质


技术介绍

1、中国人工智能产业发展联盟发布的《2020年虚拟数字人发展白皮书》指出,数字虚拟人意指具有数字化外形的虚拟人物,除了拥有人的外观、人的行为之外,还拥有人的思想,具有识别外界环境、并能与人交流互动的能力。但到目前为止,虚拟人在业内还没有明确的定义。但已经形成了一些共识:它存在于非物理世界中,由计算机图形、图形渲染、动作捕获、深度学习、语音合成等计算机手段创造和使用,具有多种人类特征。

2、虚拟人的应用领域广泛多样,主要在娱乐和服务行业,多场景应用无疑在元宇宙时代展现出其独特的价值。尤其是5g、ai(人工智能)、算力等技术能力提高的背景下,其应用场景日益丰富。如今不再局限于传统文化娱乐,如影视、人物建模的动画、cg在虚拟形象塑造等方面,虚拟形象塑造的应用还在社交、游戏、办公等场景中实现了真实人类虚拟化身的身份功能,并逐渐在直播电商、虚拟偶像、陪伴服务等方面实现ai实现数字虚拟人领域的商业实现。

3、目前,许多app(应用程序)可以通过集成获得虚拟人能力,虚拟人集成主要分为渲染和驱动两个方面,但是,现有的虚拟人集成技术往往门槛较高,且定制性较差。


技术实现思路

1、本申请的目的旨在至少能解决上述的技术缺陷之一,本申请实施例所提供的技术方案如下:

2、第一方面,本申请实施例提供了一种虚拟人集成中的渲染方法,包括:

3、获取虚拟人模型数据、虚拟人驱动数据、渲染模式控制信息、渲染效果控制信息以及渲染上下文环境信息;

4、基于渲染上下文环境信息创建对应的渲染上下文环境,并在渲染上下文环境中,基于虚拟人模型数据以及虚拟人驱动数据,获取对应的渲染结果;

5、若渲染模式控制信息指示渲染模式为离屏模式,则将渲染结果输出至预设帧缓存中,以供集成方从预设帧缓存的颜色缓冲区中获取纹理附件,并将纹理附件作为纹理图像进行虚拟人展示。

6、在本申请的一种可选实施例中,该方法还包括:

7、将预设帧缓存中的颜色缓冲区中的纹理附件作为共享纹理暴露给集成方,以供集成方对共享纹理进行修改得到修改后的共享纹理,并将修改后的共享纹理作为纹理图像进行虚拟人展示。

8、在本申请的一种可选实施例中,获取虚拟人模型数据、虚拟人驱动数据、渲染模式控制信息、渲染效果控制信息以及渲染上下文环境信息,包括:

9、通过预设接口接收集成方发送的虚拟人模型数据、虚拟人驱动数据、渲染模式控制信息、渲染效果控制信息以及渲染上下文环境信息。

10、在本申请的一种可选实施例中,该方法还包括:

11、若渲染模式控制信息指示渲染模式为在屏模式,则将预设窗口与渲染上下文环境关联;

12、将渲染结果输出至预设窗口,并将预设窗口暴露给集成方,以供集成方对预设窗口进行挂载。

13、第二方面,本申请实施例提供了一种虚拟人集成中的渲染方法,包括:

14、通过预设接口向虚拟人软件开发工具包sdk发送的虚拟人模型数据、虚拟人驱动数据、渲染模式控制信息、渲染效果控制信息以及渲染上下文环境信息,以供虚拟人sdk基于渲染上下文环境信息创建对应的渲染上下文环境,并在渲染上下文环境中,基于虚拟人模型数据以及虚拟人驱动数据,获取对应的渲染结果;

15、若渲染模式控制信息指示渲染模式为离屏模式,则从预设帧缓存的颜色缓冲区中获取纹理附件,并将纹理附件作为纹理图像进行虚拟人展示。

16、在本申请的一种可选实施例中,该方法还包括:

17、对预设帧缓存中的颜色缓冲区中的共享纹理进行修改得到修改后的共享纹理,并将修改后的共享纹理作为纹理图像进行虚拟人展示。

18、第三方面,本申请实施例提供了一种虚拟人集成中的渲染装置,包括:

19、数据获取模块,用于获取虚拟人模型数据、虚拟人驱动数据、渲染模式控制信息、渲染效果控制信息以及渲染上下文环境信息;

20、纹理图像获取模块,用于基于渲染上下文环境信息创建对应的渲染上下文环境,并在渲染上下文环境中,基于虚拟人模型数据以及虚拟人驱动数据,获取对应的渲染结果;

21、缓存模块,用于若渲染模式控制信息指示渲染模式为离屏模式,则将渲染结果输出至预设帧缓存中,以供集成方从预设帧缓存的颜色缓冲区中获取纹理附件,并将纹理附件作为纹理图像进行虚拟人展示。

22、在本申请的一种可选实施例中,该装置还包括共享纹理模块,用于:

23、将预设帧缓存中的颜色缓冲区中的纹理附件作为共享纹理暴露给集成方,以供集成方对共享纹理进行修改得到修改后的共享纹理,并将修改后的共享纹理作为纹理图像进行虚拟人展示。

24、在本申请的一种可选实施例中,数据获取模块具体用于:

25、通过预设接口接收集成方发送的虚拟人模型数据、虚拟人驱动数据、渲染模式控制信息、渲染效果控制信息以及渲染上下文环境信息。

26、在本申请的一种可选实施例中,该装置还包括在屏展示模块,用于:

27、若渲染模式控制信息指示渲染模式为在屏模式,则将预设窗口与渲染上下文环境关联;

28、将渲染结果输出至预设窗口,并将预设窗口暴露给集成方,以供集成方对预设窗口进行挂载。

29、第四方面,本申请实施例提供了一种虚拟人集成中的渲染装置,包括:

30、数据发送模块,用于通过预设接口向虚拟人软件开发工具包sdk发送的虚拟人模型数据、虚拟人驱动数据、渲染模式控制信息、渲染效果控制信息以及渲染上下文环境信息,以供虚拟人sdk基于渲染上下文环境信息创建对应的渲染上下文环境,并在渲染上下文环境中,基于虚拟人模型数据以及虚拟人驱动数据,获取对应的渲染结果;

31、展示模块,用于若渲染模式控制信息指示渲染模式为离屏模式,则从预设帧缓存的颜色缓冲区中获取纹理附件,并将纹理附件作为纹理图像进行虚拟人展示。

32、在本申请的一种可选实施例中,该装置还包括共享纹理修改模块,用于:

33、对预设帧缓存中的颜色缓冲区中的共享纹理进行修改得到修改后的共享纹理,并将修改后的共享纹理作为纹理图像进行虚拟人展示。

34、第五方面,本申请实施例提供了一种电子设备,包括存储器和处理器;

35、存储器中存储有计算机程序;

36、处理器,用于执行计算机程序以实现第一方面实施例、第二方面实施例、第一方面任一可选实施例或第二方面任一可选实施例中所提供的方法。

37、第六方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现第一方面实施例、第二方面实施例、第一方面任一可选实施例或第二方面任一可选实施例中所提供的方法。

38、第七方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品本文档来自技高网...

【技术保护点】

1.一种虚拟人集成中的渲染方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述获取虚拟人模型数据、虚拟人驱动数据、渲染模式控制信息、渲染效果控制信息以及渲染上下文环境信息,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.一种虚拟人集成中的渲染方法,其特征在于,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.一种虚拟人集成中的渲染装置,其特征在于,包括:

8.一种虚拟人集成中的渲染装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括存储器和处理器;

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。

【技术特征摘要】

1.一种虚拟人集成中的渲染方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述获取虚拟人模型数据、虚拟人驱动数据、渲染模式控制信息、渲染效果控制信息以及渲染上下文环境信息,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.一种虚拟人集成中的渲染方法,其特征在于,包括:

【专利技术属性】
技术研发人员:李志艺倪飞兰斌强林顺
申请(专利权)人:厦门雅基软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1