本申请实施例提供的卡通形象生成方法、装置及计算机设备，涉及视频图像处理技术领域。首先，提取真人图像中的文本描述信息；接着，接收用于生成卡通形象的表情基参数；然后，将文本描述信息和表情基参数输入包括低秩自适因子模型和卡通稳定扩散技术子模型的卡通形象生成模型中进行预测，得到真人图像对应的卡通形象。相对于现有技术中生成对抗网络GAN生成卡通形象的方式，采用由低秩自适因子模型和卡通稳定扩散技术子模型相结合的卡通形象生成模型可以在全局特征和细节特征上对真人进行较好的还原，具有较高的真实感，如此可以优化卡通形象生成效果，提升用户的交互体验。提升用户的交互体验。提升用户的交互体验。
【技术实现步骤摘要】
卡通形象生成方法、装置及计算机设备
[0001]本申请涉及互联网直播
，具体而言，涉及一种卡通形象生成方法、装置及计算机设备。
技术介绍
[0002]随着移动互联网技术以及网络通信技术的不断发展，网络直播在人们的日常工作及生活中得到了迅速的发展及应用。目前，常见的直播方式包括基于主播真人的直播互动方法和基于虚拟主播(比如，卡通形象)的直播互动方式，在某些场景下，基于虚拟主播的直播互动方式更受观众的青睐。在基于虚拟主播的直播互动方式中，采用图像处理技术将主播真人转换为卡通形象，常常会因卡通形象的细节特征控制不到位(比如，卡通形象的面部微表情与真人主播的面部微表情差异较大)而影响直播效果，如何使生成的卡通形象的特征与真人主播的特征保持一致是本领域技术人员需要重点关注的问题。
技术实现思路
[0003]为了解决上述技术问题，本申请提供一种卡通形象生成方法、装置及计算机设备。
[0004]第一方面，本申请实施例提供一种卡通形象生成方法，所述方法包括：
[0005]对待处理的真人图像进行信息提取，得到用于描述所述真人图像的文本描述信息；
[0006]接收用于生成所述卡通形象的表情基参数；
[0007]将所述文本描述信息和所述表情基参数作为输入信息输入到预先训练好的卡通形象生成模型中；
[0008]通过所述预先训练好的卡通形象生成模型中低秩自适因子模型的模型参数和卡通稳定扩散技术子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象。
[0009]在一种可能的实现方式中，所述通过所述预先训练好的卡通形象生成模型中低秩自适因子模型的模型参数和卡通稳定扩散技术子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象的步骤，包括：
[0010]采用所述低秩自适因子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象细节特征信息；
[0011]采用卡通稳定扩散技术子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象整体特征信息；
[0012]由所述卡通形象细节特征信息和所述卡通形象整体特征信息生成所述待处理的真人图像对应的卡通形象。
[0013]在一种可能的实现方式中，在所述通过所述预先训练好的卡通形象生成模型中低秩自适因子模型的模型参数和卡通稳定扩散技术子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象的步骤之后，所述方法还包括：
[0014]对所述卡通形象进行优化处理，其中，所述优化处理包括亮度调整、对比度调整及颜色调整之中的至少一种。
[0015]在一种可能的实现方式中，所述卡通形象生成模型通过以下步骤训练获得：
[0016]构建卡通形象的训练样本集，其中，所述训练样本集包括多个卡通形象图像样本以及与每个所述卡通形象图像样本对应的图像标注信息；
[0017]采用所述训练样本集对包括低秩自适因子模型和卡通稳定扩散技术子模型的预测模型进行训练，得到所述训练好的卡通形象生成模型。
[0018]在一种可能的实现方式中，所述构建卡通形象的训练样本集的步骤，包括：
[0019]从三维挂件资源库中选择适用于不同场景和风格的三维挂件元素，其中，所述三维挂件元素包括服饰、配饰和发型；
[0020]构建一可控且具有拓扑结构的人脸模型；
[0021]通过表情基参数控制所述人脸模型得到卡通化人脸，通过搭配所述三维挂件元素生成不同的卡通形象图像样本；
[0022]对不同的所述卡通形象图像样本进行图像标注得到图像标注信息，所述图像标注信息包括表情基参数、与真人图像中表情的对应关系以及对应的三维挂件元素信息；
[0023]由不同的所述卡通形象图像样本以及对应的图像标注信息组成所述训练样本集。
[0024]在一种可能的实现方式中，所述通过表情基参数控制所述人脸模型得到卡通化人脸，通过搭配所述三维挂件元素生成卡通形象图像样本的步骤，包括：
[0025]通过所述表情基参数对所述人脸模型中各面部器官的位置、大小以及形状进行控制生成各种表情效果的卡通化人脸；
[0026]通过搭配适用于不同场景和风格的三维挂件元素生成不同的卡通形象图像样本。
[0027]在一种可能的实现方式中，所述采用所述训练样本集对包括低秩自适因子模型和卡通稳定扩散技术子模型的预测模型进行训练，得到所述训练好的卡通形象生成模型的步骤，包括：
[0028]对所述训练样本集中的卡通形象图像样本进行信息提取，得到所述卡通形象图像样本的样本文本描述信息；
[0029]将所述卡通形象图像样本、所述图像标注信息、所述样本文本描述信息输入待训练的预测模型中进行训练，输出训练得到的卡通形象，基于所述卡通形象图像样本和所述训练得到的卡通形象之间的像素差异得到损失函数值，并根据所述损失函数值对所述预测模型中低秩自适因子模型的模型参数进行迭代更新，直到满足迭代终止条件，将更新后的预测模型作为训练好的卡通形象生成模型。
[0030]在一种可能的实现方式中，在所述得到训练好的卡通形象生成模型的步骤之后，所述方法还包括：
[0031]将所述训练样本集中未被用于对所述待训练的卡通形象生成模型进行训练的目标卡通形象图像样本输入到所述训练好的卡通形象生成模型中；
[0032]通过所述训练好的卡通形象生成模型输出的卡通形象和对应卡通形象图像样本之间的像素差异评估所述卡通形象生成模型的表现，并在所述训练好的卡通形象生成模型输出的卡通形象不满足预设要求时，对所述卡通形象生成模型中低秩自适因子模型的模型参数进行优化。
[0033]第二方面，本申请实施例还提供卡通形象生成装置，所述装置包括：
[0034]提取模块，用于对待处理的真人图像进行信息提取，得到用于描述所述真人图像的文本描述信息；
[0035]接收模块，用于接收用于生成所述卡通形象的表情基参数；
[0036]输入模块，用于将所述文本描述信息和所述表情基参数作为输入信息输入到预先训练好的卡通形象生成模型中；
[0037]生成模块，用于通过所述预先训练好的卡通形象生成模型中低秩自适因子模型的模型参数和卡通稳定扩散技术子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象。
[0038]第三方面，本申请实施例还提供一种计算机设备，所述计算机设备包括处理器、通信单元及计算机可读存储介质，所述处理器、所述通信单元及所述计算机可读存储介质之间通过总线系统连接，所述通信单元用于连接电子设备以实现所述计算机设备与所述电子设备之间的数据交互，所述计算机可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述计算机可读存储介质中的程序、指令或代码，以实现第一方面中任意一个可能的实现方式中的卡通形象生成方法。
[0039]第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种卡通形象生成方法，其特征在于，所述方法包括：对待处理的真人图像进行信息提取，得到用于描述所述真人图像的文本描述信息；接收用于生成所述卡通形象的表情基参数；将所述文本描述信息和所述表情基参数作为输入信息输入到预先训练好的卡通形象生成模型中；通过所述预先训练好的卡通形象生成模型中低秩自适因子模型的模型参数和卡通稳定扩散技术子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象。2.如权利要求1所述的卡通形象生成方法，其特征在于，所述通过所述预先训练好的卡通形象生成模型中低秩自适因子模型的模型参数和卡通稳定扩散技术子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象的步骤，包括：采用所述低秩自适因子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象细节特征信息；采用卡通稳定扩散技术子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象整体特征信息；由所述卡通形象细节特征信息和所述卡通形象整体特征信息生成所述待处理的真人图像对应的卡通形象。3.如权利要求1所述的卡通形象生成方法，其特征在于，在所述通过所述预先训练好的卡通形象生成模型中低秩自适因子模型的模型参数和卡通稳定扩散技术子模型的模型参数对所述输入信息进行预测，生成所述待处理的真人图像对应的卡通形象的步骤之后，所述方法还包括：对所述卡通形象进行优化处理，其中，所述优化处理包括亮度调整、对比度调整及颜色调整之中的至少一种。4.如权利要求1
‑
3中任意一项所述的卡通形象生成方法，其特征在于，所述卡通形象生成模型通过以下步骤训练获得：构建卡通形象的训练样本集，其中，所述训练样本集包括多个卡通形象图像样本以及与每个所述卡通形象图像样本对应的图像标注信息；采用所述训练样本集对包括低秩自适因子模型和卡通稳定扩散技术子模型的预测模型进行训练，得到所述训练好的卡通形象生成模型。5.如权利要求4所述的卡通形象生成方法，其特征在于，所述构建卡通形象的训练样本集的步骤，包括：从三维挂件资源库中选择适用于不同场景和风格的三维挂件元素，其中，所述三维挂件元素包括服饰、配饰和发型；构建一可控且具有拓扑结构的人脸模型；通过表情基参数控制所述人脸模型得到卡通化人脸，通过搭配所述三维挂件元素生成不同的卡通形象图像样本；对不同的所述卡通形象图像样本进行图像标注得到图像标注信息，所述图像标注信息包括表情基参数、与真人图像中表情的对应关系以及对应的三维挂件元素信息；由不同的所述卡通形象图像样本以及对应的图像标注信息组成所述训练样本集。
6....
【专利技术属性】
技术研发人员：芦爱余，谢鸿华，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。