图像处理方法、图像处理系统及电子设备技术方案

本申请实施例提供一种图像处理方法、图像处理系统及电子设备。其中，方法包括：响应于用户浏览商品时触发的试用请求，获取第一用户图像；确定目标商品；获取所述目标商品对应的商品试效模板，其中，所述商品试效模板是预先利用模板生成网络对所述目标商品的商品参数进行处理后得到的；将所述商品试效模板及所述第一用户图像输入合成模型，得到用户虚拟试用所述目标商品后的第二用户图像；显示所述第二用户图像。本申请各实施例提供的技术方案中，商品试效模板是预先生成的，这样在生成用户虚拟试用所述目标商品后的第二用户图像时，合成模型可采用较为简单的网络结构，时延小，对用户来说无感知。来说无感知。来说无感知。

【技术实现步骤摘要】
图像处理方法、图像处理系统及电子设备


[0001]本申请涉及计算机
，尤其涉及一种图像处理方法、图像处理系统及电子设备。

技术介绍

[0002]AR(Augmented Reality，增强现实技术)虚拟试妆作为一种新的交互形式已经被广泛引入电商领域或互动领域，成为一种不可或缺的新型购物模式。AR虚拟试妆作为一种主要以AR/AI技术为驱动的产品形式，技术效果决定了最终的用户体验和虚拟试妆的真实程度。因此，打造更加先进的AR虚拟试妆技术体系成为今年来产业界和学术界的一个热门话题。
[0003]目前越来越多的公司相继推出自己的虚拟试妆产品。但现有虚拟试妆技术，生成的虚拟试妆效果还不够好，且对计算资源需求高，处理速度慢，不适于在客户端侧实时运行。

技术实现思路

[0004]为解决或部分改善现有技术存在的问题，本申请各实施例提供一种图像处理方法、图像处理系统及电子设备。
[0005]在本申请的一个实施例中，提供了一种图像处理方法。该方法包括：
[0006]响应于用户浏览商品时触发的试用请求，获取第一用户图像；
[0007]确定目标商品；
[0008]获取所述目标商品对应的商品试效模板，其中，所述商品试效模板是预先利用模板生成网络对所述目标商品的商品参数进行处理后得到的；
[0009]将所述商品试效模板及所述第一用户图像输入合成模型，得到用户虚拟试用所述商品后的第二用户图像；
[0010]显示所述第二用户图像。
[0011]在本申请的另一个实施例中，提供了一种图像处理方法。该方法包括：
[0012]响应于用户的操作，确定第一图像及目标商品；
[0013]获取所述目标商品对应的商品试效模板，其中，所述商品试效模板是预先利用模板生成网络对所述目标商品的商品参数进行处理后得到的；
[0014]将所述商品试效模板及所述第一图像输入合成模型，得到所述第一图像中至少一个目标对象虚拟试用所述目标商品后的第二图像；
[0015]显示所述第二图像。
[0016]在本申请的另一个实施例中，提供了一种图像处理系统。该图像处理系统包括：
[0017]客户端，用于响应于用户的操作，确定第一图像及目标商品；向所述服务端发送获取所述目标商品对应的商品试效模板的请求；
[0018]服务端，用于根据所述请求获取所述商品试效模板，将所述商品试效模板发送至
所述客户端；其中，所述商品试效模板是预先利用模板生成网络对所述目标商品的商品参数进行处理后得到的；
[0019]所述客户端，还用于将所述商品试效模板及所述第一图像输入合成模型，得到所述第一图像中至少一个目标对象虚拟试用所述商品后的第二图像；显示所述第二图像。
[0020]在本申请的又一个实施例中，还提供了一种图像处理方法。该方法包括：
[0021]响应于用户的操作，获取第一视频及目标商品；
[0022]获取所述目标商品对应的商品试效模板，其中，所述商品试效模板是预先利用模板生成网络对所述目标商品的商品参数进行处理后得到的；
[0023]将所述商品试效模板及所述第一视频帧的图像帧输入合成模型，得到所述图像帧中至少一个目标对象虚拟试用所述目标商品后的试用图像帧；
[0024]按照所述第一视频中图像帧的顺序，播放连续图像帧分别对应的试用图像帧，以展示所述至少一个目标对象虚拟试用所述目标商品后的第二视频。
[0025]在本申请的又一实施例中，还提供了一种数据获取方法。该方法包括：
[0026]接收第一用户通过第一客户端发送的针对目标商品的请求；
[0027]获取所述目标商品的商品信息；
[0028]利用模板生成网络对所述目标商品的商品信息进行处理，得到所述商品试效模板；
[0029]关联所述目标商品及所述商品试效模板；
[0030]基于所述商品试效模板，为所述第一用户对应的所述目标商品展示页面提供虚拟试用功能，便于第二用户通过第二客户端触发所述虚拟试用功能后能利用所述商品试效模板及所述第二用户对应的第一图像展示所述第一图像中至少一个目标对象虚拟试用所述目标商品后的第二图像。
[0031]在本申请的又一个实施例中，还提供一种电子设备。该电子设备包括存储器及处理器，其中，所述存储器用于存储程序；所述处理器与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述各图像处理方法实施例中的步骤。
[0032]本申请实施例还提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各图像处理方法实施例中的步骤。
[0033]本申请实施例还提供了一种计算机程序产品。该计算机程序产品包括计算机程序，当所述计算机程序被计算机执行时，致使所述计算机能够实现上述各图像处理方法实施例中的步骤。
[0034]本申请各实施例提供的技术方案中，有了待处理图像(如第一用户图像或第一图像)后，并确定了目标商品后，直接获取该目标商品对应的商品试效模板；该商品试效模板是预先利用模板生成网络对所述目标商品的商品参数进行处理后得到的。这样在处理待处理图像时，合成模型可采用较为简单的网络结构就能完成商品试效模板和第一图像的合成，时延小，对用户来说无感知。
附图说明
[0035]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申
请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本申请一实施例提供的图像处理系统的结构示意图；
[0037]图2为本申请一实施例提供的图像处理系统中服务端执行训练过程的示意图；
[0038]图3为本申请一实施例提供的图像处理系统中服务端为第一客户端提供商品对应虚拟试用功能的示意图；
[0039]图4为本申请一实施例提供的图像处理方法的流程示意图；
[0040]图5为本申请另一实施例提供的图像处理方法的流程示意图；
[0041]图6为本申请又一实施例提供的图像处理方法的流程示意图；
[0042]图7为本申请又一实施例提供的图像处理方法的流程示意图；
[0043]图8为本申请一实施例提供的图像处理装置的结构示意图；
[0044]图9为本申请另一实施例提供的图像处理装置的结构示意图；
[0045]图10为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
[0046]AR虚拟试妆是近年来逐渐流行的一种虚拟试妆技术，其通过手机、计算机、智能屏幕及其他摄像头相关工具，利用AI技术和图像算法构建“先试后买”的购物体验。AR虚拟试妆作为一种新的交互形式已经被广泛引入电商领域和互动领域，成为一种不可或缺的新型购物模式。AR虚拟试妆作为一种主要以AR/AI技术为驱动的产品形式，技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：响应于用户浏览商品时触发的试用请求，获取第一用户图像；确定目标商品；获取所述目标商品对应的商品试效模板，其中，所述商品试效模板是预先利用模板生成网络对所述目标商品的商品参数进行处理后得到的；将所述商品试效模板及所述第一用户图像输入合成模型，得到用户虚拟试用所述目标商品后的第二用户图像；显示所述第二用户图像。2.根据权利要求1所述的方法，其特征在于，所述模板生成网络包括：映射网络及生成网络；以及所述方法还包括：对所述目标商品的商品信息进行解析，得到商品参数；对所述商品参数进行编码；利用所述映射网络，确定编码后的所述商品参数对应的第一映射参数；将所述第一映射参数输入至所述生成网络中的不同网络层，执行所述生成网络得到所述目标商品对应的商品试效模板。3.根据权利要求2所述的方法，其特征在于，还包括：获取训练样本，其中，所述训练样本包括：样本参数、待处理样本图像、样本效果图及局部样本图；利用所述映射网络，确定所述样本参数对应的第二映射参数；将所述第二映射参数输入至所述生成网络中的不同网络层，执行所述生成网络得到目标试效模板；将所述目标试效模板与所述待处理样本图像输入渲染网络，执行所述渲染网络得到渲染效果图及局部图；根据所述渲染效果图及所述样本效果图，确定第一损失；根据所述局部图与所述局部样本图，确定第二损失；利用生成对抗损失函数，确定第三损失；基于所述第一损失、所述第二损失及所述第三损失，对所述生成网络进行优化。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述目标商品为彩妆品；解析出的所述商品参数包括如下中的至少一种：颜色参数、材质参数、强度参数、反映所述彩妆品对应高光效果的高光参数、反映妆容效果的妆效参数；以及对所述商品参数进行编码，包括：对所述颜色参数对应直方图进行量化编码；利用独热编码方法，对所述材质参数进行编码；将所述强度参数、所述高光参数或所述妆效参数映射到对应的预设区间中，利用独热编码方法对完成区间映射的参数进行编码。5.根据权利要求1至3中任一项所述的方法，其特征在于，将所述商品试效模板及所述第一用户图像输入合成模型，得到用户虚拟试用所述目标商品后的第二用户图像，包括：基于所述目标商品，识别所述第一用户图像中的至少一个目标部位；对所述第一用户图像中所述至少一个目标部位外围的区域进行处理，以突出所述至少
一个目标部位为试用所述目标商品的部位；将所述商品时效模板及所述处理后的所述第一用户图像输入合成模型，得到用户图像中所述至少一个目标部位虚拟试用所述目标商品后的第二用户图像。6.一种图像处理方法，其特征在于，包括：响应于用户的操作，确定第一图像及目标商品；获取所述目标商品对应的商品试效模板，其中，所述商品试效模板是预先利用模板生成网络对所述目标商品的商品参数进行处理后得到的；将所述商品试效模板及所述第一图像输入合成模型，得到所述第一图像中至少一个目标对象虚拟试用所述目标商品后的第二图像；显示所述第二图像。7.一种图像处理系统，其特征在于，包括：客户端，用于响应于用户的操作，确定第一图像及目标商品；向服务端发送获取所述目标商品对应的商品试效模板的请求；所述服务端，用于根据所述请求获取所述商品试效模板，将所述商品试效模板发送至所述客户端；其中，所述商品试效模板是预先利用模板生成网络对所述目标商品的商品参数进行处理后得到的；所述客户端，还用于将所述商品试效模板及所述第一图像输入合成模型，得到所述第一图像中至少一个目标对象虚拟试用所述商品后的第二图像；显示所述第二图像。8.根据权利要求7所述的系统，其特征在于，所述模板生成网络包括：映射网络及生成网络；以及所述服务端还用于：对所述目标商品...

【专利技术属性】
技术研发人员：黄文军，姚迪狄，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：