一种人体模型图像的融合处理方法、设备和存储介质技术

本发明专利技术公开了一种人体模型图像的融合处理方法，包括：制作基础人台；获取三维服装模型；将三维服装模型贴合到基础人台；根据目标人体二维图像获取人体模型的二级信息；回归预测获取目标人体模型的姿态和体型参数；获得目标姿态和目标体型；驱动人体模型从初始姿态向目标姿态移动；获得完成换装的目标人体模型；把图片头像与目标人体模型图像进行融合；对人体裸露部分的肤色进行还原；得到换衣后的2D图片。本发明专利技术利用插帧生成动画序列，使得整个拟合和驱动过程效果更好，并对模型生成后的图像效果进行了优化，使得成片效果提升。使得成片效果提升。使得成片效果提升。

【技术实现步骤摘要】
一种人体模型图像的融合处理方法、设备和存储介质


[0001]本专利技术属于虚拟换装领域，具体涉及一种人体模型和服装模型的匹配完成后的图像融合处理方法，尤其是对拼接部位和裸露皮肤肤色进行融合的方法、设备和存储介质。

技术介绍

[0002]随着互联网技术的发展，网上购物方式越来越普及。相比于实体店购物，网上在线购物具有商品种类多、购物方便等优势。但是，在网上购买商品，也存在一些不易解决的问题，最主要的就是无法实地查看要买的商品。在所有的商品种类中，服装商品这个问题最为突出。相比于实体店购物中可以实时地换装查看服装效果，在线服装购物无法提供针对消费者本身的效果图，只能提供模特试衣的图片，有的甚至根本没有试衣图片，消费者无法实时直观地获取服装和自身体型形象的匹配程度。造成了大量的退换货。
[0003]针对这一问题，经营者尝试利用虚拟试衣技术为消费者提供模拟试衣效果解决这一问题。当然，现实中还存在其他可以使用虚拟换衣试衣技术的场合，比如网络游戏中。因此，这一技术得到了较快的发展。
[0004]虚拟试衣是指用户不用实际换上想要观看穿着效果的衣服，也能在终端屏幕上实时查看“换装”效果的一种技术应用。现有的换装技术应用主要包括平面试衣和三维虚拟试衣技术。前者基本上是采集用户的图片，采集衣服的图片，然后进行裁剪和拼接，形成“穿衣”后的图像，但这类图像由于简单粗暴的图像处理方式而造成真实度较差，完全没有考虑到用户的实际体型，只是把服装生搬硬套到用户照片上，不能满足用户的需求。后者通常通过三维采集设备采集人的三维信息并结合服装的特征进行合成，或者通过手动输入用户提供的身体数据信息，并按照一定的规则虚拟生成一个人体三维模型，然后与服装贴图进行结合。整体上来说，这类三维虚拟试衣需要进行大量的数据采集或者三维数据计算，硬件成本高，在普通用户中不易推广。
[0005]随着云计算技术、人工智能技术和智能终端处理能力的发展，产生了从二维人体虚拟图像，生成三维人体模型，换装三维衣物模型后实现虚拟试衣的技术。此类技术主要包括几大步骤：(1)对用户提供的个人身体信息进行处理，得到目标人体模型；(2)对服装信息进行处理得到服装模型；(3)将人体模型和服装模型匹配在一起；(4)将生成的人穿着该服装的图像与原始图像融合在一起。
[0006]这其中，前三步主要完成换装过程，但是由于换装原理的限制，其生成的换装后人体模型并不具备换装者的头部和面部特征，所以，在生成换装模型后，还要将换装模型的二维图片叠加到原始二维图片上，这样，才能在合成后的图片上显示出换装者的头像以及穿着虚拟衣物的身体。所以，一旦叠加出现缺陷，就会很直观地在图片上显示出失真和不合理，尤其是容易产生人体模型与试衣者原始图片头部没有对齐、皮肤纹理丢失或者肤色不一致、身体部位丢失、背景丢失等问题，进而影响最终的生成的换衣图片的效果。
[0007]在一般的计算机视觉领域中，人体建模的初始步骤有很多种，通常包括使用3D扫描设备对真实人体进行全方位扫描，基于多视角景深照相的三维重建方法，以及给定单张
或者多张图像结合神经网络模型和标准人体模型的方法实现三维重建这三大类。
[0008]现有技术中，通过二维图像构造人体模型的方法通常有几类：(1)基于回归的方法，通过卷积神经网络重建出体素表示的人体模型；(2)基于单张图片的人体重建，该方法首先在图像上对简单的人体骨骼关键点进行了粗略的标注，然后根据这些粗关键点进行人体模型的初始匹配和拟合，得到人体大致形状。(3)基于CNN模型来预测图像上的关键点，然后采用SMPL模型进行拟合，得到初始的人体模型，最后，结合初始模型和回归得到的包围盒从而得到三维人体重建。
[0009]现有技术一公开了一种基于体测数据的人体建模方法，包括：获取体测数据；根据所述体测数据，通过预先训练好的预测模型对预先创建的人体模型进行线性回归，拟合得到预测人体模型，所述预先创建的人体模型包括预先定义的多组标记特征点以及对应的标准形状基，所述体测数据包括与每组标记特征点对应的测量数据；根据所述预测人体模型，得到目标人体模型，所述目标人体模型包括测量数据、目标形状基以及目标形状系数。但是这种方法，对体测数据要求非常高，虽然节约了计算量，但是用户体验却非常不好，程序很繁琐。
[0010]需要指出的是，SMPL模型是一种参数化人体模型，是德国马普所提出的一种人体建模方法，该方法可以进行任意的人体建模和动画驱动。这种方法与传统的LBS的最大的不同在于其提出的人体姿态影像体表形貌的方法，可以模拟人的肌肉在肢体运动过程中的凸起和凹陷。因此可以避免人体在运动过程中的表面失真，可以精准的刻画人的肌肉拉伸以及收缩运动的形貌。该方法中β和θ是其中的输入参数，其中β代表是个人体高矮胖瘦、头身比等比例的10个参数，θ是代表人体整体运动位姿和24个关节相对角度的75个参数。但是这种模型生成方式，核心是通过训练数据的大量积累，获得体型和形状基之间的关系，但是，由于互相之间具有极强的关联性，每个形状基之间无法做到独立控制，不容易进行解耦合操作，比如，胳膊和腿之间也存在一定关联关系，胳膊动的时候腿理论上也会跟着运动，很难在SMPL模型上实现针对不同特点体型的改进。在模型的驱动过程中，这种模型的特点依然严重影响着模型最终的驱动效果，要运动就整体进行运动，与本专利技术所采用的人体模型所体现的各个部分能够独立控制差异明显，在模型驱动效果上还有很大提升空间。
[0011]现有技术二公开了一种处理虚拟试衣模特图像的方法，包括：确定人脸区域中颜色属于肤色范围的像素的集合；将所述像素的集合中所有像素的颜色平均值作为参考图像中的预选区域的人体肤色平均值，并计算该人体肤色平均值除以虚拟试衣模特图像的肤色平均值得到的比值；对所述虚拟试衣模特图像中的身体区域的各个像素值乘以所述比值，将相乘的结果作为虚拟试衣模特图像中身体区域的各个像素值；所述计算该人体肤色平均值除以虚拟试衣模特图像的肤色平均值得到的比值的步骤之前，还包括计算虚拟试衣模特图像的肤色平均值。所述确定参考图像中的预选区域的人体肤色平均值的步骤之前，还包括接收用于确定参考图像中的预选区域的信息。这种方法可以把复杂的计算变得相对简单，但是仅考虑了人脸区域肤色的平均值，并以这种取值代替了所有其他部位的肤色取值，容易引起新的肤色不自然。
[0012]现有技术三公开了一种虚拟对象合成方法，包括：获取目标用户图像和包含有衣着特征的虚拟对象图像；从所述目标用户图像中提取用户头部特征；根据参考对象图像的肤色特征，分别对所述用户头部特征和所述虚拟对象图像进行肤色处理，得到与所述肤色
特征匹配的用户头部特征和虚拟对象图像；获取所述参考对象图像的颈部特征，并融合到肤色处理后的虚拟对象图像；将肤色处理后的用户头部特征整合到融合有颈部特征的虚拟对象图像，合成包含有所述衣着特征、所述颈部特征和肤色处理后用户头部特征的虚拟对象。根据参考对象图像的肤色特征，分别对所述用户头部特征和所述虚拟对象图像进行肤色处理，得到与所述肤色特征匹配的用户头部特征和虚拟对象图像包括；从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体模型图像的融合处理方法，所述方法包括：1)制作处于初始姿态的三维基础人台，初始姿态参数的获得由基础人台模型的初始化参数确定；2)获取三维服装模型；3)将三维服装模型贴合到初始姿态的三维基础人台模型；4)使用神经网络模型根据目标人体二维图像获取人体模型的二级信息；5)根据二级信息由神经网络模型回归预测获取目标人体模型的姿态和体型参数，所述三维人体姿态和体型参数与三维基础人台的骨骼和若干个基参数相对应；6)将获得的若干组基和骨骼参数输入基础人台模型中进行拟合，获得目标姿态和目标体型；7)驱动人体模型的骨骼从初始姿态向目标姿态移动；8)获得与目标人体二维图像的姿态相同且完成三维服装模型换装的三维目标人体模型；9)把图片头像与目标人体模型图像进行融合，处理肢体没有完全对准和对齐的部位；10)对人体裸露部分的肤色进行还原；11)得到目标人体头像和四肢，目标图像背景，以及穿在目标人体模型的衣服三部分组成的一张换衣后的2D图片。2.根据权利要求1所述的方法，其特征在于，所述融合过程还包括：(1)对目标人体二维图像进行人像抠图处理，但保留头部图像；(2)完成换装的三维人体模型，经处理后输出为与所述二维人体图像大小一致的没有任何背景并且去除头部图像的二维图像；(3)将人体模型输出的二维图像叠加在目标二维人体图像上，检查目标人体的头部图像是否与人体模型输出二维图像的颈部吻合一致；(4)如不一致，采用像素融合的方式进行接合部位的拼接处理。3.根据权利要求2所述的方法，其特征在于，人体模型输出二维图像与原始二维图像头部相连接的部位，根据检测到的人脸肤色进行融合调整；人体模型输出二维图像肢体其他裸露部位，根据原始二维图像中相近部位裸露皮肤的肤色进行融合调整。4.根据权利要求3所述的方法，其特征在于，抠图后导致所述叠加图像包含像素缺失部分的，根据缺失部分周围一定区域内的背景像素颜色予以填充。5.根据权利要求1所述的方法，其特征在于，所述驱动过程还...

【专利技术属性】
技术研发人员：吴圣杰，杨超杰，周润楠，张胜凯，郑天祥，焦年红，
申请(专利权)人：北京陌陌信息技术有限公司，
类型：发明
国别省市：