本发明专利技术公开了一种虚拟试衣方法，包括：根据服装的二维图像制作服装的三维模型；将三维服装模型贴合到三维标准人体模型；获取目标人体的二维图像；将获得的三维人体参数输入标准人体模型中进行拟合；服装三维模型匹配到三维人体模型上；使得三维人体模型与目标人体姿态基本一致。本发明专利技术提供了通过深度神经网络来分析人体全身照片得到精准人体三维模型参数的方法，仅需一张普通照片就能迅速为人体建模；同时，三维服装模型是提前通过对二维服装图片进行加工处理得到的，用户无需参与这些幕后工作，只需要选择想虚拟试衣的服装样式即可，系统会自动匹配相应的服装模型，并且通过一系列方法保持了真实度和还原度。方法保持了真实度和还原度。方法保持了真实度和还原度。
【技术实现步骤摘要】
一种虚拟试衣方法、系统、设备和存储介质
[0001]本专利技术属于用户虚拟换装和试衣领域，具体涉及虚拟换装中使用的人体建模，衣服建模，以及衣服模型与人体模型的贴合，尤其是基于机器学习的从照片中提取相关信息生成的自定义人体模型与三维衣服模型的匹配方法、系统、设备和存储介质。
技术介绍
[0002]随着互联网技术的发展，网上购物方式越来越普及。相比于实体店购物，网上在线购物具有商品种类多、购物方便等优势。但是，在网上购买商品，也存在一些不易解决的问题，最主要的就是无法实地查看要买的商品。在所有的商品种类中，服装商品这个问题最为突出。相比于实体店购物中可以实时地换装查看服装效果，在线服装购物无法提供针对消费者本身的效果图，只能提供模特试衣的图片，有的甚至根本没有试衣图片，消费者无法实时直观地获取服装和自身体型形象的匹配程度。造成了大量的退换货。
[0003]针对这一问题，经营者尝试利用虚拟试衣技术为消费者提供模拟试衣效果解决这一问题。当然，现实中还存在其他可以使用虚拟换衣试衣技术的场合，比如网络游戏中。因此，这一技术得到了较快的发展。
[0004]虚拟试衣是指用户不用实际换上想要观看穿着效果的衣服，也能在终端屏幕上实时查看“换装”效果的一种技术应用。现有的换装技术应用主要包括平面试衣和三维虚拟试衣技术。前者基本上是采集用户的图片，采集衣服的图片，然后对衣物进行拉伸或者压缩成与人体大小相同的状态，再进行裁剪和拼接，形成“穿衣”后的图像，但这类图像由于简单粗暴的图像处理方式而造成真实度较差，完全没有考虑到用户的实际体型，只是把服装生搬硬套到用户照片上，不能满足用户的需求。后者通常通过三维采集设备采集人的三维信息并结合服装的特征进行合成，或者通过手动输入用户提供的身体数据信息，并按照一定的规则生成一个虚拟的人体三维模型mesh，然后与服装贴图进行结合。整体上来说，这类三维虚拟试衣需要进行大量的数据采集或者三维数据计算，硬件成本高，在普通用户中不易推广。
[0005]随着云计算技术、人工智能技术和智能终端处理能力的发展，产生了二维虚拟试衣技术。此类技术主要包括三个步骤：(1)对用户提供的个人身体信息进行处理，得到目标人体模型；(2)对服装信息进行处理得到服装模型；(3)将人体模型和服装模型融合在一起，生成人穿着该服装的模拟图。
[0006]对于第(1)点，由于流程设计、模型参数选择、神经网络的训练方法等诸多不确定因素的累积，最终生成的换衣图片质量并不如传统的三维虚拟试衣技术，这其中，人体模型的建立因为是其基础步骤，并且后面的穿衣过程也必须以前面生成的人体模型为基础，所以，一旦人体模型生成的不准确，容易产生人体模型与试衣者体型差距过大、皮肤纹理丢失、身体部位丢失等问题，影响最终的生成的换衣图片效果。
[0007]在图像处理领域，三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达
客观世界的虚拟现实的关键技术，广泛应用于计算机动画、虚拟现实、工业检测等领域。
[0008]在一般的计算机视觉领域中，人体建模的初始起点有很多种，通常包括使用3D扫描设备对真实人体进行全方位扫描，基于多视角景深照相的三维重建方法，以及给定图像结合人体模型的方法实现三维重建这三大类。其中，使用3D扫描设备对真实人体进行全方位扫描获得信息最多最准确，但是这类设备通常比较昂贵，并且需要人体模特的高度配合，整个处理过程对处理的设备的要求非常高，所以一般都应用于一些专业领域；其次，多视角三维重建方法需要提供被重建人体多个视角相互重叠的图像并建立图像间的空间转换关系，使用多组摄像头，以拍摄多张的方式，拼合出一个3D模型，操作相对简化了一些，但是计算复杂度仍然较大，并且多数情况下，只有现场参与的人才能获得多角度的图片。深度摄像头多角度拍照方法拿到的贴图然后拼合得到的模型，没有身体尺度数据，不能为3D感知提供基础。再次，单张图像结合人体模型的方法只需要提供一张图像，基于神经网络的三维人体特征曲线智能生成方法，通过神经网络训练，获得可以用来描述人体颈部、胸部、腰部以及臀部等部位曲线的权值和阂值，然后根据人体截面的围长、宽度、厚度等的尺寸参数信息，就能直接生成与真实人体体型吻合的人体三维曲线就可以获得预测的人体模型。但这种方法由于输入信息量较少，而求解过程仍然需要消耗较多的计算量，导致最终的模型效果不能令人满意。
[0009]对于第(2)点，在生成三维服装模型的现有技术中，存在几种不同的方法。目前，比较传统的服装三维模型建立方式是基于二维衣服裁片的设计与缝合方法。这种方法需要一定的服装专业知识来对样板进行设计，这并非是所有的虚拟试衣的用户所具备的素质，同时这种方法也需要人工指定样板间的缝合关系，这将消耗大量的时间来进行设定。除此之外，另一种较为新颖的三维建模方法是基于手绘的，可以通过用户手绘的线条信息生成简单的服装模型。但是，这种方法需要专业的人员来进行手绘，并且可复制性和可重复性较差，需要耗费用户大量时间去进行服装的细节绘画，难以大规模推广至电子商务中。这两种方法都更倾向于创新设计新的服装，而不是对已有待售的服装进行三维建模。还有一种是在获取服装图片信息的基础之上，综合使用图像处理技术与图形仿真技术，最终生成虚拟三维服装模型。在图片中通过轮廓检测与分类获取服装轮廓与尺码，通过机器学习的方法从轮廓中找出的边与边的关键点，通过关键点对应关系生成缝合信息，最后在三维空间中对服装进行物理缝合的仿真，获取服装穿着在人体上的真实效果。
[0010]对于第(3)点，当前市场上常见的虚拟试衣间主要专注于款式搭配，没有直观模拟出虚拟角色与衣服布料碰撞的自然属性，因而在真实感方面仍然存在很大的欠缺。目前，越来越多的厂家通过利用虚拟角色形象地表现用户姿态，并实时模拟衣服布料与人体之间的碰撞响应及实时渲染来增加虚拟世界和现实世界的粘合度，给虚拟试衣用户带来了更多的换装乐趣，也让更多人享受到购买服装时所带来的便利。
[0011]综上，基于互联网技术和其所处的网络环境特点，从单张人体图像直接输出最终换装后图像或者照片的方式无疑是最优选的，其便捷性是最好的，用户无需亲临现场，只需一张照片，即可完成整个虚拟换衣过程。那么随之而来的问题就是，只要能保证其获得的结果照片效果基本和真实3D模拟换衣相当，就会成为主流。这其中，(1)如何通过一张照片而获得最接近人体真实状态的人体模型，以及(2)如何把三维服装模型以最接近真实的状态穿到人体模型上，就成为虚拟换衣方法中两个最重要的不可回避的问题。
[0012]针对第一点。现有技术中，构造人体模型的方法通常有几类：(1)基于回归的方法，通过卷积神经网络重建出体素表示的人体模型，算法首先根据输入图片估计人体主要关节点的位置，然后根据关键点位置估计出给定指定大小体素网格中，根据其内部每个单元体素是否被占用，从而用内部占用体素的整个形状来描述重建出的人体形状；(2)基于单张图片的人体重建，该方法同时估计出人体三维形状和姿态，该方法首先在图像本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种虚拟试衣方法，所述方法包括：1)获取服装的二维图像；2)根据服装的二维图像制作服装的三维模型；3)结合数学模型构造三维标准人体模型，所述三维标准模型处于初始姿态；4)将三维服装模型贴合到初始姿态的三维标准人体模型，即标准基础人台身上；5)获取目标人体的二维图像；6)通过神经网络模型的计算获得三维目标人体模型参数；7)将获得的若干组姿态和体型三维人体参数输入三维标准人体模型中进行拟合；8)获得与目标人体姿态和体型相同，并且穿着换装后服装的目标人体模型。2.根据权利要求1所述的方法，其特征在于，三维标准人体模型可以是除初始T-pose外的其他预定姿态三维标准人体模型；预先设计若干个常见姿势的初始姿态基，在三维人体模型移动的过程中，先计算从哪个常见姿势移动到目标姿态的距离最短，然后选择从这个常见姿势的初始姿态基开始拟合，以提高处理的速度。3.根据权利要求1所述的方法，其特征在于，所述三维标准人体模型由若干个形体基的参数以及若干根骨骼参数构成，所述若干个基构成整个人体模型，每个形体基分别由参数单独控制变化，互不影响；所述三维人体模型具有骨骼点和人体网格的数学权值关系，骨骼点的确定可关联确定目标人体姿态的人体模型。4.根据权利要求1所述的方法，其特征在于，还包括三维服装模型和骨骼之间，以及人体模型皮肤网格和骨骼之间两个不同的蒙皮刷权重的处理步骤，以保证服装、人体皮肤网格和骨骼之间存在改进的运动匹配关系。5.根据权利要求1所述的方法，其特征在于，所述获得三维目标人体模型参数的步骤还包括，将二维人体轮廓图像代入经过深度学习的第一神经网络进行关节点的回归，获得目标人体的关节点图，语义分割图，身体骨骼点以及关键点信息；以及将生成的上述人体信息代入经过深度学习的第二神经网络进行人体姿态和体型参数的回归，获得三维人体参数，包括三维人体动作姿态参数和三维人体体型参数。6.根据权利要求1所述的方法，其特征在于，所述拟合步骤中，通过三维人体体型参数使得三维人体模型与目标人体体型基本一致；与三维标准人体模型贴合的服装三维模型，通过装备自适应的方式匹配到三维人体模型上；通过三维人体动作姿态参数确定目标人体的姿态，从初始姿态驱动骨骼移动到目标姿态，使得三维人体模型与目标人体姿态基本一致。7.根据权利要求6所述的方法，其特征在于，在装备自适应的过程中，对标准人体模型的网格面片生成一种场，三维服装的各个面片与标准人体模型对应位置建立一种场对应关系，当标准人体模型体型变化的时候，三维服装模型也可以实现与之对应的跟随变化。8.根据权利要求1所述的方法，其特征在于，在模型穿...
【专利技术属性】
技术研发人员：郑天祥，闫浩男，周润楠，张胜凯，杨超杰，张涛，
申请(专利权)人：北京陌陌信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。