本申请提出一种基于虚拟换装的服装变形方法、装置、设备及存储介质，该方法包括：获取待换装的用户图像和服装模板图像；根据用户图像和服装模板图像，确定服装模板图像中服装区域变形前后的坐标映射矩阵；根据坐标映射矩阵对服装模板图像中的服装区域进行变形。本申请利用变形前后的几何关系，基于很少关键点，采用线性插值和变形坐标映射函数计算变形前后的坐标映射矩阵。且分别计算横坐标映射矩阵和纵坐标映射矩阵，在计算纵坐标映射矩阵之前可以先对服装区域进行整体缩放，提高服装区域变形的精度，使变形后的服装区域与用户图像更加吻合，提高虚拟换装效果，简化了服装变形的运算量，提高了服装变形的处理速率。提高了服装变形的处理速率。提高了服装变形的处理速率。
【技术实现步骤摘要】
基于虚拟换装的服装变形方法、装置、设备及存储介质
[0001]本申请属于图像处理
，具体涉及一种基于虚拟换装的服装变形方法、装置、设备及存储介质。
技术介绍
[0002]虚拟换装是指将用户图像中的服装图像替换为服装模板图像中的服装图像。为了获得更好的换装效果，通常需要在换装过程中对服装图像进行适当变形。
[0003]目前，相关技术中有IDW（Inverse Distance Weighted，反距离加权）算法、MLS（移动最小二乘法）算法、基于三角剖分变形等变形方法。其中，基于三角剖分变形的方法，根据很多关键点对所要变形的区域进行三角剖分，增加了变形运算的复杂度。IDW算法和MLS算法可以使用较少的关键点进行变形，但关键点需要特殊选择，否则容易造成变形畸变。IDW算法和MLS算法都有很高的计算复杂度。
技术实现思路
[0004]本申请提出基于虚拟换装的服装变形方法、装置、设备及存储介质，本申请根据用户图像和服装模板图像计算变形前后的坐标映射矩阵。利用坐标映射矩阵，进行变形，使变形后的服装区域与用户图像更加吻合，提高虚拟换装效果，简化了服装变形的运算量，提高了服装变形的处理速率。
[0005]本申请第一方面实施例提出了基于虚拟换装的服装变形方法，包括：获取待换装的用户图像和服装模板图像；根据所述用户图像和所述服装模板图像，确定所述服装模板图像中服装区域变形前后的坐标映射矩阵；根据所述坐标映射矩阵对所述服装模板图像中的服装区域进行变形。
[0006]在本申请的一些实施例中，所述根据所述用户图像和所述服装模板图像，确定所述服装模板图像中服装区域变形前后的坐标映射矩阵，包括：根据所述用户图像确定脖子关键点，以及获取所述服装模板图像对应的衣服关键点；根据所述脖子关键点和所述衣服关键点，计算所述服装模板图像中服装区域变形前后的横坐标映射矩阵；根据所述脖子关键点和所述衣服关键点，计算所述服装区域变形前后的纵坐标映射矩阵。
[0007]在本申请的一些实施例中，所述根据所述用户图像确定预设数目个脖子关键点，包括：通过预设人脸关键点检测模型检测所述用户图像中的所有人脸关键点；根据所述用户图像对应的所述人脸关键点和预设标准人脸关键点，对所述用户图像进行人脸对齐；
通过预先训练的脖子关键点检测模型从对齐后的所述用户图像中识别出脖子关键点。
[0008]在本申请的一些实施例中，所述获取所述服装模板图像对应的衣服关键点，包括：根据所述服装模板图像中预标注的虚拟人脸关键点和所述预设标准人脸关键点，对所述服装模板图像进行对齐处理；根据所述服装模板图像中预标注的衣服关键点，从对齐处理后的所述服装模板图像中确定出对齐后的衣服关键点。
[0009]在本申请的一些实施例中，所述脖子关键点包括左右两侧脖子边界线与肩部相接处的两个关键点及锁骨区域位于脖子竖直中轴线上的一个关键点；所述衣服关键点包括领口左右两侧边界线的两个端点和所述左右两侧边界线的交点。
[0010]在本申请的一些实施例中，所述根据所述脖子关键点和所述衣服关键点，计算所述服装模板图像中服装区域变形前后的横坐标映射矩阵，包括：根据每个脖子关键点的横坐标，沿水平方向将所述用户图像的宽度划分为多段第一横坐标区间；根据每个衣服关键点的横坐标，沿水平方向将所述服装模板图像的宽度划分为多段第二横坐标区间，所述第一横坐标区间的数目与所述第二横坐标区间的数目相等；根据所述多段第一横坐标区间和所述多段第二横坐标区间，利用线性插值和变形坐标映射函数计算所述服装模板图像中服装区域对应的横坐标映射矩阵。
[0011]在本申请的一些实施例中，所述根据所述脖子关键点和所述衣服关键点，计算所述服装区域变形前后的纵坐标映射矩阵，包括：根据所述脖子关键点和所述衣服关键点，计算所述服装区域中每个横坐标对应的纵坐标的缩放系数；根据所述服装模板图像的高度、所述服装区域每个坐标点的纵坐标及每个纵坐标对应的缩放系数，利用变形坐标映射函数计算所述服装区域对应的纵坐标映射矩阵。
[0012]在本申请的一些实施例中，所述根据所述脖子关键点和所述衣服关键点，计算所述服装区域中每个横坐标对应的纵坐标的缩放系数，包括：根据每个脖子关键点的横坐标，沿水平方向将所述用户图像的宽度划分为多段第一横坐标区间；根据所述服装模板图像的高度、所述脖子关键点和所述衣服关键点，分别计算每个衣服关键点的纵坐标对应的缩放系数；根据所述多段第一横坐标区间和每个衣服关键点的纵坐标对应的缩放系数，利用线性插值和变形坐标映射函数计算所述服装区域中每个横坐标对应的纵坐标的缩放系数。
[0013]在本申请的一些实施例中，所述根据所述脖子关键点和所述衣服关键点，计算所述服装区域中每个横坐标对应的纵坐标的缩放系数之前，还包括：对所述服装模板图像中所述服装区域进行整体缩放处理，缩放后所述服装模板图像中领口边界线上纵坐标最大的关键点与所述用户图像中锁骨区域位于脖子竖直中轴线上的关键点重合；重新计算整体缩放处理后所述服装模板图像中的每个衣服关键点。
[0014]在本申请的一些实施例中，所述对所述服装模板图像中所述服装区域进行整体缩
放处理，包括：根据所述服装模板图像的高度、所述服装模板图像中领口左右两侧边界线的交点的纵坐标以及所述用户图像中锁骨区域位于脖子竖直中轴线上的脖子关键点的纵坐标，计算整体缩放系数；根据所述服装模板图像的高度、所述服装区域每个坐标点的纵坐标及所述整体缩放系数，利用变形坐标映射函数计算所述服装区域在整体缩放处理前后的纵坐标映射矩阵。
[0015]在本申请的一些实施例中，所述重新计算整体缩放处理后所述服装模板图像中的每个衣服关键点，包括：保持整体缩放处理后每个衣服关键点的横坐标不变；根据所述服装模板图像的高度、所述整体缩放系数及整体缩放处理前每个衣服关键点的纵坐标，分别计算整体缩放处理后每个衣服关键点的纵坐标。
[0016]在本申请的一些实施例中，所述根据所述服装模板图像的高度、所述服装区域每个坐标点的纵坐标及每个纵坐标对应的缩放系数，利用变形坐标映射函数计算所述服装区域对应的纵坐标映射矩阵，包括：根据所述服装模板图像的高度、所述整体缩放处理前后的纵坐标映射矩阵及每个纵坐标对应的缩放系数，利用变形坐标映射函数计算所述服装区域对应的最终的纵坐标映射矩阵。
[0017]在本申请的一些实施例中，所述根据所述坐标映射矩阵对所述服装模板图像中的服装区域进行变形，包括：根据所述坐标映射矩阵包括的横坐标映射矩阵，通过预设变形算法对所述服装模板图像中的服装区域进行水平方向的变形处理；根据所述坐标映射矩阵包括的纵坐标映射矩阵，通过所述预设变形算法对所述服装区域进行竖直方向的变形处理。
[0018]本申请第二方面的实施例提供了一种基于虚拟换装的服装变形装置，包括：获取模块，用于获取待换装的用户图像和服装模板图像；确定模块，用于根据所述用户图像和所述服装模板图像，确定所述服装模板图像中服装区域变形前后的坐标映射矩阵；变形模块，用于根据所述坐标映射矩阵对所述服装模板图像中的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于虚拟换装的服装变形方法，其特征在于，包括：获取待换装的用户图像和服装模板图像；根据所述用户图像和所述服装模板图像，确定所述服装模板图像中服装区域变形前后的坐标映射矩阵；根据所述坐标映射矩阵对所述服装模板图像中的服装区域进行变形。2.根据权利要求1所述的方法，其特征在于，所述根据所述用户图像和所述服装模板图像，确定所述服装模板图像中服装区域变形前后的坐标映射矩阵，包括：根据所述用户图像确定脖子关键点，以及获取所述服装模板图像对应的衣服关键点；根据所述脖子关键点和所述衣服关键点，计算所述服装模板图像中服装区域变形前后的横坐标映射矩阵；根据所述脖子关键点和所述衣服关键点，计算所述服装区域变形前后的纵坐标映射矩阵。3.根据权利要求2所述的方法，其特征在于，所述根据所述用户图像确定预设数目个脖子关键点，包括：通过预设人脸关键点检测模型检测所述用户图像中的所有人脸关键点；根据所述用户图像对应的所述人脸关键点和预设标准人脸关键点，对所述用户图像进行人脸对齐；通过预先训练的脖子关键点检测模型从对齐后的所述用户图像中识别出脖子关键点。4.根据权利要求3所述的方法，其特征在于，所述获取所述服装模板图像对应的衣服关键点，包括：根据所述服装模板图像中预标注的虚拟人脸关键点和所述预设标准人脸关键点，对所述服装模板图像进行对齐处理；根据所述服装模板图像中预标注的衣服关键点，从对齐处理后的所述服装模板图像中确定出对齐后的衣服关键点。5.根据权利要求4所述的方法，其特征在于，所述脖子关键点包括左右两侧脖子边界线与肩部相接处的两个关键点及锁骨区域位于脖子竖直中轴线上的一个关键点；所述衣服关键点包括领口左右两侧边界线的两个端点和所述左右两侧边界线的交点。6.根据权利要求2
‑
5任一项所述的方法，其特征在于，所述根据所述脖子关键点和所述衣服关键点，计算所述服装模板图像中服装区域变形前后的横坐标映射矩阵，包括：根据每个脖子关键点的横坐标，沿水平方向将所述用户图像的宽度划分为多段第一横坐标区间；根据每个衣服关键点的横坐标，沿水平方向将所述服装模板图像的宽度划分为多段第二横坐标区间，所述第一横坐标区间的数目与所述第二横坐标区间的数目相等；根据所述多段第一横坐标区间和所述多段第二横坐标区间，利用线性插值和变形坐标映射函数计算所述服装模板图像中服装区域对应的横坐标映射矩阵。7.根据权利要求2
‑
5任一项所述的方法，其特征在于，所述根据所述脖子关键点和所述衣服关键点，计算所述服装区域变形前后的纵坐标映射矩阵，包括：根据所述脖子关键点和所述衣服关键点，计算所述服装区域中每个横坐标对应的纵坐标的缩放系数；
根据所述服装模板图像的高度、所述服装区域每个坐标点的纵坐标及每个纵坐标对应的缩放系数，利用变形坐标映射函数计算所述服装区域对应的纵坐标映射矩阵。8.根据权利要求7所述的方法，其特征在于，所述根据所述脖子关键点和所述衣服关键点，计算所述服装区域中每个横坐标对应的纵坐标的缩放系数，包括：根据每个脖子关键点的横坐标，沿水平方向将所述用户图像的宽度划分为多段第一横坐标区间；根据所述服装模板图像的高度、所述脖子关键...
【专利技术属性】
技术研发人员：苗锋，
申请(专利权)人：北京新氧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。