能够处理局部遮挡物的AR成像虚拟试鞋方法及装置制造方法及图纸

本发明专利技术公开了一种能够处理局部遮挡物的AR成像虚拟试鞋方法及实现该方法的装置。所述方法步骤主要包括：步骤1，通过Mask R‑CNN神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋目标和遮挡物目标，以及脚踝目标、脚面或鞋目标和遮挡物目标的遮挡关系；利用PVnet算法计算脚面或鞋目标的预测6D位姿；基于试穿鞋子的3D模型生成对应预测6D位姿的试穿鞋子图像，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋目标上，并维持遮挡关系。本方案能够对于识别拍摄图像中有意外物体进入遮挡脚部的情况进行有效处理，依然能够完整准确地在拍摄图像中脚部显示鞋子的AR三维模型，同时能够较好地还原裤子和脚踝这些部分的遮挡效果，提高用户试穿体验。

Method and device of virtual shoe test with AR imaging for local occlusion

【技术实现步骤摘要】
能够处理局部遮挡物的AR成像虚拟试鞋方法及装置
本专利技术涉及AR
，尤其涉及一种AR成像虚拟试鞋方法及装置。
技术介绍
现如今，网上购物已成为潮流，消费者们可以足不出户的了解各式商品的信息与挑选自己喜欢的商品，方便快捷的支付。但存在的问题是：(1)传统电商的使用鞋子图片、视频方式做不到以用户为中心，商品的展示以用户的关注点为转移。(2)用户无法很好的判断网上购买的鞋子款式是否符合自己，可能会造成退货，降低转化率。应用AR技术，可以让用户随时随地使用摄像头拍摄脚步在拍摄图像中的脚步增加鞋子的AR三维模型，试穿各式各样的鞋子，也可以让用户通过移动、旋转，360度查看商品的全貌，同时查看商品的细节。但是现有的虚拟试鞋技术需要拍摄到整个脚部的图像才能准确识别脚部位置。当存在脚部被裤子遮挡、双脚交叉、他人或其他物体遮挡脚部、只露出脚跟等较小部分时，无法识别出脚部，导致旋转脚部观察试鞋整体效果时，鞋子成像不佳，或者有以外遮挡物时虚拟试鞋系统无法正常工作。同时还需要考虑到用户在试穿鞋子时，是需要考虑鞋子对于裤子以及脚踝等其他部分的适配情况，简单的屏蔽这些部分的遮挡效果，反而会影响到用户试穿的体验。最好的效果是试穿鞋子AR三维图像添加到摄像图像中时能够较好地还原裤子和脚踝这些部分的遮挡效果。
技术实现思路
本专利技术是为了克服现有技术中的虚拟试鞋方法及系统，无法处理拍摄图像中有以外物体遮挡脚部的情况，导致实际操作不便的问题，提供一种能够处理局部遮挡物的AR成像虚拟试鞋方法及装置，能够对于识别拍摄图像中有意外物体进入遮挡脚部的情况进行有效处理，依然能够完整准确地在拍摄图像中脚部显示鞋子的AR三维模型，同时能够较好地还原裤子和脚踝这些部分的遮挡效果，提高用户试穿体验。为实现上述目的，本专利技术采用以下技术方案：本专利技术申请提供一种能够处理局部遮挡物的AR成像虚拟试鞋方法，所述方法包括以下步骤：步骤1，获取调用摄像头捕捉脚部区域图像，通过MaskR-CNN神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标，以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系；步骤2，利用PVnet算法计算脚面或鞋面目标的预测6D位姿；步骤3，基于试穿鞋子的3D模型生成对应预测6D位姿的试穿鞋子图像，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上，并维持遮挡关系，从而在用户终端上展示渲染后的AR试穿效果图像。作为优选，所述步骤2具体包括以下步骤：步骤201，通过ResNet网络对获取到的脚部区域图像进行下采样，对脚部区域图像下采样的特征进行上采样，获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2D关键点的向量场；步骤202，根据每个像素点到2D关键点的向量，计算每个像素点对每个2D关键点的投票分数；步骤203，根据所有2D关键点投票分数的均值和协方差，使用PnP进行算法计算脚面或鞋面目标的6D位姿。作为优选，所述的2D关键点采用最远点采样算法确定的。作为优选，所述步骤202中，每个像素到2D关键点的向量计算公式为：其中p表示像素点，xK表示2D关键点；每个像素点对每一个关键点的投票分数计算公式：其中k和i为确定可能的关键的两个像素点，h(k,i)为可能的关键点，p为像素点。作为优选，所述步骤203具体包括以下步骤：计算所有2D关键点投票分数的均值，计算公式为：其中h(k,i)为可能的关键点，Wk，i为投票分数；计算所有2D关键点投票分数的协方差，计算公式为：使用PnP进行算法进行6D位姿的计算，所述6D位姿计算方式是通过最小化其马氏距离：其中XK为3D关键点的坐标，为XK的2D映射，获得脚部图像中的2D关键点和预设脚部物体的3D关键点的映射关系，获得脚部图像中用户脚部的6D位姿。作为优选，所述脚部区域图像包括用户摄像头获取到的用户脚部区域影像的当前帧的图片。作为优选，所述步骤3具体包括以下步骤：步骤301，通过网络或本地加载试穿鞋子的3D模型；步骤302，获取所述试穿鞋子的3D模型处于脚面或鞋面目标的预测6D位姿时的试穿鞋子图像；步骤303，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标对应位置，同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置，图像渲染后在用户终端上展示。本专利技术申请提供一种能够处理局部遮挡物的AR成像虚拟试鞋装置，所述装置用于实现上述方法，所述装置包括：分割模块，用于获取调用摄像头捕捉脚部区域图像，通过MaskR-CNN神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标，以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系；；位姿预测模块，用于利用PVnet算法计算脚面或鞋面目标的预测6D位姿；渲染模块，用于基于试穿鞋子的3D模型生成对应预测6D位姿的试穿鞋子图像，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上，并维持遮挡关系，从而在用户终端上展示渲染后的AR试穿效果图像。作为优选，所述位姿预测模块包括：采样单元，用于通过ResNet网络对获取到的脚部区域图像进行下采样，对脚部区域图像下采样的特征进行上采样，获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2D关键点的向量场；投票单元，用于根据每个像素点到2D关键点的向量，计算每个像素点对每个2D关键点的投票分数；位姿单元，用于根据所有2D关键点投票分数的均值和协方差，使用PnP进行算法计算脚面或鞋面目标的6D位姿。作为优选，所述渲染模块包括：加载单元，用于通过网络或本地加载试穿鞋子的3D模型；图像单元，用于获取所述试穿鞋子的3D模型处于脚面或鞋面目标的预测6D位姿时的试穿鞋子图像；渲染单元，用于将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标对应位置，同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置，图像渲染后在用户终端上展示。本申请的方法，能够在用户脚部被意外物品(裤脚等)遮挡时，排除其他无关物体的干扰。利用脚面或鞋面目标可见部位的局部信息，来检测关键点。然后，每个像素预测一个指向物体关键点的方向向量，从而判断用户脚部的位姿。将服务器预存的试穿鞋子的3D模型图像叠加到图像上的脚部位置，从而实现虚拟试穿的效果。同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置，能够较好地还原裤子和脚踝这些部分的遮挡效果。附图说明图1是本专利技术能够处理局部遮挡物的AR成像虚拟试鞋方法的第一流程图。图2是本专利技术能够处理局部遮挡物的AR成像虚拟试鞋方法的第二流程本文档来自技高网...

【技术保护点】
1.一种能够处理局部遮挡物的AR成像虚拟试鞋方法，其特征是，所述方法包括以下步骤：/n步骤1，获取调用摄像头捕捉脚部区域图像，通过Mask R-CNN神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标，以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系；/n步骤2，利用PVnet算法计算脚面或鞋面目标的预测6D位姿；/n步骤3，基于试穿鞋子的3D模型生成对应预测6D位姿的试穿鞋子图像，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上，并维持遮挡关系，从而在用户终端上展示渲染后的AR试穿效果图像。/n

【技术特征摘要】
1.一种能够处理局部遮挡物的AR成像虚拟试鞋方法，其特征是，所述方法包括以下步骤：
步骤1，获取调用摄像头捕捉脚部区域图像，通过MaskR-CNN神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标，以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系；
步骤2，利用PVnet算法计算脚面或鞋面目标的预测6D位姿；
步骤3，基于试穿鞋子的3D模型生成对应预测6D位姿的试穿鞋子图像，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上，并维持遮挡关系，从而在用户终端上展示渲染后的AR试穿效果图像。


2.根据权利要求1所述的能够处理局部遮挡物的AR成像虚拟试鞋方法，其特征是，所述步骤2具体包括以下步骤：
步骤201，通过ResNet网络对获取到的脚部区域图像进行下采样，对脚部区域图像下采样的特征进行上采样，获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2D关键点的向量场；
步骤202，根据每个像素点到2D关键点的向量，计算每个像素点对每个2D关键点的投票分数；
步骤203，根据所有2D关键点投票分数的均值和协方差，使用PnP进行算法计算脚面或鞋面目标的6D位姿。


3.根据权利要求2所述的能够处理局部遮挡物的AR成像虚拟试鞋方法，其特征是，所述的2D关键点是采用最远点采样算法确定。


4.根据权利要求2所述的能够处理局部遮挡物的AR成像虚拟试鞋方法，其特征是，
所述步骤202中，每个像素到2D关键点的向量计算公式为：

其中p表示像素点，xK表示2D关键点；
每个像素点对每一个关键点的投票分数计算公式：

其中k和i为确定可能的关键的两个像素点，h(k,i)为可能的关键点，p为像素点。


5.根据权利要求2所述的能够处理局部遮挡物的AR成像虚拟试鞋方法，其特征是，所述步骤203具体包括以下步骤：
计算所有2D关键点投票分数的均值，计算公式为：

其中h(k,i)为可能的关键点，Wk，i为投票分数；
计算所有2D关键点投票分数的协方差，计算公式为：



使用PnP进行算法进行6D位姿的计算，所述6D位姿计算方式是通过最小化其马氏距离：

其中XK为3D关键点的坐标，为XK的2D映射，
获得脚部图像中的2D关键点和预设脚部物体的3D关键点的映射关系，获得脚部图像中用户脚部的6D位姿。


6.根据权利要求1所述的能够处理局部遮挡物的AR...

【专利技术属性】
技术研发人员：李汪洋，
申请(专利权)人：足购科技杭州有限公司，
类型：发明
国别省市：浙江;33