【技术实现步骤摘要】
本专利技术涉及无线电台站通信，尤其是涉及一种基于单张rgb图像与扩展现实技术的人体与衣物重建方法及系统。
技术介绍
1、传统的人体与衣物重建方法通常依赖于多视角图像或者深度摄像头，虽然这些方法可以提供更高的精度，但也带来了设备成本高、数据采集复杂等问题。
2、因此，有必要提供一种基于单张rgb图像与扩展现实技术的人体与衣物重建方法及系统，来解决上述问题。
技术实现思路
1、本专利技术的目的是提供一种基于单张rgb图像与扩展现实技术的人体与衣物重建方法及系统，实现从单张rgb图像重建附有对应衣物的三维人体模型并叠加于现实场景显示和交互。
2、为实现上述目的，本专利技术提供了一种基于单张rgb图像的人体与衣物重建方法，包括以下步骤：
3、s1：通过单目相机获取单张单目rgb图像；
4、s2：对获取的图像进行分割处理，使用在look into person数据集上微调的u-net网络模型分割出图像中的衣物部分，并标注出不同种类衣物对应的区域；
5、使用mask rcnn网络分割出图像中的人体部分；
6、s3：基于输入图像重建三维人体模型与对应匹配的衣物模型；
7、s4：在现实场景中调整模型比例并叠加三维模型显示。
8、优选的，在步骤s3中，基于输入图像重建三维人体模型与对应匹配的衣物模型的方法为：
9、s31：使用基于卷积神经网络的模型从输入图像和人体部分对应分割图提取人体姿态和形
10、s32：使用基于卷积神经网络的模型从输入图像和衣物部分对应分割图提取衣物外形的特征编码；
11、s33：基于步骤s31和步骤s32中获得的特征编码，利用隐式函数计算人体模型和衣物模型之间的符号距离场，通过marching cubes方法重建三维模型。
12、优选的，在步骤s4中，现实场景中叠加三维模型显示的方法为：
13、s41：利用计算机与扩展显示设备无线通信实现模型文件的传输；
14、s42：基于unity扩展显示软件中设置的人体身高去调整模型比例并叠加在现实场景中显示。
15、一种基于单张rgb图像和扩展现实技术的人体与衣物重建系统，包括单目相机、图像预处理模块、三维重建模块和扩展现实显示模块；
16、图像预处理模块包括衣物分割单元和人体分割单元；
17、三维重建模块包括人体特征提取单元、衣物特征提取单元和模型生成单元；
18、扩展现实显示模块包括模型交互软件和头戴式扩展现实设备。
19、优选的，衣物分割单元，用于从输入图像中分割出属于不同衣物种类的区域；人体分割单元，用于从输入图像中分割出人体的图像部分。
20、优选的，人体特征提取单元用于从输入图像和人体部分对应分割图提取人体姿态和形状的特征编码；
21、衣物特征提取单元用于从输入图像和衣物部分对应分割图提取衣物外形的特征编码；
22、模型生成单元用于计算人体模型和衣物模型之间的符号距离场并生成三维模型。
23、优选的，模型交互软件调整模型尺寸，实现用户与三维模型之间的交互；
24、头戴式扩展现实设备用于部署模型编辑软件，并将三维模型叠加在现实场景中显示。
25、因此，本专利技术采用上述一种基于单张rgb图像与扩展现实技术的人体与衣物重建方法及系统，具备以下有益效果：
26、(1)本专利技术基于rgb图像和分割图三维重建模块重建出对应的三维人体模型以及匹配的衣物模型，重建模型输入扩展现实显示模块进行模型尺度调整，最后叠加在现实场景中进行显示，同时用户可与其进行交互。
27、(2)本专利技术具有多个领域的应用前景，在电商领域，虚拟试衣可以帮助用户在线上购物时更直观地了解服装效果，提升购物体验和购买决策效率。在娱乐和游戏领域，虚拟角色的生动展示和互动性提升了用户的沉浸感。在医疗领域，通过虚拟现实技术进行康复训练和模拟手术，可以提高患者康复效果和医生手术技能。
28、(3)本专利技术重建方法可以实现从单张rgb图像重建附有对应衣物的三维人体模型并叠加于现实场景显示和交互。
29、(4)本专利技术基于单张rgb图像实现三维人体模型及匹配的三维衣物模型重建，进而利用扩展现实软件和头戴式扩展现实设备显示三维模型，实现高效率的人物模型生成，高沉浸感的模型可视化和交互。
30、下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
本文档来自技高网...【技术保护点】
1.一种基于单张RGB图像的人体与衣物重建方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于单张RGB图像的人体与衣物重建方法，其特征在于：在步骤S3中，基于输入图像重建三维人体模型与对应匹配的衣物模型的方法为：
3.根据权利要求1所述的一种基于单张RGB图像的人体与衣物重建方法，其特征在于：在步骤S4中，现实场景中叠加三维模型显示的方法为：
4.一种基于单张RGB图像和扩展现实技术的人体与衣物重建系统，其特征在于：包括单目相机、图像预处理模块、三维重建模块和扩展现实显示模块；
5.根据权利要求4所述的一种基于单张RGB图像和扩展现实技术的人体与衣物重建系统，其特征在于：衣物分割单元，用于从输入图像中分割出属于不同衣物种类的区域；人体分割单元，用于从输入图像中分割出人体的图像部分。
6.根据权利要求4所述的一种基于单张RGB图像和扩展现实技术的人体与衣物重建系统，其特征在于：人体特征提取单元用于从输入图像和人体部分对应分割图提取人体姿态和形状的特征编码；
7.根据权利要求4所述的一种基于单张R
...【技术特征摘要】
1.一种基于单张rgb图像的人体与衣物重建方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于单张rgb图像的人体与衣物重建方法，其特征在于：在步骤s3中，基于输入图像重建三维人体模型与对应匹配的衣物模型的方法为：
3.根据权利要求1所述的一种基于单张rgb图像的人体与衣物重建方法，其特征在于：在步骤s4中，现实场景中叠加三维模型显示的方法为：
4.一种基于单张rgb图像和扩展现实技术的人体与衣物重建系统，其特征在于：包括单目相机、图像预处理模块、三维重建模块和扩展现实显示模块；
5.根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。