基于深度图像分析的3D发型效果仿真系统技术方案

本发明专利技术提供基于深度图像分析的3D发型效果仿真方法，根据用户选择的发型和颜色，采用基于深度图像分析的3D发型效果仿真方法进行发型仿真，用户可以实时查看发型仿真效果。本发明专利技术采用的是3D模型，相比传统的发型仿真系统，具有更强的真实感。此外，本发明专利技术能实时获取脸部方位信息，能达到发型实时仿真效果。

【技术实现步骤摘要】
基于深度图像分析的3D发型效果仿真系统
本专利技术一般涉及计算机增强现实领域，具体涉及基于深度图像分析的3D发型效果仿真方法。
技术介绍
在美发店为客户进行发型设计的过程中，最重要的就是要了解客户的实际需求。但是，若想要准确、快速地将客户的需求识别出来，却并不容易。而对于客户来说，尝试新发型就像打赌一样，只有理发结束后才知道结果。针对这些问题，国内外开始陆续地研发发型设计系统。通过计算机模拟发型搭配，发型设计系统将客户的实际需求进行数字化、数据化，从而使理发师更加清楚地了解到客户的实际需求并使理发师和客户双方达成一致的共识。然而，现今的发型设计系统大多数应用2D图片的叠加方式为客户更换发型，普遍存在着脸部与发型拟合不协调、可操作性差、单一性等缺点，真实感较弱，无法满足客户的要求，实际应用存在着相当大的局限。与传统技术相比，本方法具有以下优点：1.采用3D的发型模型，具有更强的真实感。2.同一种发型可以选择很多种不同颜色。3.实时显示发型仿真效果。4.能多角度显示效果。
技术实现思路
本专利技术针对当前发型设计系统的不足，提供基于深度图像分析的3D发型效果仿真系统，实现了基于深度图像分析的3D发型效果仿真系统。本专利技术的目的在于实时、真实地展示发型仿真效果，让用户能从多角度，像照镜子一样观察换发型后的效果，具体技术方案如下。基于深度图像分析的3D发型效果仿真系统，其包括以下步骤：(a)根据用户选择的发型图标，从本地磁盘读入对应的IVE格式的发型模型文件；(b)获取用户输入的RGB颜色值，实现发型颜色转换；(c)获取Kinect摄像头的输入，分析脸在视频帧中的大小、位置和方向；(d)在三维空间中，根据步骤(c)获取的脸部位置，对发型模型进行平移、旋转和缩放，并与摄像头所获取的视频流叠加显示，实现发型仿真效果；所述三维空间中，x轴的正方向水平向右，y轴的正方向垂直向上，z轴正方向垂直于屏幕指向用户。上述基于深度图像分析的3D发型效果仿真方法，步骤(d)包括以下步骤：(d‐1)把视频流的每一帧当做贴图，贴到渲染的三维空间中的一个矩形上，并调整观察视角的位置和角度，以使得矩形正好占满显示窗口；(d‐2)根据步骤c获取到的脸的方位信息，对发型模型进行缩放、平移和旋转，使其以合适的大小、位置和朝向叠加到步骤(d‐1)所述矩形上；(d‐3)根据用户在步骤(b)选择的RGB颜色值，在矩形和模型所在的三维空间中加入相应颜色的灯光，然后对场景进行渲染，在渲染窗口显示。上述基于深度图像分析的3D发型效果仿真方法，为了避免由于步骤(c)某一帧没能成功捕捉到脸部位置造成模型抖动的情况，先判断脸部位置左上角坐标，若为设定的特殊值，则模型依照上一帧所捕获的脸位置进行移动，否则，按照当前帧捕获到的脸位置进行移动。上述基于深度图像分析的3D发型效果仿真方法，模型在X方向平移量的计算公式为Tx为模型在X方向的平移量，La为步骤(d‐1)所述矩形的长，Fx是步骤c获取到的脸部矩形的左上角x坐标，Fw是脸部矩形的宽，Vx是视频帧在X方向上占的像素数。上述基于深度图像分析的3D发型效果仿真方法，模型在Y方向平移量的计算公式为Ty为模型在Y方向的平移量，Lb为步骤(d‐1)所述矩形的宽，Fy是步骤c获取到的脸部矩形的左上角y坐标，Fh是脸部矩形的高，Vy是视频帧在Y方向上占的像素数。上述基于深度图像分析的3D发型效果仿真方法，模型缩放量的计算公式为S为缩放量，Fa是步骤c获取到的脸的长，Fb是步骤c获取到的脸的宽，C是经过实验总结出的经验常量。与现有技术相比，本专利技术具有如下优点和技术效果：1.现在的发型设计系统大多数应用2D图片的叠加方式为客户更换发型，真实感较弱。本专利技术采用3D模型与用户脸部拟合的方式实现发型仿真效果，真实感强烈。2.现有技术一般都是拍照，在后台处理完之后才返回结果图像，这就造成了时延。而本专利技术能实时把发型模型加到视频流的正确位置，达到实时的换发效果。3.现有技术一般只支持正脸的发型替换，不能多角度查看效果。本专利技术能在用户侧脸时正确捕获到脸的朝向，从而把旋转后的模型叠加到适当位置，让用户能从不同角度查看换发效果。附图说明图1为实施方式中基于深度图像分析的3D发型效果仿真方法的流程图。图2是图1中步骤4的详细流程图。具体实施方式以下结合附图对本专利技术的实施方式作进一步说明，但本专利技术的实施不限于此。如图1，基于深度图像分析的3D发型效果仿真方法的主要流程包括以下步骤：1.根据用户点击的发型图标按钮，从本地磁盘读入对应的IVE格式的发型模型文件；2.获取用户输入的RGB颜色值；3.用微软公司免费授权的FaceTrackingSDK方法分析脸在视频中的大小、位置和方向；4.在用OpenSceneGraph图形渲染技术所创建的三维空间中，把经过平移、旋转和缩放的发型模型与以视频帧为贴图的矩形叠加起来，实现发型仿真效果。步骤1允许用户选择一个发型作为目标发型，系统从本地硬盘读入对应的IVE格式的发型模型文件。步骤2允许用户输入RGB颜色值。用户选择的颜色将传递到OpenSceneGraph图形渲染技术所创建的场景中，系统改变场景的灯光颜色，实现发型颜色改变的效果。OpenSceneGraph是一个开源的图形渲染API，提供方便的场景管理和图形渲染接口。预览窗口的场景也是用OpenSceneGraph来渲染的，与以下所述的渲染场景不同的是，预览窗口的场景只包含发型模型和灯光，而下述的效果场景包括一个矩形、发型模型和灯光。步骤3采用微软公司提供的开源的FaceTrackingSDK中的相应函数和方法，实时跟踪获取脸部在视频中的相对大小、位置和朝向。其具体实现是：准备好要输入的彩色图像和深度图像之后，开始脸部跟踪。在跟踪期间，使用上一帧得到的脸位置作为提示信息，在邻近区域内进行搜索。如果某一帧由于用户移动太快或者光线突然变化等原因造成跟踪失败，则完整地扫描下一帧，来获取脸的位置。在进行场景重绘时，提交跟踪结果，即获取到的脸位置，在下一步中据此信息进行3D发型模型的平移、旋转和缩放。获取的脸部位置信息包括脸部矩形的左上角坐标，脸框矩形的高和宽，还有脸部分别绕x,y,z轴旋转的角度。如图2所示，步骤4包括以下步骤：4‐1把视频流的每一帧当做贴图，贴到渲染的三维空间中的一个矩形上，并调整观察视角的位置和角度，以使得矩形正好占满显示窗口；4‐2根据步骤3获取到的脸的方位信息，对发型模型进行缩放、平移和旋转，使其以合适的大小、位置和朝向叠加到4‐1所述矩形上；4‐3根据用户在步骤2选择的RGB颜色值，在矩形和模型所在的三维空间中加入相应颜色的灯光，然后对场景进行渲染，在渲染窗口显示。在步骤4‐1中，矩形是播放从Kinect摄像头获取的视频的一个载体，让矩形正好占满显示窗口，就能达到播放视频的效果。为此，需要对应调整矩形大小和观察点的位置。比如，在OpenSceneGraph坐标系下，矩形大小是104*78，矩形中心位于(0，0，0)处，观察点设置在(0，0，‐150)处，就能让矩形正好占满显示窗口。上述OpenSceneGraph坐标系，其x轴正方向水平向右，y轴正方向垂直向上，z轴正方向垂直于屏幕指向用户。在步骤4‐2中，为了把发型模型平移到正确的位置，需本文档来自技高网...

【技术保护点】
基于深度图像分析的3D发型效果仿真方法，其特征在于，包括以下步骤：(a)根据用户选择的发型图标，从本地磁盘读入对应的IVE格式的发型模型文件；(b)获取用户输入的RGB颜色值，实现发型颜色转换；(c)获取Kinect摄像头的输入，分析脸在视频帧中的大小、位置和方向；(d)在三维空间中，根据步骤(c)获取的脸部位置，对发型模型进行平移、旋转和缩放，并与摄像头所获取的视频流叠加显示，实现发型仿真效果；所述三维空间中，x轴的正方向水平向右，y轴的正方向垂直向上，z轴正方向垂直于屏幕指向用户。

【技术特征摘要】
1.基于深度图像分析的3D发型效果仿真方法，其特征在于，包括以下步骤：(a)根据用户选择的发型图标，从本地磁盘读入对应的IVE格式的发型模型文件；(b)获取用户输入的RGB颜色值，实现发型颜色转换；(c)获取Kinect摄像头的输入，分析脸在视频帧中的大小、位置和方向；(d)在三维空间中，根据步骤(c)获取的脸部位置，对发型模型进行平移、旋转和缩放，并与摄像头所获取的视频流叠加显示，实现发型仿真效果；所述三维空间中，x轴的正方向水平向右，y轴的正方向垂直向上，z轴正方向垂直于屏幕指向用户；具体包括以下步骤：(d‐1)把视频流的每一帧当做贴图，贴到创建的三维空间中的一个矩形上，并调整观察视角的位置和角度，以使得矩形正好占满显示窗口；(d‐2)根据步骤(c)获取到的脸的方位信息，对发型模型进行缩放、平移和旋转，使其以合适的大小、位置和朝向叠加到步骤(d‐1)所述矩形上；(d‐3)根据用户在步骤(b)选择的RGB颜色值，在上述矩形和发型模型所在的三维空间中加入相应颜色的灯光，然后对场景进行渲染，在渲染窗口显示。2.根据权利要求1所述基于深度图像分析的3D发型效果仿真方法，其特征在于，步骤(b)中，用户选择的颜色将传递到所创建的场景中，系统改变场景的...

【专利技术属性】
技术研发人员：黄翰，李斌，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：