扩充实境中基于深度摄影机的遮蔽效果优化方法技术

本发明专利技术提供了一种扩充实境中基于深度摄影机的遮蔽效果优化方法，用于包括深度摄影机及二维摄影机的扩增实境系统中。此方法包括以下步骤：利用深度摄影机拍摄一场景及于场景中的物体而取得初始深度数据，并利用二维摄影机拍摄场景及物体而取得二维图像数据；对初始深度数据进行修补而获得修补过的深度数据；依据修补过的深度数据与虚拟模型进行深度缓冲运算，以取得物体与虚拟模型的遮蔽关系，而依据二维图像数据及虚拟模型产生被遮蔽区域图像；依据被遮蔽区域图像估算区域近似多边形；以及依据区域近似多边形、二维图像数据及虚拟模型产生遮蔽结果。本发明专利技术解决深度数据点流失、遮蔽边缘不平整及遮蔽边缘跳动的问题。

【技术实现步骤摘要】

本专利技术是涉及一种遮蔽效果优化方法，且特别是涉及一种扩充实境中基于深度摄影机的遮蔽效果优化方法。
技术介绍
近来，深度感测技术应用逐渐普及，目前已成功的应用于娱乐产业，基于其人体追踪与动作辨识功能，提供崭新的人机互动方式。最常见深度摄影原理为使用红外光，投射至目标场景，照射物体并产生随机散斑(LaserSpeckle)，再通过感应镜头取得散斑数据，并由内部芯片计算深度值。然而红外光投射至场景物体上时，可能会因光线或物体材质等因素，使散斑不完整，深度值无法正确取得，尤其在物体边缘格外严重。另外，在连续取得深度数据时，由于散斑随机产生，会导致每次所取得的深度数据不一致，甚至是缺少数据点，使得深度图像会不稳定跳动。扩增实境(Augmentedreality，AR)技术，旨在将虚拟物件与现实世界结合，并进行互动，提升用户的使用体验；若结合深度摄影机与扩增实境，以深度摄影机撷取真实世界场景信息，则会出现虚拟模型与深度数据间的互动，如遮蔽(occlusion)情形；为了显示虚拟模型遮蔽效果，一般作法直接将深度数据，以目前摄影机视角，与模型进行深度缓冲(Z-buffer)运算，截掉被遮蔽部分，得知模型在目前视角被场景物件遮蔽情形。但是，此作法会受到深度摄影机精度与解析度影响，若深度摄影机精度不足，通常会产生以下问题。第一，深度数据点流失，破损处无法遮蔽虚拟物件。第二，遮蔽边缘不平整。第三，连续画面的差异导致遮蔽边缘跳动。这些问题都会大幅地影响遮蔽效果。
技术实现思路
因此，本专利技术的一个目的是提供一种扩充实境中基于深度摄影机的遮蔽效果优化方法，解决深度数据点流失、遮蔽边缘不平整及遮蔽边缘跳动的问题。为达上述目的，本专利技术提供一种扩充实境中基于深度摄影机的遮蔽效果优化方法，用于一扩增实境系统中，所述扩增实境系统包括一个或多个深度摄影机以及一个或多个二维摄影机，所述方法包括以下步骤：利用所述一个或多个深度摄影机拍摄一场景及于所述场景中的一物体而取得初始深度数据，并利用所述一个或多个二维摄影机拍摄所述场景及所述物体而取得二维图像数据；对所述初始深度数据进行修补而获得修补过的深度数据；依据所述修补过的深度数据与一虚拟模型进行一深度缓冲运算，以取得所述物体与所述虚拟模型的一遮蔽关系，而依据所述二维图像数据及所述虚拟模型产生一被遮蔽区域图像；依据所述被遮蔽区域图像估算一区域近似多边形；以及依据所述区域近似多边形、所述二维图像数据及所述虚拟模型产生一遮蔽结果。通过本专利技术，能针对基于深度摄影机的虚拟实境应用，优化虚拟模型与深度数据间的遮蔽结果。此方法能有效解决目前深度摄影机所遇到的深度数据点流失、遮蔽边缘不平整、连续画面间变异三项问题，并分别提供可调整的参数，以因应不同的需求。为让本专利技术的上述内容能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明图1显示依据本专利技术较佳实施例的使用遮蔽效果优化方法的系统的示意图。图2显示依据本专利技术较佳实施例的遮蔽效果优化方法的流程图。图3A与图3B显示修补遗失深度数据点所使用的模型的一例子。图4A与图4B分别显示深度图像修补之前与之后的结果。图5显示提取被遮蔽区域形状的示意图。图6A与图6B显示使用遮蔽效果优化方法之前及之后的结果的一例子。图7A至图7C显示调整参数D的近似多边形的结果。图8A与图8B显示使用遮蔽效果优化方法之前及之后的结果的另一例子。图9A与图9B显示使用遮蔽效果优化方法之前及之后的结果的另一例子。图10A与图10B显示不同的P值所对应的遮蔽效果。符号说明：A：被遮蔽区域图像Bi(p)：邻近点群D31、D32、D33：二维图像数据D41、D42、D43：初始深度数据N：法向量p、q：点ε：半径输入图像灰阶值的梯度值Ω：欲修补区域δΩ：欲修补区域的轮廓S1至S6：步骤10：显示器20：计算机31、32、33：二维摄影机41、42、43：深度摄影机50：场景60：物体70：标记元件80：虚拟模型100：扩增实境系统具体实施方式图1显示依据本专利技术较佳实施例的使用遮蔽效果优化方法的系统的示意图。图2显示依据本专利技术较佳实施例的遮蔽效果优化方法的流程图。如图1与图2所示，本实施例的扩充实境中基于深度摄影机的遮蔽效果优化方法是用于一扩增实境系统100中。扩增实境系统100包括一个或多个深度摄影机41、42、43，以及一个或多个二维摄影机31、32、33。此外，扩增实境系统100还可以包括一个计算机20及一显示器10。计算机20连接至显示器10、深度摄影机41、42、43以及二维摄影机31、32、33。连接方式可以是通过有线或无线方式达成。于一例子中，计算机20与显示器10的组合为台式电脑、工作站、或笔记本电脑。于另一例子中，计算机20与显示器10的组合为一手机、平板电脑。于又另一例子中，计算机20与显示器10是分开的两个装置，譬如计算机20是一使用者的手机或电脑，显示器10是另一使用者的手机或电脑。举例而言，房屋中介人员所持有的移动装置可以安装有高阶软件来执行遮蔽效果优化方法，将最后展示的遮蔽结果传至买家的移动装置来参考。深度摄影机以及二维摄影机的位置可以是固定或可即时移动的，通过本专利技术的方法也可达到即时移动摄影机所产生的遮蔽结果。于图1中，是以三个深度摄影机41、42、43以及三个二维摄影机31、32、33作为例子作说明，因为使用多台深度摄影机在作视角校正后，可以让深度数据更全面完整，以提升遮蔽精准度，而使用多台二维摄影机可以配合多台深度摄影机切换各视角的遮蔽结果。但是于其他例子中，深度摄影机及二维摄影机的数目及配置方式也可以作适当调整。或者，深度摄影机及二维摄影机可以整合成单一摄影机系统。上述遮蔽效果优化方法包括以下步骤S1至S6。值得注意的是，步骤S5可以依据设计考虑而删除。于步骤S1，利用所述一个或多个深度摄影机41、42、43拍摄一场景50及于所述场景50中的一物体60而取得初始深度数据D41、D42及D43，并利用所述一个或多个二维摄影机31、32、33拍摄所述场景50及所述物体60而取得二维图像数据D31、D32及D33。场景50中也可以置放一个标记元件70，以供计算机20利用标记元件70上的图案来进行定位及标记。标记元件70的其中一参考点可以被利用来当作虚拟模型80的基准点。然而，本文档来自技高网...

【技术保护点】
一种扩充实境中基于深度摄影机的遮蔽效果优化方法，用于一扩增实境系统中，其特征在于，所述扩增实境系统包括一个或多个深度摄影机以及一个或多个二维摄影机，所述方法包括以下步骤：(a)利用所述一个或多个深度摄影机拍摄一场景及于所述场景中的一物体而取得初始深度数据，并利用所述一个或多个二维摄影机拍摄所述场景及所述物体而取得二维图像数据；(b)对所述初始深度数据进行修补而获得修补过的深度数据；(c)依据所述修补过的深度数据与一虚拟模型进行一深度缓冲运算，以取得所述物体与所述虚拟模型的一遮蔽关系，而依据所述二维图像数据及所述虚拟模型产生一被遮蔽区域图像；(d)依据所述被遮蔽区域图像估算一区域近似多边形；以及(e)依据所述区域近似多边形、所述二维图像数据及所述虚拟模型产生一遮蔽结果。

【技术特征摘要】
2015.01.21 TW 1041018901.一种扩充实境中基于深度摄影机的遮蔽效果优化方法，用于一扩增实境系统
中，其特征在于，所述扩增实境系统包括一个或多个深度摄影机以及一个或多个二维
摄影机，所述方法包括以下步骤：
(a)利用所述一个或多个深度摄影机拍摄一场景及于所述场景中的一物体而取得
初始深度数据，并利用所述一个或多个二维摄影机拍摄所述场景及所述物体而取得二
维图像数据；
(b)对所述初始深度数据进行修补而获得修补过的深度数据；
(c)依据所述修补过的深度数据与一虚拟模型进行一深度缓冲运算，以取得所述物
体与所述虚拟模型的一遮蔽关系，而依据所述二维图像数据及所述虚拟模型产生一被
遮蔽区域图像；
(d)依据所述被遮蔽区域图像估算一区域近似多边形；以及
(e)依据所述区域近似多边形、所述二维图像数据及所述虚拟模型产生一遮蔽结
果。
2.如权利要求1所述的遮蔽效果优化方法，其特征在于，所述步骤(b)包括：
(b1)将所述初始深度数据进行标准化，以转换成单通道灰阶图像数据；
(b2)对所述单通道灰阶图像数据进行修补，以填补所述单通道灰阶图像数据中缺
少深度值的数据点，获得修补过的单通道灰阶图像数据；以及
(b3)将所述修补过的单通道灰阶图像数据转换成深度值，以获得所述修补过的深
度数据。
3.如权利要求2所述的遮蔽效果优化方法，其特征在于，于所述步骤(b2)中：
设定一欲修补区域Ω，所述欲修补区域的轮廓为δΩ，逐次将δΩ修补，一圈一
圈由外至内修补完成，其中δΩ中的欲修补点为p，所述欲修补点的修补值由式(1)决
定：
I(p)=Σq∈Bi(p)w(p,q)[I(q)+▿I(q)(p-q)]Σq∈Bi(p)w(p,q)]]>式(1)
其中给定半径ε内邻近点群为Bi(p)，q为Bi(p)的其中一点，I为输入图像灰阶
值，为I的梯度值，w为邻近有值点群对点p的权重；
其中，权重w由式(2)的三个因子决定，其中dir代表越靠近一法向量的点有较大
影响；dst代表越近点有较大影响；lev代表离轮廓线越近的有值点有较大影响，其中
T为代表点到δΩ的距离，d0与T0值为1，
w(p,q)＝dir...

【专利技术属性】
技术研发人员：瞿志行，黄柏源，
申请(专利权)人：瞿志行，
类型：发明
国别省市：中国台湾;71