基于深度变分模型的空间显著性区域提取方法技术

本发明专利技术属于计算机视觉领域，涉及基于深度变分模型的空间显著性区域提取方法。首先，对相机进行校正，选取图像中关键帧图像序列，运用离散空间采样法获取初始深度图，构造变分模式下深度估计模型的能量函数；然后，借助于原始对偶算法求解能量函数，实现深度模型优化；利用显著性滤波器算法对优化后的深度图进行显著性区域粗提取，进一步利用改进脉冲耦合神经网络对显著性区域进行优化，实现深度显著性区域准确提取；最后对三维显著性区域进行重建。本发明专利技术基于特定视角下不同坐标系间关联性，以及摄像机透视投影变换关系，使得该能量函数模型蕴含了多视成像约束，降低了算法模型求解的计算复杂度，提高了深度图估计质量。

【技术实现步骤摘要】
基于深度变分模型的空间显著性区域提取方法
本专利技术属于计算机视觉领域，涉及一种基于深度变分模型的空间显著性区域提取方法。
技术介绍
在日常生活中，我们观察图像时，通常只对整幅图像或整段视频中很小的较为显著的一部分感兴趣。因此，计算机模拟人类视觉系统时，主要通过检测图像中显著性区域进行模拟。显著性检测已逐渐成为计算机视觉领域非常重要的一门技术。在这个领域中，如何运用高效的方法从大场景中准确地检测、重构出空间显著性区域，是一个非常关键的技术。传统的显著性检测方法有多种，但对于某些图像，如图像中存在近景和远景，且远景距离观察者较远的图像，对于这类图像的显著性检测，结果不太符合人类视觉系统，检测结果还不太准确，也无法快速、准确建立目标物体的空间几何信息。申请号为201310658853.X的专利提出了一种基于显著性的快速场景分析方法，借鉴人类视觉系统神经机制来设计计算机视觉模型，提出了自底而上、各个特征图可并行的机制，并且将多个特征在多尺度下进行融合，最后合成一张综合的视觉显著性图。通过两层的胜者为王神经网络得到显著性区域，最后通过禁止返回机制，抑制当前显著性区域，转而寻找下一个显著性区域，直到遍历所有显著性区域。在一幅图像中快速提取人眼所能观察到的引人注意的区域。该方法只是针对二维场景的显著性区域提取，不能够提供空间显著性区域深度信息。因此，如何在整体场景深度图中自动提取显著性区域，并重建出三维显著性区域，仍存在很大的技术问题。三维重建技术是当今视觉方面十分重要的一项应用，但是现有技术大多侧重于整体场景重建。为了更加真实模拟人眼视觉对空间显著性区域的感知，对空间显著性区域的三维重建技术逐渐成为新的关键性技术。
技术实现思路
针对现有技术中存在的上述问题，本专利技术中提出了一种基于深度变分模型的空间显著性区域提取方法。该方法利用并行跟踪与地图创建(ParallelTrackingandMapping，PTAM)算法作为相机位姿估计手段，在关键帧处选取图像序列构造基于变分模型的深度图能量估计函数。由于本专利技术所述方法基于特定视角下不同坐标系间关联性，以及摄像机透视投影变换关系，使得该能量函数模型蕴含了多视成像约束，降低了算法模型求解的计算复杂度，提高了深度图估计质量。运用离散空间采样法获取初始深度图，基于TV-L1模型建立能量函数，对函数求解，以实现对初始深度图的优化。通过改进显著性区域提取方法(ImprovedSalientRegionExtraction，ISRE)实现对深度图显著性区域的准确提取，并结合相机投影模型实现当前环境下显著性区域三维重建，该方法对于解决空间显著性区域重建问题具有重大意义。本专利技术采用如下的技术方案：首先，对相机进行校正，选取图像中关键帧图像序列，运用离散空间采样法获取初始深度图，构造变分模式下深度估计模型的能量函数；然后，借助于原始对偶算法求解能量函数，实现深度模型优化；利用显著性滤波器算法(SaliencyFilters，SF)对优化后的深度图进行显著性区域粗提取，进一步利用改进脉冲耦合神经网络(PulseCoupledNeuralNetwork,PCNN)对显著性区域进行优化，实现深度显著性区域准确提取；最后对三维显著性区域进行重建。具体包括以下步骤：步骤1，进行相机校正。在世界坐标系中，相机位姿Tcw可以表示为如下矩阵：Tcw＝[Rcw,tcw](1)式中，下标cw表示从世界坐标系到当前相机坐标系,Tcw∈SE(3)，且SE(3)：＝{[R，t]|R∈SO(3)，t∈R3}。tcw、Rcw可由六元组ξ＝(μ1，μ2，μ3，μ4，μ5，μ6)表示，即：式中，μ1，μ2，μ3为相机在世界坐标系下的坐标，μ4，μ5，μ6分别为世界坐标系下相机沿x,y,z方向上的旋转向量，ξ的数学表达式如下：相机的位姿Tcw建立了相机坐标系下点Pc到世界坐标系下点Pw的变换关系，即：Pc＝TcwPw(4)在相机坐标系下，三维空间点到像平面上的投影定义为：π(p)＝K(x/z,y/z,1)T(5)式中，P∈R3的三维空间点，x,y,z为该点的坐标值，K为相机的内参矩阵，fu,fv为相机焦距，u0,v0为像平面中心坐标。根据当前坐标的深度值d，利用逆向投影法确定当前空间三维点坐标p，其坐标关系可表示为：式中，为u的齐次表达式。为有效建立上述相机投影模型，本专利技术采用FOV模型实现对单目相机的矫正，其数学描述如下：式中，xu为像素归一化坐标，ud为畸变后像素坐标，ω为畸变系数，rd,ru分别为矫正前后归一化坐标到坐标系中心的距离。利用上述相机模型，将图像像素坐标映射到归一化坐标平面，同时结合相机内参数矩阵K，实现图像畸变矫正，即：u＝Kxn(9)步骤2，基于变分模型的深度图的建立与求解。在PTAM精确位姿估计前提下，选取关键帧处图像序列，获取初步深度图，采用基于变分模型的深度图估计方法，实现对当前环境的三维信息的获取。所述方法在变分光流估计算法的基础上，结合相机投影模型与环境深度值，根据光照不变性与深度图平滑性假设，建立基于L1型数据惩罚项与变分规则项的深度能量函数模型。通过深度离散空间采样的方式获取全局最优深度图，当达到一定图像帧数后，运用原始对偶算法求解能量函数实现该深度图的优化。步骤2.1，建立基于深度模型的能量函数。其表达式如下：式中，λ为数据惩罚项Edata和变分规则项Ereg间的权重系数，Ω∈R2为深度图的取值范围。能量函数的求解：步骤2.2，计算数据惩罚项。在相机精确定位的基础上，根据极线几何关系可获取当前环境的稠密深度信息。鉴于此，利用关键帧Ir及其邻近图像序列I＝{I1，I2，…In}，结合投影模型建立数据项Edata：式中，Ir为当前图像序列中与参考帧具有重合信息的图像帧数量，x'是在深度值为d时，图像Ii中参考帧Ir中x对应的像素坐标，即：步骤2.3，计算变分规则项。在深度图平滑性假设前提下，为确保场景中界处的不连续性，引入加权Hubert算子作为变分规则项。Hubert算子定义如下：式中,α为常量。此时，基于加权的Hubert算子的变分规则项为：Ereg＝g(u)||▽d(u)||(14)式中，▽d为深度图的梯度，g(u)＝exp[-α||Ir(u)||]为像素梯度权重系数，用以抑制规则项的过平滑作用。步骤2.4，求解能量函数。通过引入变量h来求解能量函数(10)，此时能量函数可以化简为：式中，θ为常量。引入变量h后，能量函数的求解过程转化为凸优化问题，随着能量函数的不断优化，使h≈d。根据Legendre-Fenchel变换，Huber算子可等效为：式中，将(16)式带入能量方程，此时深度优化函数可以表示为：采用交替下降法实现对上述能量函数的最小化，具体过程如下：(1)固定h求解：式中，根据拉格朗日极值法，该能量函数达到最小值的条件为：式中，div(q)为q的散度。结合偏导数离散化描述，上述极值条件可表示为：式中，div(p)为p的散度。可采用原始对偶算法实现上述能量函数的迭代优化，即：(2)固定d求解：式中，在变分光流算法中，通常利用图像像素点处线性化展开，结合由粗到细的迭代方法，实现对数据项的优化。在上述过程中，该算法需要进行大量图像插值操作以及获取该对应点处像素值，增加了算本文档来自技高网...

【技术保护点】
基于深度变分模型的空间显著性区域提取方法，其特征在于包括以下步骤： 步骤1，进行相机校正； 在世界坐标系中，相机位姿Tcw可以表示为如下矩阵： Tcw＝[Rcw,tcw]         (1) 式中，下标cw表示从世界坐标系到当前相机坐标系，Tcw∈SE(3)，且SE(3)：＝{[R，t]|R∈SO(3)，t∈R3}。tcw、Rcw由六元组ξ＝(μ1，μ2，μ3，μ4，μ5，μ6)表示，即： 式中，μ1，μ2，μ3为相机在世界坐标系下的坐标，μ4，μ5，μ6分别为世界坐标系下相机沿x,y,z方向上的旋转向量，ξ的数学表达式如下： 相机的位姿Tcw建立了相机坐标系下点Pc到世界坐标系下点Pw的变换关系，即： Pc＝TcwPw         (4) 在相机坐标系下，三维空间点到像平面上的投影定义为： π(p)＝K(x/z,y/z,1)T      (5) 式中，P∈R3的三维空间点，x,y,z为该点的坐标值，K为相机的内参矩阵，fu,fv为相机焦距，u0,v0为像平面中心坐标；根据当前坐标的深度值d，利用逆向投影法确定当前空间三维点坐标p，其坐标关系表示为： 式中，为u的齐次表达式；采用FOV模型实现对单目相机的矫正，其数学描述如下： ru＝||xu|| 式中，xu为像素归一化坐标，ud为畸变后像素坐标，ω为畸变系数，rd,ru分别为矫正前后归一化坐标到坐标系中心的距离； 利用上述相机模型，将图像像素坐标映射到归一化坐标平面，同时结合相机内参数矩阵K，实现图像畸变矫正，即： u＝Kxn        (9) 步骤2，基于变分模型的深度图的建立与求解； 步骤3，显著性粗提取； 原图像经显著性滤波器算法处理，获得初始显著性图OSM和亮度特征图IFM； 步骤4，显著性精细提取； 步骤5，显著性区域三维重建； 将提取的显著性区域范围反投影到深度图，获取显著性区域的深度图，结合相机投影模型实现当前环境下三维显著性区域的重建。...

【技术特征摘要】
1.基于深度变分模型的空间显著性区域提取方法，其特征在于包括以下步骤：步骤1，进行相机校正；在世界坐标系中，相机位姿Tcw可以表示为如下矩阵：Tcw＝[Rcw,tcw](1)式中，下标cw表示从世界坐标系到当前相机坐标系，Tcw∈SE(3)，且SE(3)：＝{[R，t]|R∈SO(3)，t∈R3}，tcw、Rcw由六元组ξ＝(μ1，μ2，μ3，μ4，μ5，μ6)表示，即：式中，μ1，μ2，μ3为相机在世界坐标系下的坐标，μ4，μ5，μ6分别为世界坐标系下相机沿x,y,z方向上的旋转向量，ξ的数学表达式如下：相机的位姿Tcw建立了相机坐标系下点Pc到世界坐标系下点Pw的变换关系，即：Pc＝TcwPw(4)在相机坐标系下，三维空间点到像平面上的投影定义为：π(p)＝K(x/z,y/z,1)T(5)式中，P∈R3的三维空间点，x,y,z为该点的坐标值，K为相机的内参矩阵，fu,fv为相机焦距，u0,v0为像平面中心坐标；根据当前坐标的深度值d，利用逆向投影法确定当前空间三维点坐标p，其坐标关系表示为：式中，为u的齐次表达式；采用FOV模型实现对单目相机的矫正，其数学描述如下：ru＝||xu||式中，xu为像素归一化坐标，ud为畸变后像素坐标，ω为畸变系数，rd,ru分别为矫正前后归一化坐标到坐标系中心的距离；利用上述相机模型，将图像像素坐标映射到归一化坐标平面，同时结合相机内参数矩阵K，实现图像畸变矫正，即：u＝Kxn(9)步骤2，基于变分模型的深度图的建立与求解；步骤3，显著性粗提取；原图像经显著性滤波器算法处理，获得初始显著性图OSM和亮度特征图IFM；步骤4，显著性精细提取；步骤5，显著性区域三维重建；将提取的显著性区域范围反投影到深度图，获取显著性区域的深度图，结合相机投影模型实现当前环境下三维显著性区域的重建；步骤2所述基于变分模型的深度图的建立与求解方法包括以下步骤：步骤2.1，建立基于深度模型的能量函数；其表达式如下：式中，λ为数据惩罚项Edata和变分规则项Ereg间的权重系数，Ω∈R2为深度图的取值范围；能量函数的求解：步骤2.2，计算数据惩罚项；在相机精确定位的基础上，根据极线几何关系可获取当前环境的稠密深度信息；利用关键帧Ir及其邻近图像序列I＝{I1，I2，…In}，结合投影模型建立数据项Edata：式中，Ir为当前图像序列中与参考帧具有重合信息的图像帧数量，x'是在深度值为d时，图像Ii中参考帧Ir中x对应的像素坐标，即：步骤2.3，计算变分规则项；在深度图平滑性假设前提下，为确保场景中界处的不连续性，引入加权Hubert算子作为变分规则项；Hubert算子定义如下：式中，α为常量；基于加权的Hubert算子的变分规则项为：式中，为深度图的梯度，g(u)＝exp[-α||Ir(u)||]为像素梯度权重系数，用以抑制规则项的过平滑作用；步骤2.4，求解能量函数；通过引入变量h来求解能量函数(10)，能量函数化简为：式中，θ为常量；引入变量h后，能量函数的求解过程转化为凸优化问题，随着能量函数的不断优化，使h≈d；根据Legendre-Fenchel变换，Huber算子等效为：式中，将(16)式带入能量方程，深度优化函数表示为：采用交替下降法实现对上述能量函数的最小化，具体过程如下：(1)固定h求解：式中，根据拉格朗日极值法，该能量函数达到最小值的条件为：式中，div(q)为q的散度；结合偏导数离散化描述，上述极值条件表示为：式中，div(p)为p的散度...

【专利技术属性】
技术研发人员：贾松敏，徐涛，张鹏，李秀智，宣璇，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11