一种基于压缩传感的多视点数据采集方法技术

本发明专利技术公开了一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述稀疏相机阵列包括T台相机，T台相机捕捉T*T的光场视图；在T*T区域内每一列有一台相机，每一行有一台相机。将这些相机捕捉到的图像向量化，完成超冗余字典训练完成后，使用稀疏相机阵列采集的部分光场就可以恢复原始光场信息。本发明专利技术减少了光场采集系统的相机数量，精简了系统结构，提高了可维护性，减少了系统成本。

【技术实现步骤摘要】
一种基于压缩传感的多视点数据采集方法
本专利技术涉及立体显示
，具体涉及一种基于压缩传感的多视点数据采集方法。
技术介绍
立体显示技术，特别是多视点三维显示技术需要通过渲染多视点数据获得立体效果。基于相机阵列的多视点数据采集为三维显示提供了渲染所需数据，三维显示的角度分辨率和可视角度直接取决于相机的数目和角度。相机阵列具有分辨率高，成像时间快的优点。目前光场采集的设备主要分成两种：装配特殊光学器件的单相机与阵列多相机。装配特殊光学器件的单相机通过使用微透镜阵列(internalimaging)、透镜阵列(multiplelens)或加装掩膜(mask)等器件仅用单个成像传感器就能够达到采集多个方向图像的目的。对于微透镜阵列和透镜阵列相机，它们通过在成像传感器与光圈之间加装微透镜阵列或者直接改装镜头为透镜阵列从而改变光线的方向，将不同方向的光线按照加装的器件特征分布记录在单个成像传感器平面的不同位置上，再通过后期的处理将其提取出来。而加装掩膜的单相机在掩膜上进行编码从而得到编码后的图像，利用压缩传感技术，通过计算可以从编码单张图像重建出多个方向的多张图像。另一种技术相机阵列(cameraarray)通过在不同物理位置上部署多相机，直接采集不同方向上的光场数据，每台相机采集一路光场。光场的角度分辨率与角度域直接取决于相机的数目和间距。为了提高三维显示的效果，需要获得大量视点的数据，即需要大量相机，但大量的相机导致了系统体积大，结构复杂，可维护性差，制作成本高昂。同时其对应的标定程序复杂，且产生的大量数据带来了存储和传输的难题。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于压缩传感的多视点数据采集方法，通过稀疏相机阵列进行光场采集，利用压缩传感算法，对光场进行重建，解决了现有技术的问题。技术方案：为实现上述目的，本专利技术采用的技术方案为：一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述稀疏相机阵列包括T台相机，T＝1,2,3…；所述T台相机捕捉T*T的光场视图；所述T台相机在T*T区域内每一列有一台相机，每一行有一台相机；该方法包括以下步骤：1)将被稀疏相机阵列捕捉到的M(M＝T)个图像向量化，可由如下数学公式表示：I＝ΦL＝ΦDα式中：I∈Rm，为向量化的稀疏相机阵列捕捉到的图像，其中m为维数，代表采集的图像个数，R为实数集；L∈Rn为向量化的完备相机阵列捕捉到的图像，也是需还原的光场数据，其中n为维数，代表需要恢复的图像个数；Φ∈Rm×n为采集光场数据使用的测量矩阵，其中m<<n；D∈Rn×d为超冗余字典，其中d为超冗余字典的大小；α为表示系数；2)字典训练：首先生成由大量光场碎片组成的训练集：将一组自然光场图像中的每一幅图像le堆叠起来组成(px×py)，然后多次从L中沿着二维图像le平面提取切块，一个切块大小(px×py)像素，其中px、py分别表示横向和纵向的像素大小。将提取的切块向量化，可获得多个光场碎片其中u、v分别表示横向和纵向的光场图像个数；对多组自然光场图像进行上述过程，获取大量光场碎片组成训练集，训练超冗余字典满足下式：式中：||||F、||||0分别代表了弗罗贝尼乌斯范数和0-范数。L＝[l1|l2|…lq]∈Rn×q为由q个光场碎片组成的训练集；D＝[d1|d2|…dd]∈Rn×d为d大小的超冗余字典；A＝[α1|α2|…αq]∈Rd×q为q个光场碎片的超冗余字典表示。k表示任意一个光场碎片的超冗余字典表示应是k阶稀疏的，即A的每一列最多有k个非零元素；3)光场重建：完成步骤2)之后，计算稀疏表示系数：式中：||||1、||||2分别代表了1-范数和2-范数；Φ为测量矩阵；D为训练得到的超冗余字典；ε为系统误差。进一步的，步骤2)字典训练时，使用1-范数替代0-范数，在求解1-范数，采用滑动窗口算法；所述滑动窗口算法对已采样的部分光场图像切分成若干碎片进行迭代求解，在切分光场碎片时，遵循预设的步长，越小碎片之间重叠的部分越大。进一步的，所述滑动窗口算法包括以下步骤：2.1)按照稀疏相机阵列的配置，计算测量矩阵Φ；2.2)对于每一幅单独视图按照步长s切分为若干个碎片Ii；2.3)遍历每一个碎片，进行2.4和2.5步骤的迭代；2.4)使用LassoADMM算法计算Ii在ΦD的稀疏表示系数αj；2.5)根据所得系数α，得到恢复后的光场L＝Dα。有益效果：减少了光场采集系统的相机数量，精简了系统结构，提高了可维护性，减少了系统成本。实验证明利用稀疏相机阵列拍摄所得的部分光场图像还原出原始光场是可行的，并且还原结果质量较高，较好地保存了视差信息。附图说明图1现有相机阵列结构图2本专利技术的稀疏相机阵列结构图3超冗余字典光场可视化结果图4原始渲染光场与重构后光场具体实施方式下面结合附图对本专利技术作更进一步的说明。一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述稀疏相机阵列包括T台相机，T＝1,2,3…；所述T台相机捕捉T*T的光场视图；所述T台相机在T*T区域内每一列有一台相机，每一行有一台相机；该方法包括以下步骤：步骤1)如图1所示，将5x5的相机阵列缩减到如图2中的5台相机，这5台相机将会实现捕捉5x5的光场视图，将被稀疏相机阵列捕捉到的M(M＝T)个图像向量化，可由如下数学公式表示：I＝ΦL(1)式中：I∈Rm为向量化的稀疏相机阵列捕捉到的图像；L∈Rn为向量化的完备相机阵列捕捉到的图像，也是需还原的光场数据；Φ∈Rm×n为采集光场数据使用的测量矩阵，其中m<<n；(采样得到的向量化稀疏相机阵列捕捉到的图像的维数远远小于采样光场的维数)；测量矩阵Φ具有全局稀疏性，同时也具有局部内聚性，携带有效信息的M个子矩阵只分布于测量矩阵的对角线上。I可看作是稀疏阵列中每个相机的光场视点和测量矩阵的乘积之和。如要从测量得到的图像恢复出采样光场，可以使用压缩传感技术。假设存在超冗余字典D∈Rn×d，D中包含大量超冗余基使得光场L所在的信号空间可以由超冗余字典D中的基充分稀疏表示，即：I＝ΦL＝ΦDα(2)当对光场L进行如上的变换时，如果其表示系数α中的大部分元素等于零或接近于零，那么称光场L可以在超冗余字典D域中稀疏表示，表示系数α为稀疏向量，光场L在D中可以k＝||α||0稀疏表示。可将测量矩阵和超冗余字典的乘积设为等价字典测量公式变为根据压缩传感的相关证明，如果从测量信号I∈Rm中恢复k稀疏信号α，那么测量矩阵和测量信号维数m分别要满足如下条件：条件一：测量矩阵需要满足k阶约束等价性条件(RestrictedIsometryProperty，简称RIP)，对于任意的k阶稀疏信号α，拟合误差阈值δk：通过约束等价性条件的约束，就可以确定稀疏程度k。条件二：在确定稀疏程度k后，测量信号维数m需要满足如下条件：m≥C×k×log(n/k)(4)式中n为采样信号的维数，常数C恒为正。在本文中，如果稀疏相机阵列的测量矩阵Φ与训练得到的超冗余字典D乘积满足式(3)，且稀疏相机阵列采集到的向量化图像维数m满足式(4)，那么原始光场信息L就能实现重构。步骤2)超冗余光场碎片字典训练：一组光场图像就是光场在不同视角本文档来自技高网...

【技术保护点】
一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述稀疏相机阵列包括T台相机，T＝1,2,3。。。；所述T台相机捕捉T*T的光场视图；所述T台相机在T*T区域内每一列有一台相机，每一行有一台相机；该方法包括以下步骤：1)将被稀疏相机阵列捕捉到的M(M＝T)个图像向量化，可由如下数学公式表示：I＝ΦL＝ΦDα式中：I∈Rm为向量化的稀疏相机阵列捕捉到的图像；L∈Rn为向量化的完备相机阵列捕捉到的图像，也是需还原的光场数据；Φ∈Rm×n为采集光场数据使用的测量矩阵，其中m<<n；D∈Rn×d为超冗余字典；α为表示系数；2)字典训练：首先生成由大量光场碎片组成的训练集：将一组自然光场图像中的每一幅图像li按照(px×py)视图堆叠起来组成L＝[l1|l2|…lu×v]，然后多次从L中沿着二维图像li平面提取切块，一个切块大小(px×py)像素，向量化之后获得多个光场碎片对多组自然光场图像进行上述过程，获取大量光场碎片组成训练集，训练超冗余字典满足下式：min{D,A}||L-DA||F,s.t.∀j,||αj||0≤k]]>式中：L＝[l1|l2|…lq]∈Rn×q为由q个光场碎片组成的训练集；D＝[d1|d2|…ld]∈Rn×d为d大小的超冗余字典；A＝[α1|α2|…αq]∈Rd×q为使用超冗余字典表示q个光场碎片的k阶稀疏表示，A的每一列最多有k个非零元素；3)光场重建：完成步骤2)之后，计算稀疏表示系数：min{α}||α||1,s.t.||i-ΦDα||2≤ϵ]]>式中：i为经过采样得到的部分光场信息；Φ为测量矩阵；D为训练得到的超冗余字典；ε为系统误差。...

【技术特征摘要】
1.一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述稀疏相机阵列包括T台相机，T＝1,2,3…；所述T台相机捕捉T*T的光场视图；所述T台相机在T*T区域内每一列有一台相机，每一行有一台相机；该方法包括以下步骤：1)将被稀疏相机阵列捕捉到的M个图像向量化，其中，M＝T，可由如下数学公式表示：I＝ΦL＝ΦDα式中：I∈Rm，为向量化的稀疏相机阵列捕捉到的图像，其中m为维数，代表采集的图像个数，R为实数集；L∈Rn为向量化的完备相机阵列捕捉到的图像，也是需还原的光场数据，其中n为维数，代表需要恢复的图像个数；Φ∈Rm×n为采集光场数据使用的测量矩阵，其中m<<n；D∈Rn×d为超冗余字典，其中d为超冗余字典的大小；α为表示系数；2)字典训练：首先生成由大量光场碎片组成的训练集：将一组自然光场图像中的每一幅图像le堆叠起来组成px×py，然后多次从L中沿着二维图像le平面提取切块，一个切块大小px×py像素，其中px、py分别表示横向和纵向的像素大小；将提取的切块向量化，可获得多个光场碎片其中u、v分别表示横向和纵向的光场图像个数；对多组自然光场图像进行上述过程，获取大量光场碎片组成训练集，训练超冗余字典满足下式：式中：||||F、||||0分别代表了弗罗贝尼乌斯范数和0-范...

【专利技术属性】
技术研发人员：李伟，沈春林，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32