一种基于浮点型柱状透镜光栅的多视点图像融合方法技术

本发明专利技术公开了一种基于浮点型柱状透镜光栅的多视点图像融合方法，在现有技术基础上，针对系数阵列生成，采用先乘除法后取余运算，然后再对行和列的计算进行变形，这样不仅能减少取余运算的个数，而且也能使得变形之后的计算中减少了浮点型数据的乘法运算，计算量更少。在行、列变形之后的公式上，转化取余运算，硬件中没有对于浮点型数据的取余运算，通过一个比较器转化为硬件能实现的加减运算；同时，在进行图像子像素采集时，融合图像中的每一个子像素来源于不同的两个视点，且每个视点占不同的比例，这样将多幅视图进行子像素采集并加权融合成一幅适合于浮点型柱状透镜光栅显示的裸眼3D图像，在保证精度的同时，更加节省硬件资源。

A multi view image fusion method based on floating-point columnar lens grating

The invention discloses a multi view image fusion method of floating type cylindrical lens based on grating, based on existing technology for the first generation coefficient array, multiplication and division after residue calculation, then the calculation of row and column deformation, it can not only reduce the number of operations and take over. Can make the calculation after deformation is reduced in the multiplication of floating-point data, less calculation. After the row and column deformation formula, transformation of complementation, no more than the hardware for operation of floating-point data, through a comparator into hardware to achieve the addition and subtraction; at the same time, the sub-pixel image acquisition, image fusion of each sub image in which originated from two different viewpoints and, each view accounted for the different proportion, so the pieces of view of subpixel acquisition and weighted fusion into a floating-point type suitable for cylindrical lens raster display naked eye 3D image, ensuring the accuracy and save more hardware resources.

【技术实现步骤摘要】
一种基于浮点型柱状透镜光栅的多视点图像融合方法
本专利技术属于裸眼3D显示(glass-free3Ddisplay)
，更为具体地讲，涉及一种基于浮点型柱状透镜光栅的多视点图像融合方法。
技术介绍
裸眼3D显示(glasses-free3Ddisplay)，也即自由立体显示(autostereoscopicdisplay)，其原理是利用人的双眼视差(parallaxordisparity)特性，使得观看者无需借助3D眼镜等辅助设备，直接通过裸眼3D显示屏等显示设备就可以感知和体验三维景深。一般而言，显示尺寸越大，分辨率越高，裸眼3D显示的效果就越震撼。而超高清显示的分辨率达到了3840×2160。为了增大视角范围，增强3D显示的效果，通常需要多个视点的视图。根据显示设备的要求，对多幅视图的子像素进行采集，从各个视图中抽取我们需要的像素值最终融合为一幅具有裸眼3D显示效果的图像。多视点图像融合是裸眼3D显示的关键问题。在整数型显示设备上，在2014年12月03日公布的、公布号为CN104185011A的中国专利技术专利申请中提出了一种多视点图像融合装置的方案，该方案主要是根据子像素光栅排列表确定融合图像中每一行的起始视点，起始视点的排列是周期循环的，直到所有的行起始视点都确定。而每一行从起始视点开始，以N为一个循环周期顺序的从多视图中抽取对应的子像素。对于浮点型的显示设备，上述方案已不适用。在2015年07月29公布的、公布号为CN104811686A的中国专利技术专利中提出了一种浮点型多视点裸眼立体合成图像的硬件实现方法，通过对像素合成公式进行等价变换，将原本对浮点型变量的取余运算转化为对常量的取余运算，进而通过比较器转化为易于硬件实现的四则运算。由于浮点型的柱状透镜对精度的要求高，对视图的处理更加精细，而且人们对于像素的分辨率的要求也越来越高，硬件资源消耗比较大。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种基于浮点型柱状透镜光栅的多视点图像融合方法，在保证精度的同时，更加节省硬件资源。为实现上述专利技术目的，本专利技术基于浮点型柱状透镜光栅的多视点图像融合方法，其特征在于，包括以下步骤：(1)、系数阵列的生成首先，根据以下公式计算出第一个R、G、B子像素对应的系数K0,0、K1,0、K2,0：其中，i,j分别表示最终融合图像中R、G、B子像素位置的横坐标和纵坐标，融合图像的第一行和第一列所对应的i,j的值都取为0，α表示柱状透镜轴相对于立体显示屏垂直轴的夹角，tanα是夹角的余弦值，％表示取余运算，pitch表示光栅水平覆盖的子像素的宽度，N表示总的视点的个数，即输入的N幅视图；然后，根据以下公式计算出其余的每一个R、G、B子像素的对应的系数：Ki+3,j＝(Ki,j+3ρ)％N(2)Ki,j+1＝(Ki,j-3ρtanα)％N(3)对于第一行的系数值，由K0,0、K1,0、K2,0，根据公式(2)进行递推得到，递推时，取余运算之前的数据只需要加上一个常量3ρ即可，其中：除了第一行之外，每一行的起始的R、G、B子像素的系数根据公式(3)进行递推得到，递推时，取余运算之前的数据只需要减一个常量3ρtanα即可，每一行其余的R、G、B子像素的系数根据公式(2)进行递推得到；其中，进行取余运算时，前面的量表示为M，求M％N的结果为：(2)、子像素的采集2.1)、根据步骤(1)生成的系数阵列挑选采集视点及权重：取当前位置(i,j)的系数Ki,j，将其拆分为整数部分(int)和小数部分(dec)，其中，整数部分int作为选取视点的依据，小数部分则作为视点权重；2.2)、采用相邻两个视点的子像素作为要采集的对象，其中一个是直接从系数Ki,j，中拆分出来的整数部分int所对应的视点，另外一个则是相邻的下一个视点，即int+1对应的视点，若整数部分int等于N，则下一个视点对应于0视点，则融合后的整幅图像的每个子像素都取自于不同的两个视点；2.3)、从系数Ki,j中取出的小数部分dec作为权值直接分配给int+1视点的子像素，而int视点的子像素的权值则是1减去小数部分dec之后得到的小数，int、int+1视点的子像素的值，经过加权(即乘以各自的权值)之后两者求和即得到最终融合图像的子像素的值，用公式表示如下：其中，为int+1视点的子像素在位置(i,j)的值，为int视点的子像素在位置(i,j)的值，Yi,j为最终融合图像的子像素在位置(i,j)的值。本专利技术的目的是这样实现的。在现有浮点型多视点裸眼立体合成图像的基础上，针对系数阵列生成，采用先乘除法后取余运算，然后再对行和列的计算进行变形，这样不仅能减少取余运算的个数，而且也能使得变形之后的计算中减少了浮点型数据的乘法运算，计算量更少。在行、列变形之后的公式上，转化取余运算，硬件中没有对于浮点型数据的取余运算，通过一个比较器转化为硬件能实现的加减运算；同时，在进行图像子像素采集时，融合图像中的每一个子像素来源于不同的两个视点，且每个视点占不同的比例，这样将多幅视图进行子像素采集并加权融合成一幅适合于浮点型柱状透镜光栅显示的裸眼3D图像，在保证精度的同时，更加节省硬件资源。附图说明图1是柱状透镜成像示意图；图2是柱镜光栅子像素分布图；图3是8视点子像素抽取光栅排列图；图4是应用本专利技术的多视点图像融合系统的结构图；图5是系数阵列生成模块硬件实现电路图。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。一、裸眼3D显示裸眼3D显示技术从显示设备入手，在显示屏前加一层屏障或者透镜，使左、右眼能够看到具有一定视差的2D图像，这样无需佩戴辅助设备即可产生深度感知。裸眼3D显示技术依据其显示特性和光学结构，主要可分为视差屏障显示技术、柱状透镜显示技术、多层显示技术以及全息技术等几种类型。本专利技术针对的是柱状透镜显示技术，其在液晶显示屏前面贴合了一层微柱透镜，每个微柱透镜下面的图像像素被分成R、G、B子像素。子像素光线通过微柱透镜时因折射的存在其传播线路会发生改变，从而使左眼视图送入左眼，右眼视图送入右眼。当增加视点个数时，观众便可在多个方向观看到不同的视图，其原理如图1所示。微柱透镜的存在会放大像素间的距离，从而形成摩尔纹，因此需要子像素交叉排列，且让微柱透镜与像素列呈一定的倾斜角度以消除这一影响。微柱透镜必须严格按照一定的规律紧密排列，各个微柱透镜的参数是完全一致的。两眼之间的距离和微柱透镜对光线的折射特性共同决定了两眼能看到的立体视觉效果。而对于浮点型柱状透镜光栅，其显示精度的要求更高，显示的裸眼3D效果也更明显。图2展示了柱状透镜光栅板的摆放及参数，并展现了多视点的R、G、B子像素的排列分布情况。其中xoff表示R、G、B子像素相对于柱状透镜的左边缘水平位移的距离，一般情况下，xoff取0。柱状透镜光栅有一定的倾斜角α，它实际上是柱状透镜轴相对于立体显示屏垂直轴的夹角。pitch表示光栅在水平方向上覆盖的子像素的个数(可以是小数)，i,j(整数)分别代表R、G、B子像素位置的横坐标和纵坐标。二、多视本文档来自技高网...

【技术保护点】
一种基于浮点型柱状透镜光栅的多视点图像融合方法，其特征在于，包括以下步骤：(1)、系数阵列的生成首先，根据以下公式计算出第一个R、G、B子像素对应的系数K0,0、K1,0、K2,0：

【技术特征摘要】
1.一种基于浮点型柱状透镜光栅的多视点图像融合方法，其特征在于，包括以下步骤：(1)、系数阵列的生成首先，根据以下公式计算出第一个R、G、B子像素对应的系数K0,0、K1,0、K2,0：其中，i,j分别表示最终融合图像中R、G、B子像素位置的横坐标和纵坐标，融合图像的第一行和第一列所对应的i,j的值都取为0，α表示柱状透镜轴相对于立体显示屏垂直轴的夹角，tanα是夹角的余弦值，％表示取余运算，pitch表示光栅水平覆盖的子像素的宽度，N表示总的视点的个数，即输入的N幅视图；然后，根据以下公式计算出其余的每一个R、G、B子像素的对应的系数：Ki+3,j＝(Ki,j+3ρ)％N(2)Ki,j+1＝(Ki,j-3ρtanα)％N(3)对于第一行的系数值，由K0,0、K1,0、K2,0，根据公式(2)进行递推得到，递推时，取余运算之前的数据只需要加上一个常量3ρ即可，其中：除了第一行之外，每一行的起始的R、G、B子像素的系数根据公式(3)进行递推得到，递推时，取余运算之前的数据只需要减一个常量3ρtanα即可，每一行其余的R、G、B子像素的系数根据公式(2)进行递推得到；其中，进行取余运算时，前面的量表示为M，求M％N的结果为：

【专利技术属性】
技术研发人员：刘然，张艳珍，田逢春，李德豪，刘明明，郑杨婷，
申请(专利权)人：成都斯斐德科技有限公司，重庆大学，
类型：发明
国别省市：四川,51