利用旋转对称式广角透镜获得复合图像的方法及其成像系统以及以硬件方式进行图像处理的互补金属氧化物半导体图像传感器技术方案

本发明专利技术对于以光轴为中心的旋转对称式广角透镜的图像进行数学上精确的图像处理从而提供得到具有理想的投影方式的复合图像以及利用它的多种成像系统。而且，提供通过精确的像素的配置以硬件方式进行图像处理而无需进行软件图像处理的CMOS图像传感器。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及从安装有以光轴为中心的旋转对称式广角透镜的照相机获得的图像中能够提取复合图像的数学上精确的图像处理方法及利用它的成像系统以及以硬件方式进行图像处理的CMOS图像传感器。
技术介绍
一般来讲，在景色优美的旅游地等将360°全景捕捉到一张相片中的全景照相机(panoramic camera)是全方位成像系统的一例。全方位成像系统是指观察者在原地转一圈时所能看得见的景色全部捕捉到一张相片中的成像系统。与此相反，将在观察者的位置所能看得见的全景捕捉到一张图像中的系统称之为全景成像系统(omnidirectionalimaging system)。在全景成像系统中，不仅包括观察者在原地转ー圈时所能看得见的全部景色还包括仰头或低头时所能看得见的全部景色。从数学角度来讲，是指以成像系统能够捕捉的区域的立体角(solid angle)为4 球面度(steradian)的情况。全方位成像系统或全景成像系统不仅为了适用于如拍摄建筑物、自然景观、天体等的传统的领域，而且为了 适用于利用了 CCD (charge-coupled device)或 CMOS (complementarymetal-oxide-semiconductor :互补金属氧化物半导体)照相机的安保、监视系统、房地产或饭店、旅游地等的虚拟旅游(virtual tour)、或者移动机器人或无人驾驶飞机等领域而在进行着很多研究和开发。得到全方位图像的ー种方法是采用视场角宽的鱼眼透镜(fisheye lens)。例如，若使视场角为180°的鱼眼透镜垂直地朝向天空，则可将天上的星座到地平线都捕捉到一张图像中。基于这种理由，鱼眼透镜也被称之为全天空透镜(all-sky lens)。尤其，尼康(Nikon)公司的一种鱼眼透镜(6mm f/5. 6Fisheye_Nikkor)是视场角达到220°，因而若将它安装到照相机上，则尽管是一部分但也能将照相机后方的景色包含到图像中。这样，对使用鱼眼透镜得到的图像进行图像处理(image processing)就能得到全方位图像。在多数情况下，成像系统安装垂直于的壁面。例如，为了监视建筑物周边将成像系统设置在建筑物的外壁上，或者g在监视汽车后尾的后方照相机就属于这种情況。在这种情况下，在水平方向的视场角远大于180°的情况下效率反而降低。这是因为监视的必要性较少的壁面较多地占有了画面，因而图像显得枯燥且浪费像素之故。因此，在这种情况下，水平方向的视场角为180°左右的情况比较理想。但为了这种目的而照原样使用视场角为180°的鱼眼透镜却不可取。这是因为，鱼眼透镜产生桶形畸变(barrel distortion)因而诱发审美上的不快感，从而消费者不理会之故。參考文献I至2提出有从具有给出的视点(viewpoint)以及投影方式(projection scheme)的图像中提取具有其它视点或投影方式图像的核心技术。具体地讲，參考文献2提出有立方体全景(cubic panorama)。简言之,立方体全景是指假设观察者位于用玻璃制作的立方体的中心时将透过玻璃墙向外所能看到的全景描绘在玻璃墙上，而所有风景是以在立方体的中心所观察的视点描绘的。但不存在是使用通过光学透镜而得到的实际风景，而是使用以无畸变的虚拟的透镜即针孔照相机捕捉的图像的缺点。另ー方面，包括人类在内的所有动植物因重力而被约束生存在地球表面，因而需要注意或关注的大部分事件发生在地平线附近。因此，即便有监视地平线周边的360°所有方向的必要，垂直于方向上监视到那种高度即天顶(zenith)或天底(nadir)的必要性却很少。但为了在ニ维的平面上描绘360°全景，需要进行畸变别无他法。在用于将作为球(sphere)的表面的地球上的地理表现在平面ニ维地图上的地图制作法中存在同样的难点。地球上的所有动植物和建筑物等无生物均在重力的影响下，重力的方向为站直的方向即垂直线。然而在所有畸变中人们最感到不自然的畸变是垂直线看成曲线的畸变。因此重要的是，即便有其它畸变也不能有这种畸变。然而，地面虽然大体上垂直于重力的方 向，但在倾斜处当然不垂直。因此，从严格的意义上讲，应当以平面为基准，垂直方向是垂直于水平面的方向。參考文献3中记载有在多种地图制作法中也广为人知的投影方式即等矩形投影(equi-rectangular projection)、墨卡托投影(Mercator projection)以及圆柱投影(cylindrical projection),參考文献4中简述有多种投影方式历史。其中，等矩形投影方式是我们在为了表现地球上的地理或显示星座而描绘天球时最为熟悉的地图制作法之一。參照图I,假设地表面或天球(celestial sphere)为半径为S的球面时,地表面上的任意点Q以地球的中心N为基准具有经度值V和纬度值5。另ー方面，图2是按照等矩形投影法制作的地表面或天球的平面地图的概念图。具有地表面的经度值V和纬度值S的一点Q在根据等矩形投影法的平面地图234上具有对应的点P。该对应的点的直角坐标给出为(X，y)。而且，具有经度0°与纬度0°的赤道上的基准点在平面地图上具有对应的一点0，该对应点0是直角坐标系的原点。此时，根据等矩形投影法，经度上的相同的间距在平面地图上具有相同的横向间距。換言之，平面地图234上的横坐标X与经度成比例。数学式IX = c ￥这里，c是比例常数。而且，纵坐标y与纬度成比例，具有与横坐标相同的比例常数。数学式2y = c 6考虑到地表面近似于球面，这种等矩形投影方式可成为自然的投影方式，但存在使地表面的面积严重地畸变的缺点。例如，在北极点附近彼此相隔很近的两点在等矩形投影方式地图上有可能给人以似乎位于地球相反侧的印象。另ー方面，在墨卡托投影方式在中，纵坐标给出为如数学式3那样复杂的函数。数学式3y = c InJ tan( — + — I i I U 2 JJ另ー方面，图3是圆柱投影(cylindrical projection)或全景投影(panoramicperspective)的概念图。在圆柱投影中，观察者位于半径为S的天球331的中心N,要在以该观察者为中心的天球将除了天顶(zenith)与天底(nadir)之外的大部分区域描绘在ニ维平面上。换言之，经度包括从-180°到+180°的360°，而纬度包括包含赤道的仅仅一部分亦可。具体地讲，纬度角的范围可假设为从-A到+A，此时，A应小于90°。在这种投影方式中，假设在赤道303与天球331相接的圆柱334，接着，对于在天球上具有规定的经度值V和纬度值S的点Q(v，S)，使从上述天球的中心N连至上述一点Q的线段延伸直至与上述圆柱面相交。该交点称之为P( V，S)。利用这种方式得到与天球面331上的上述纬度范围内的所有点Q对应的圆柱面334上的点P之后，切开上述圆柱并展开成平面则可得到具有圆柱投影的地图。因此，所展开的圆柱面上的一点P的横坐标X由数学式4给出，纵坐标y由数学式5给出。数学式4X =SV 数学式5y = S tan 8这种圆柱投影是用于照相机沿水平旋转而得到全景图像的全景照相机上的投影方式。尤其在安装于旋转的全景照相机上的透镜为无畸变的直线像差修正透镜的情况下得本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2009.07.08 KR 10-2009-0061928;2010.07.06 KR 10-2011.一种复合图像获得装置，包括利用安装有以光轴为中心的旋转对称式成像用广角透镜的照相机而获得修正前图像面的图像获得単元；基于上述修正前图像面生成修正后图像面的图像处理单元；以及显示上述修正后图像面的图像显示単元，其特征在于，包括 上述修正前图像面为具有Kmax行和Lmax列的ニ维矩阵，上述修正后图像面为具有Imax行和列的ニ维矩阵， 在上述修正后图像面具有图像信号并具有像素坐标(I，J)的动态像素的信号以来自具有世界坐标系中的虚拟的物体面上的坐标(X^Y1,p Zu) ^ (X(I，J)，Y(I，J)，Z(I，J))的物点的入射光所帯来的修正前图像面上的虚拟的像点的信号给出， 上述世界坐标系以上述广角透镜的节点为原点，并以上述光轴为Z轴，从上述原点向物体面的方向为正(+)方向，以通过上述原点且平行于上述照相机的图像传感器面的竖边的轴为Y轴，Y轴以自图像传感器面的上端向下端的方向为正(+)方向，上述世界坐标系为右手坐标系， 上述物点的X坐标由仅与横向像素坐标J相关的函数如下面的数学式 Xljj^X(LJ) =X(J)三 Xj 给出， 上述物点的Y坐标由仅与竖向像素坐标I相关的函数如下面的数学式 Yljj^Y(LJ) =Y(I)三 Y1 给出。2.根据权利要求I所述的复合图像获得装置，其特征在干， 上述物点中某一物点的Z坐标作为仅与横向像素坐标J相关的函数如下面的数学式 Zljj^ Z(I, J) = Z(J) ^ Zj 给出，或者， 作为仅与竖向像素坐标I相关的函数如下面的数学式 Zljj^ Z(I, J) = Z(I) ^ 冗パ合出。3.根据权利要求I所述的复合图像获得装置，其特征在干， 由下面的数学式 (X ^ y/j j = tan'1 一—给出的上述入射光的横向入射角以对于横向像素坐标J的单调 ’J函数给出， 由下面的数学式 f ヽ Y Sij = tan-1 ノ 2 1 给出的上述入射光的竖向入射角以对于竖向像素坐标I的单调函数给出。4.根据权利要求I所述的复合图像获得装置，其特征在干， 光轴的像素坐标在上述修正前图像面为0(。，し。)，光轴的像素坐标在上述修正后图像面为(I。，J。)，上述虚拟的像点的像素坐标为(X' !,j, y' u), 上述像素坐标由下面的数学式给出，5.根据权利要求I所述的复合图像获得装置，其特征在干， 上述物体面在可微分的区域满足下面的数学式6.根据权利要求I所述的复合图像获得装置，其特征在干， 上述物点的Z坐标作为仅与横向像素坐标J相关的函数如下面的数学式7.根据权利要求6所述的复合图像获得装置，其特征在干， 上述物体面在可微分的区域满足下面的数学式8.根据权利要求7所述的复合图像获得装置，其特征在干， 上述物体面在可微分的区域满足下面的数学式 闽2=1 va/J °9.根据权利要求I所述的复合图像获得装置，其特征在干， 上述物点的Z坐标作为仅与竖向像素坐标I相关的函数如下面的数学式 Zljj^ Z(I, J) = Z(I) ^ 冗パ合出。10.根据权利要求9所述的复合图像获得装置，其特征在干，上述物体面在可微分的区域满足下面的数学式11.根据权利要求10所述的复合图像获得装置，其特征在干， 上述物体面在可微分的区域满足下面的数学式12.一种复合图像获得装置，包括利用安装有以光轴为中心的旋转对称式成像用广角透镜的照相机而获得修正前图像面的图像获得単元；基于上述修正前图像面生成修正后图像面的图像处理单元；以及显示上述修正后图像面的图像显示単元，其特征在干， 上述修正前图像面为具有Kmax行和Lmax列的ニ维矩阵，上述修正后图像面为具有Imax行和列的ニ维矩阵， 在上述修正后图像面具有图像信号并具有像素坐标(I，J)的动态像素的信号以来自世界坐标系中的虚拟的物体面上的一个物点的入射光所帯来的修正前图像面上的具有像素坐标(X' u，デu)的虚拟的像点的信号给出， 上述世界坐标系以上述广角透镜的节点为原点，并以上述光轴为Z轴，从上述原点向物体面的方向为正(+)方向，以通过上述原点且平行于上述照相机的图像传感器面的竖边的轴为Y轴，Y轴以自图像传感器面的上端向下端的方向为正(+)方向，上述世界坐标系为右手坐标系， 上述入射光的天顶角以0U= Q (I，J)给出，方位角以^1,j = (I，J)给出， 上述修正前图像面上的光轴的像素坐标以(K。，L0)给出， 上述虚拟的像点的像素坐标由下面的数学式给出， X' I, j = L0+gr( 9 Jjj) cos ^1jJ, ず I, j = K0+gr( 9 Jjj) sin ^ljj, 上述透镜的实际投影方式以对应的入射光的天顶角0的函数求得像大小r，以r =r( 0 )给出， 上述g是照相机的放大倍数，以13.根据权利要求12所述的复合图像获得装置，其特征在干， 上述修正后图像面上的光轴的像素坐标为(I。，J0), 上述入射光的天顶角由下面的数学式14.根据权利要求12所述的复合图像获得装置，其特征在干， 上述修正后图像面上的光轴的像素坐标为(I。，J0), 上述入射光的天顶角由下面的数学式15.一种复合图像获得装置，包括利用安装有以光轴为中心的旋转对称式成像用广角透镜的照相机而获得修正前图像面的图像获得単元；基于上述修正前图像面生成修正后图像面的图像处理单元；以及显示上述修正后图像面的图像显示単元，其特征在干， 上述修正前图像面为具有Kmax行和Lmax列的ニ维矩阵，上述修正后图像面为具有Imax行和列的ニ维矩阵， 在上述修正后图像面具有图像信号并具有像素坐标(I，J)的动态像素的信号以来自世界坐标系中的虚拟的物体面上的一个物点的入射光所帯来的修正前图像面上的具有像素坐标(X' u，デu)的虚拟的像点的信号给出， 上述世界坐标系以上述广角透镜的节点为原点，并以上述光轴为Z轴，从上述原点向物体面的方向为正(+)方向，以通过上述原点且平行于上述照相机的图像传感器面的竖边的轴为Y轴，Y轴以自图像传感器面的上端向下端的方向为正(+)方向，上述世界坐标系为右手坐标系， 上述入射光的横向入射角由仅与横向像素坐标J相关的函数w (J)给出，竖向入射角由仅与竖向像素坐标I相关的函数S1E S⑴给出， 上述修正前图像面上的光轴的像素坐标给出为(K。，L0), 上述虚拟的像点的像素坐标由下面的数学式给出，’16.ー种CMOS图像传感器，在传感器面内包括以Imax行和Jmax列的矩阵的形态给出的多个像素，其特征在干， 上述多个像素包括具有图像信号的敏感像素和不具有图像信号的钝感像素。17.根据权利要求16所述的CMOS图像传感器，其特征在干， 上述钝感像素的光电元件的面积小于敏感像素的光电元件的面积或者不存在。18.根据权利要求16所述的CMOS图像传感器，其特征在干， 上述钝感像素的遮光膜的开ロ部小于敏感像素的遮光膜的开ロ部或者不存在。19.根据权利要求16所述的CMOS图像传感器，其特征在干， 上述钝感像素的微透镜聚光效率低于敏感像素的微透镜或者不存在。20.—种CMOS图像传感器,与以光轴为中心的旋转对称式成像用广角透镜成ー组使用，其特征在于， 上述CMOS图像传感器在传感器面内包括以Imax行和Jmax列的矩阵的形态给出的多个像素， 上述多个像素包括至少ー个具有图像信号的敏感像素， 上述传感器面与光轴的交点为具有行号I。和列号J。的基准点0，上述行号I0为大于I且小于Imax的实数，上述列号J。为大于I且小于Jmax的实数， 在以通过上述基准点且平行于上述图像传感器面的横边的轴为X轴，自上述传感器面的左向右的方向为X轴正(+)方向，通过上述基准点且平行于上述图像传感器面的竖边的轴为y轴，自上述传感器面的上端向下端的方向为I轴正方向的第一直角坐标系中， 具有图像信号并具有行号I和列号J的敏感像...

【专利技术属性】
技术研发人员：权琼一，
申请(专利权)人：奈米光子有限公司，
类型：
国别省市：