图像传感设备、图像处理设备、计算装置和图像重构方法制造方法及图纸

彩色图像传感设备、图像处理设备、彩色图像重构方法和计算装置。彩色图像传感器包括两个图像传感器和两个元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,各个图像传感器具有相同的面积、传感元数量与排列方式；每个元色滤色元阵列都包括至少一种原色的滤色元，两种元色滤色元包括的滤色元的颜色不同，且两个元色滤色元阵列组成具有全部原色的全色滤色元阵列。根据本发明专利技术的彩色图像传感设备，可以显著地提高彩色图像传感设备的信噪比，同时只增加了传感器模块的数量，不增加单个传感器及镜头的体积，不增加单个传感器的制造难度和成本，使得本发明专利技术易于在手机等移动设备上使用；提高了彩色图像传感器的抗噪能力，提高了颜色还原的准确性。

Image sensing device, image processing device, computing device and image reconstruction method

A color image sensing device, an image processing device, a color image reconstruction method and a computing device. The color image sensor consists of two image sensors and two metachromatic color filter arrays. The image sensor corresponds to the metachromatic color filter arrays one by one. Each image sensor has the same area, number and arrangement of sensor elements. Each metachromatic color filter array includes at least one primary color filter and two metachromatic color filters. The color of the filter elements is different, and the two color filter elements array is composed of a panchromatic filter element array with all the primary colors. According to the color image sensing device of the invention, the signal-to-noise ratio of the color image sensing device can be significantly improved, and the number of sensor modules can be increased, the volume of a single sensor and lens can not be increased, and the manufacturing difficulty and cost of a single sensor can not be increased, thus making the invention easy to be used on mobile devices such as mobile phones. It improves the anti noise ability of color image sensor and improves the accuracy of color restoration.

【技术实现步骤摘要】
图像传感设备、图像处理设备、计算装置和图像重构方法
本专利技术总体地涉及彩色图像传感技术，更具体地涉及彩色图像传感设备及获取数字彩色图像的装置，可以用作各种手机、平板电脑、笔记本电脑、数码相机、数码摄像机等的数字彩色图像、视频获取装置，还涉及彩色图像传感设备的彩色滤色元阵列的渲染与排列方法，以及图像重构方法。
技术介绍
数字彩色图像传感设备是数码相机、数码摄像机，已经手机、平板电脑等数字图像设备中的最关键的部件，用于将镜头聚焦的光学图像转换为数字彩色图像。彩色图像传感设备由彩色滤色元阵列和图像传感器两部分共同组成。图像传感器(ImageSensor)的功能是将照射到传感器上的可见光的亮度转换为电信号，并在后续的处理中数字化，产生灰度(黑白)图像。为了获取自然界中的颜色信息产生彩色图像，通常采用在图像传感器的表面需要覆盖一层彩色滤色元阵列(ColorFilterArray,CFA)的方法，由彩色滤色元阵列和图像传感器两部分共同组成彩色图像传感设备。数字图像传感器的作用是将照射到传感器上的可见光的强度数字化，产生灰度(黑白)图像。由于一幅数字图像是由多个像素排列而成的像素阵列，相应地，图像传感器是由多个传感元排列成的传感元阵列，其中每个传感元独立地对接收到的光的强度(亮度)进行数字化，产生数字图像中的一个像素。彩色图像传感设备是在图像传感器的表面覆盖彩色滤色元阵列，并和图像传感器上的传感元阵列一一对应，使得图像传感器能够对可见光中不同颜色的光强(亮度)进行数字化，经过计算设备的重构后，产生彩色图像。图1示出了彩色图像传感设备的结构组成示意图，标号1指示彩色滤色元阵列，标号2指示图像传感器，图像传感器由传感元排列组成，图中R＝Red表示红色滤色元，G＝Green，表示绿色滤色元，B＝Blue，表示蓝色滤色元，T＝Transparency，表示透明滤色元，滤色元和传感元一一对应。彩色数字图像设备根据其内部的彩色图像传感器的数量可以分为三种：(1)配备了单图像传感器的彩色数字图像传感设备，该彩色图像传感设备由图像传感器和覆盖其上的三色滤色元阵列所组成，所获取的只是三分之一的彩色图像信号，该信号经过计算设备处理后，重构出彩色图像。基于单图像传感器的彩色图像传感器具有传感器面积小、价格便宜、制造方法成熟等诸多优点，随着计算设备的发展，目前已大规模地用于手机、平板电脑、数码相机、数码摄像机等各种数字图像设备中。(2)多图像传感器的彩色数字图像设备，如3CCD的数码摄像机，3CMOS的数码摄像机等，其设备内部有一个分光多棱镜，将外界射入的可见光分为红、绿、蓝三束，分别由三个独立的图像传感器(CCD或CMOS图像传感器)来接收，并量化为彩色数字图像。3CCD或3CMOS彩色图像传感器上没有滤色元阵列，但需要光学的分光镜，体积庞大，制造复杂，目前只用于一些中大型数字摄像机中。(3)层叠式多图像传感器的彩色数字图像设备，即X3彩色图像传感器(日本Sigma公司专利)，该传感器采用三层三色结构，即三层重叠的图像传感器，自上而下分别为蓝色、绿色、红色图像传感器。外界入射的光线中蓝色部分先被第一层蓝色图像传感器吸收和数字化，第二层绿色图像传感器吸收入射光中的绿色部分并数字化，第三层的红色图像传感器吸收其余的光线并数字化，从而产生彩色数字图像。X3彩色图像传感器中由于传感器的层叠，上层传感器及其电路对光线具有一定的衰减作用，使得下层传感器能够接收到的光线大幅减少。为了解决这个问题，这类图像传感器通过增加传感器的面积和传感器所含的传感元的面积来提高信噪比，从而使得整个相机体积较大，一般用于单反相机等中大型数码相机中。现有彩色图像传感设备的技术研究也集中在彩色滤色元的颜色渲染和排列方式上，例如彩色图像传感器中最常用的彩色滤色元阵列是Bayer彩色滤色元阵列，由2x2个RGGB(红绿绿蓝)滤色元重复排列而成。彩色滤色元阵列有两种基本的形成方式，一种是各种颜色的彩色滤色元随机排列，形成彩色滤色元阵列，另一种是先由不同颜色的滤色元组成一个滤色元组，然后再由滤色元组重复排列形成彩色滤色元阵列。上述两种排列方式均有相关的专利，其中关于彩色滤色元组的专利较多，表1中列出了主要的现有彩色滤色元组的技术。表1：彩色滤色元阵列中滤色元组的颜色与排列现有技术的彩色滤色元阵列有如下主要特点：1)滤色元阵列由三色或四色滤色元随机排列或成组重复排列所组成，滤色元组具有2x2，2x4，3x3，4x4等多种形式；2)彩色滤色元组内的滤色元具有确定的排列方式；3)每个彩色数字传感设备包括一个彩色滤色元阵列和一个图像传感器，且传感器上的每个传感元只采集三色或四色中的一个颜色的信号。上述彩色滤色元阵列加图像传感器所组成的彩色数字图像传感设备虽然将图像传感设备从灰度图像传感设备转变成了彩色数字图像传感设备，但是其滤色元阵列滤去了2/3的光线，只有1/3的光线实际到达图像传感器进行成像，计算设备采用某种算法基于彩色图像传感设备的1/3采样所得到的信息重构出彩色图像。由于每个传感元都有不可避免的随机采样噪声，1/3的颜色采样降低了彩色图像传感器的信噪比，同时在每个像素的颜色的采样中引入了独立的随机噪声。这个问题在传统的单反相机、微单相机、专业相机等中大型相机里，通过增加传感器的面积和相应地增大相机的镜头，使得每个传感元都获得更多的光线，提高成像的信噪比而得到了缓解。但随着手机等移动设备的普及，为了缩小彩色图像成像模块的体积和重量，手机所使用的彩色图像传感设备中的图像传感器的面积十分有限，而像素数不断提高，图像传感器中单个像元的面积不断缩小。从而造成彩色图像传感设备在光线不足时，信噪比较低，严重影响彩色图像传感设备在光照不足时所获取的彩色图像的质量。而后期的彩色数字图像处理与增强算法(如图8中的a所示)，难以抑制在成像阶段所产生的随机色彩噪声。上述问题并不能象传统的相机那样通过增加图像传感器的面积和相应地增大镜头来解决。华为等手机制造商通过增加一个辅助的灰度摄像头的方案来提高图像的信噪比，从而部分地缓解上述问题。例如，华为在其P9与P9Plus等型号的手机，酷派在其Cool1等型号的手机中，推出了彩色摄像头加灰度摄像头的双摄像头方案，彩色摄像头用来获得物体的色彩，而灰度摄像头用来获得物体的明暗细节。然后用彩色数字图像处理与增强算法(请参见图8中的b)将彩色图像和灰度图像融合，使得在暗光下拍照的彩色图像，也能使物体具有丰富的细节。从而抑制了彩色图像的总体噪声，提高了彩色图像的质量。但由于上述方案中，彩色摄像头的彩色图像传感设备本身并没有变化，因此，彩色图像传感设备上的信噪比并没有改善。由于彩色图像传感设备上红绿蓝三色的噪声是随机且相互独立的，这种双摄像头的方案可以增强图像的细节，但依然不能去除彩色图像中来源于彩色图像传感设备的噪声，即彩色图像中的色彩噪声。除了上述彩色+黑白的双摄像头方案以外，也有手机采用双摄像头方案，如基于双摄像头的立体摄像机，基于双摄像头的光学变焦。例如，苹果公司的iPhone7Plus的双摄像头，采用两个相同的彩色数字图像传感设备但镜头不同的方案，即其双摄像头的镜头是广角+长焦镜头，用于实现光学变焦和数字变焦的融合。这些双摄像头都是基于现有彩色摄本文档来自技高网...

【技术保护点】
1.一种图像传感设备，包括两个图像传感器和两个元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,各个图像传感器具有相同的面积、传感元数量与排列方式；每个元色滤色元阵列都包括至少一种原色的滤色元，第一元色滤色元阵列包括的滤色元与第二元色滤色元包括的滤色元的颜色不同，且两个元色滤色元阵列组成具有全部原色的全色滤色元阵列。

【技术特征摘要】
1.一种图像传感设备，包括两个图像传感器和两个元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,各个图像传感器具有相同的面积、传感元数量与排列方式；每个元色滤色元阵列都包括至少一种原色的滤色元，第一元色滤色元阵列包括的滤色元与第二元色滤色元包括的滤色元的颜色不同，且两个元色滤色元阵列组成具有全部原色的全色滤色元阵列。2.根据权利要求1所述的图像传感设备，其特征在于，所述全部原色由第一原色、第二原色、第三原色组成。3.根据权利要求2所述的图像传感设备，其特征在于，第一元色滤色元阵列由第一原色的滤色元和第二原色的滤色元等比例排列而成，第二元色滤色元阵列由第三原色的滤色元组成。4.根据权利要求2所述的图像传感设备，其特征在于，第一元色滤色元阵列由第一原色的滤色元和第二原色的滤色元等比例排列而成，第二元色滤色元阵列由第三原色的滤色元和无色的滤色元等比例排列组成。5.一种图像传感设备，包括两个图像传感器和两个元色滤色元阵列，分别称之为第一图像传感器和第二图像传感器，第一元色滤色元阵列和第二元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,第二图像传感器具有的传感元数量多于第一图像传感器具有的传感元数量；每个元色滤色元阵列都包括至少一种颜色的滤色元，第二元色滤色元阵列具有的滤色元数量多于第一元色滤色元阵列具有的滤色元数量；所述第一和第二元色滤色元阵列组成具有全部原色的全色滤色元阵列。6.一种图像传感设备，包括多于两个的图像传感器和多于两个的元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,各个图像传感器具有相同的面积、传感元数量与排列方式；每个元色滤色元阵列都包括至少一种原色的滤色元，不同元色滤色元阵列包括的滤色元不同，所述两个以上元色滤色元阵列组成具有全部原色的全色滤色元阵列。7.一种图像传感设备，包括多于两个的图像传感器和多于两个的元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,至少两个图像传感器...

【专利技术属性】
技术研发人员：陶霖密，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11