图像处理装置、成像装置和图像处理方法制造方法及图纸

本发明专利技术公开了图像处理装置、成像装置和图像处理方法。图像处理装置包括：输入单元，接收从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号；确定单元，确定近红外像素的输出信号是否高于阈值；检测器，检测饱和可见光像素；以及切换单元，基于确定单元的确定结果来切换要被施加到饱和可见光像素的饱和处理。施加到饱和可见光像素的饱和处理。施加到饱和可见光像素的饱和处理。

【技术实现步骤摘要】
图像处理装置、成像装置和图像处理方法


[0001]本专利技术涉及图像处理装置、成像装置和图像处理方法。

技术介绍

[0002]近年来，由对近红外区域敏感的成像仪所捕获的近红外图像的使用增加。例如，用近红外波长的光照射诸如吲哚菁绿之类的静脉注射的荧光物质使得血管或淋巴管可视化，并且这在医疗应用和体内观察中是有用的。另外，根据所捕获图像的近红外波长与红外波长的比率来确定作为植被(vegetation)的存在/不存在或活性的指标的NDVI(归一化植被指数)对于作物的生长观察或远程感测是有用的。
[0003]已经开发出能够同时获取近红外图像和可见光图像的成像装置。例如，已知能够通过具有设置有可见光滤色器的像素以及设置有近红外滤色器的像素的成像仪同时获取近红外图像和可见光图像的成像装置，其中，这些像素布置在相同平面上。
[0004]日本专利申请公开No.2014
‑
165528公开了能够通过成像仪将近红外分量从可见光像素的输出信号分离的成像装置，该成像仪具有设置有对近红外光具有相等透射率的RGB滤色器和透明滤波器的像素的阵列。
[0005]日本专利申请公开No.2014
‑
165528取决于像素是否饱和来采用不同的颜色信号校正处理。

技术实现思路

[0006]根据本公开的一个方面，提供了一种图像处理装置，该图像处理装置包括：输入单元，接收从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号；确定单元，确定近红外像素的输出信号是否高于阈值；检测器，检测饱和可见光像素；以及切换单元，基于确定单元的确定结果来切换要被施加到饱和可见光像素的饱和处理。
[0007]根据本公开的另一方面，提供了一种图像处理方法，该图像处理方法包括：输入步骤，输入从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号；确定步骤，确定近红外像素的输出信号是否高于阈值；检测步骤，检测饱和可见光像素；以及切换步骤，基于确定步骤处的确定结果来切换要被施加到饱和可见光像素的饱和处理。
[0008]根据以下参考附图对示例性实施例的描述，本专利技术的其它特征将变得清楚。
附图说明
[0009]图1是根据第一实施例的图像处理装置的框图；
[0010]图2A和图2B是成像单元中的像素组件的例示性图；
[0011]图3是成像单元的特性的例示性图；
[0012]图4A是在可见光中获取的图像的例示性图，以及图4B是在近红外中获取的图像的
例示性图；
[0013]图5A至图5C是根据现有技术的白平衡处理的例示性图；
[0014]图6A至图6C是说明根据现有技术的饱和处理中的问题的例示性图；
[0015]图7是根据第一实施例的处理流程的例示性图；
[0016]图8A至图8C是根据第一实施例的信号处理的例示性图；
[0017]图9A至图9C是根据第一实施例的信号处理的例示性图；
[0018]图10是根据第二实施例的图像处理装置的框图；以及
[0019]图11是根据第二实施例的信号处理的例示性图。
具体实施方式
[0020]日本专利申请公开No.2014
‑
165528的成像装置基于包括可见光分量和近红外分量的重叠部分的信号来确定像素是否饱和。当发生饱和时，不能用该装置来确定可见光和近红外中的哪一个引起该饱和。因此，该装置导致的问题是，因为正确的颜色不能通过经校正的颜色信号再现，所以出现伪颜色(false coloring)。
[0021]本公开的目的是提供能够从包含饱和像素的图像获取具有较少的伪颜色的高质量图像的图像处理技术。
[0022]下文中，将参考附图来描述每个实施例的图像处理装置。
[0023]第一实施例
[0024]整体配置
[0025]图1是图示了根据本公开的一个实施例的图像处理装置的配置示例的图，其中，图像处理装置设置有成像单元。该实施例的图像处理装置也可以被理解为成像装置。在本公开的其它实施例中，图像处理装置可以仅由图像处理器构成，信号被从单独的成像单元输入到图像处理器。
[0026]图1中图示的图像处理装置100由成像单元101和图像处理器104构成。
[0027]成像单元101包括多个像素。在该实施例中，成像单元101包括设置有对近红外光最敏感的滤色器的近红外像素组件102以及设置有对可见光最敏感的滤色器的可见光像素组件103。如随后将描述的，成像单元101具有以两列两行排列的红色像素、绿色像素、蓝色像素和近红外像素的多个像素组。尽管这里假定成像仪是CMOS图像传感器，但它也可以是CCD图像传感器。这里，可见光像素组件103对近红外光谱范围的敏感度等于近红外像素组件102对近红外光谱范围的敏感度。
[0028]图像处理器104包括近红外图像信号输入单元105、可见光图像信号输入单元106、近红外分量减去单元109和白平衡处理单元110。图像处理器104还包括近红外电平确定单元107、饱和像素检测单元108、第一饱和处理单元111、第二饱和处理单元112、饱和处理切换单元113和饱和处理应用单元114作为用于饱和处理的功能单元。这些单元可以通过诸如ASIC之类的专用硬件电路来实现，或者可以通过诸如执行程序的CPU之类的通用处理器来实现。
[0029]近红外图像信号输入单元105从成像单元101的近红外像素组件102接收图像信号的输入。可见光图像信号输入单元106从成像单元101的可见光像素组件103接收图像信号的输入。在下文中，输入到输入单元105和106的图像信号也应当分别被称为近红外信号和
可见光信号。
[0030]近红外电平确定单元107确定近红外图像的信号电平。具体地，近红外电平确定单元107确定每个近红外像素的输出信号的电平是否高于电平确定阈值。近红外电平确定单元107的确定结果被输入到饱和处理切换单元113。电平确定阈值可以被设定为使得如果近红外电平低于阈值，则可见光像素中出现的饱和可以被归因于可见光分量。例如，电平确定阈值可以是成像单元101的最大输出电平(饱和电平)的一半的值。
[0031]饱和像素检测单元108从可见光图像信号检测饱和可见光像素(饱和像素)。饱和像素检测单元108的检测结果被输入到饱和处理应用单元114。
[0032]近红外分量减去单元109从可见光像素的输出信号减去该可见光像素附近的近红外像素的输出值。通过减去处理，获得去除了近红外分量的各个颜色
‑
即红色(R)、绿色(G)和蓝色(B)的可见光分量。可见光像素附近的近红外像素可以是例如与可见光像素相同的像素组内的近红外像素。近红外分量减去单元109可以从可见光像素的输出信号减去基于可见光像素的多个邻近的近红外像素的输出值的值(例如，平均值)。
[0033]白平衡处理单元110在减去近红外信号之后处理可见光信号本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，其特征在于，包括：输入单元，接收从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号；确定单元，确定近红外像素的输出信号是否高于阈值；检测器，检测饱和可见光像素；以及切换单元，基于确定单元的确定结果来切换要被施加到饱和可见光像素的饱和处理。2.根据权利要求1所述的图像处理装置，其中，所述切换单元在近红外像素的输出信号低于阈值时，选择每个颜色的饱和可见光像素的像素值被替换为预定值的第一饱和处理，并且在近红外像素的输出信号高于阈值时，选择基于饱和可见光像素附近的可见光像素的像素值来确定饱和可见光像素的像素值的第二饱和处理。3.根据权利要求2所述的图像处理装置，其中，所述传感器包括多个组，所述多个组包括第一可见光像素、第二可见光像素和第三可见光像素，并且第一饱和处理是将饱和可见光像素的像素值替换为相同组内的可见光像素中的一个的像素值的处理，其中所述像素值相同。4.根据权利要求3所述的图像处理装置，其中，第二饱和处理是基于作为饱和可见光像素附近的可见光像素的不饱和像素的像素值来确定饱和可见光像素的像素值的处理。5.根据权利要求3或4所述的图像处理装置，其中，第二饱和处理是将饱和可见光像素的像素值替换为通过饱和可见光像素附近的多个可见光像素的插值而获得的像素值的处理。6.根据权利要求3或4所述的图像处理装置，其中，第二饱和处理是基于饱和可见光像素附近的可见光像素的颜色信息来校正饱和可见光像素的像素值的处理。7.根据权利要求6所述的图像处理装置，其中，第二饱和处理是校正饱和可见光像素的像素值以获得与其附近的可见光像素的色度相同的色度的处理。8.根据权利要求1至4中任一项所述的信息处理装置，还包括：白平衡处理单元，执行将可见光像素的图像信号的像素值乘以根据颜色的增益的白平衡处理，以及饱和处理施加单元，将由切换单元选择的饱和处理施加到白平衡处理之后的图像信号。9.根据权利要求8所述的图像处理装置，其中，饱和处理施加单元将由切换单元选择的饱...

【专利技术属性】
技术研发人员：繁田和之，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：