图像处理设备以及成像设备制造技术

[技术问题]为了在通过捕获相同对象的单色图像和彩色图像来获得具有不同灵敏度的图像时降低彩色图像的灰度劣化。[解决方案]提供了一种图像处理设备，其设置有灰度控制单元，该灰度控制单元获取表示单色图像的亮度信号和表示通过对与单色图像相同的对象进行成像而获得的彩色图像的色度信号，并且基于亮度信号来控制色度信号的灰度。由于这种配置，本发明专利技术在通过捕获相同对象的单色图像和彩色图像来获得具有不同灵敏度的图像时能够使彩色图像的灰度劣化最小化。

Image processing equipment and imaging equipment

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备以及成像设备
本公开内容涉及图像处理设备和成像设备。
技术介绍
作为根据多个数字图像产生HDR图像的技术，提出了一种技术，根据所述技术，通过改变相机的灵敏度(曝光)来对同一对象进行成像，并且所获得的多个图像彼此合成以产生HDR图像。例如，下面的PTL1公开了一种技术，根据所述技术，通过多眼相机对对象进行成像，该多眼相机包括对应于多个光学块的多个成像系统，并且使得针对每个成像系统的亮度灵敏度不同，并且所获得的多个图像彼此合成以产生HDR图像。[引文列表][专利文献][PTL1]日本专利特许公开第2002-171430
技术实现思路
[技术问题]然而，利用上述专利文献1中描述的技术，对于低灵敏度相机，灰度可能劣化。特别是当捕获彩色图像的相机的灵敏度低时，产生以下问题，由于灰度的劣化而导致HDR图像的图像质量劣化。因此，需要在通过以黑白和彩色对同一对象进行成像来获得具有不同灵敏度的图像的情况下减轻彩色图像的灰度的劣化。[技术问题的解决方案]根据本公开内容，提供了一种图像处理设备，该图像处理设备包括灰度控制部，该灰度控制部获得黑白图像的亮度信号以及通过对与黑白图像相同的对象进行成像而获得的彩色图像的色度信号，并且基于亮度信号来控制色度信号的灰度。此外，根据本公开内容，提供了一种成像设备，该成像设备包括：第一成像元件，其对对象进行成像以获得黑白图像；第二成像元件，其对对象进行成像以获得彩色图像；以及图像处理设备，其获得黑白图像的亮度信号和彩色图像的色度信号并且基于亮度信号来控制色度信号的灰度。[本专利技术的有益效果]如上所述，根据本公开内容，在通过将同一对象成像为黑白图像和彩色图像来获得具有不同灵敏度的图像的情况下，能够减轻彩色图像的灰度的劣化。另外，上述效果不一定是限制性的，并且本说明书中描述的任何效果或从本说明书理解的其他效果可以与上述效果一起实现，或代替上述效果来实现。附图说明[图1]图1是描述本实施方式的原理的示意图。[图2]图2是描绘根据本实施方式的第一示例性配置的图像处理设备及其外围的配置的示意图。[图3]图3是描绘根据本实施方式的第二示例性配置的图像处理设备及其外围的配置的示意图。[图4]图4是描绘HDR合成部的配置的示意图。[图5]图5是描绘由归一化部执行的处理的示意图。[图6]图6是描绘灰度控制部的示例性配置的示意图。[图7]图7是描绘引导信号的功能的示意图。[图8]图8是灰度控制部的另一示例性配置的示意图。[图9]图9是描绘定义灰度劣化与值α之间的关系的映射的特性图。[图10]图10是描绘图9中的灰度恢复部的配置的示意图。[图11]图11是描绘基于映射值α切换低通滤波器的滤波器因数的示例的示意图。[图12]图12是描绘当滤波器因数切换部切换低通滤波器的滤波器因数时使用的表的示意图。[图13]图13是描绘灰度控制部的另一示例性配置的示意图。[图14]图14是描绘分类部的配置的示意图。[图15]图15是描绘定义与映射值α对应的每个分类号的表的示意图。[图16]图16是描绘滤波处理的示意图。[图17]图17是描绘根据图2中描绘的第一示例性配置的处理的流程图。[图18]图18是描绘根据图3中描绘的第二示例性配置的处理的流程图。[图19]图19是描绘由图6中描绘的灰度控制部执行的处理的流程图。[图20]图20是描绘由图8中的灰度控制部执行的处理的流程图。[图21]图21是描绘由图8中的灰度恢复部执行的处理的流程图。[图22]图22是描绘在使用图13所描绘的用于学习的框架来执行灰度恢复的情况下执行的处理的流程图。[图23A]图23A是用于说明图17中的步骤S18处的处理的示意图。[图23B]图23B是描绘在图23A中执行双线性插值的情况的示意图。[图24]图24是描绘通过利用多个相机以对应于长累积图像和短累积图像之间的曝光差异的曝光差异进行成像来增加用于曝光的图案的示例的示意图。[图25]图25是描绘通过对应于长累积图像的黑白图像的成像元件的成像的曝光时间段被设定为比图1中的曝光时间段长的示例的示意图。[图26]图26是描绘使用分束器的示例的示意图。[图27]图27是描绘不使用IR(红外辐射)截止滤波器来促进进一步增强黑白图像的灵敏度的示例的示意图。具体实施方式下面将参照附图详细描述本公开内容的优选实施方式。另外，在本说明书和附图中，具有基本相同的功能和配置的组成元件被赋予相同的附图标记，并且因此将不再进行描述。将按以下顺序进行描述。1.本实施方式的原理2.根据第一示例性配置的图像处理设备3.根据第二示例性配置的图像处理设备4.HDR合成部的示例性配置5.灰度控制部的示例性配置6.关于在本实施方式中执行的处理7.本实施方式实现的效果8.关于本实施方式的变型1.本实施方式的原理本实施方式涉及使用彩色图像传感器(BayerIS)和黑白图像传感器(B/WIS)执行高动态范围(HDR)合成的处理。旨在减轻运动对象部分的任何模糊的HDR合成是使用高灵敏度性能来执行的，这是黑白图像传感器的一个特征。图1是描述本实施方式的原理的示意图。图1描绘了使用黑白图像成像元件1100和彩色图像成像元件1200针对同一曝光时间段在一天的同一时间处执行成像的情况。在这种情况下，黑白图像成像元件1100的灵敏度高于彩色图像成像元件1200的灵敏度，因此，黑白图像成像元件1100的每个像素对应于长时间曝光像素(长累积图像(2))，并且彩色图像成像元件1200的每个像素对应于短时间曝光像素(短累积图像(1))。例如，当黑白图像成像元件1100的灵敏度是彩色图像成像元件1200的灵敏度的四倍时，可以针对四倍值的曝光差异来执行针对HDR的不同曝光成像。由此，在相同时区中捕获的长累积图像和短累积图像可以被相互合成，并且特别是当对运动的对象(运动对象)进行成像时，可以抑制任何模糊的产生。另一方面，在长时间曝光和短时间曝光是在一天中彼此不同的时间依次执行并且使用一个彩色图像成像元件1200进行彼此不同的曝光时间的情况下，每次在一天中彼此不同的时间处对短累积图像和长累积图像进行成像，并且特别是当对运动对象进行成像时产生模糊。根据图1中描绘的本实施方式的方法，因此即使对于运动对象也能够在不产生任何模糊的情况下进行HDR合成。为了分配对应于长累积图像和短累积图像的相机(成像元件)，将高灵敏度相机分配给长累积图像。因此，黑白图像成像元件1100对与长累积图像对应的图像进行成像，而彩色图像成像元件1200对与短累积图像对应的图像进行成像。此外，因为使用黑白图像成像元件1100和彩色图像成像元件1200两者，所以为了合成，检测这些图像之间的视差差异，并且执行彼此对准。下面将描述本实施方式的具体配置。2.根据第一示例性配置的图像处理设备图2是描绘根据本实施方式的第一示例性配置的图像处理设备1000及其外围的配置的示意图。图2中描绘的配置仅使用亮度来执行HDR合成，并且通常认为其计算效率高。图像处理设备1000包括转换部100、视差差异校正部110、HDR合成部120和灰度控制部130。在图2中，黑白图像成像元件1100和彩色图像成像元件1200使用图1所示的方法执行成像。通过由黑白图像成像元件1100对对象进行成像而获得的黑白图像的信号(亮度本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：灰度控制部，其获得黑白图像的亮度信号以及通过对与所述黑白图像相同的对象进行成像而获得的彩色图像的色度信号，并且基于所述亮度信号来控制所述色度信号的灰度。

【技术特征摘要】
【国外来华专利技术】2017.03.02 JP 2017-0392651.一种图像处理设备，包括：灰度控制部，其获得黑白图像的亮度信号以及通过对与所述黑白图像相同的对象进行成像而获得的彩色图像的色度信号，并且基于所述亮度信号来控制所述色度信号的灰度。2.根据权利要求1所述的图像处理设备，其中，所述灰度控制部包括灰度恢复滤波器，所述灰度恢复滤波器使用所述亮度信号作为引导信息来恢复所述色度信号的灰度。3.根据权利要求2所述的图像处理设备，其中，所述灰度恢复滤波器包括使用黑白图像作为引导的非线性滤波器。4.根据权利要求1所述的图像处理设备，其中，所述灰度控制部包括灰度恢复部，所述灰度恢复部基于所述亮度信号和所述色度信号之间的差异来恢复所述色度信号的灰度。5.根据权利要求4所述的图像处理设备，其中，所述灰度恢复部恢复所述灰度，使得所述色度信号的频率区域随着所述差异越大而变得越低。6.根据权利要求4所述的图像处理设备，其中，所述灰度恢复部包括：低通滤波器，其使所述色度信号的低频分量通过，以及混合部，其将所述色度信号和所述色度信号的低频分量彼此混合，并且所述混合部在当所述差异越大时通过将所述低频分量的比率设置得越高来将所述色度信号和所述色度信号的低频分量彼此混合。7.根据权利要求4所述的图像处理设备，其中，所述灰度恢复部包括：低通滤波器，其使所述色度信号的低频分量通过，以及滤波器强度切换部，其在当所述差异越大时，越增强所述低通滤波器的强度。8.根据权利要求1所述的图像处理设备，其中，所述灰度控制部包括：差异计算部，其计算所述亮度信号和所述色度信号之间的差异，以及滤波处理部，其从数据库获得与所述差异对应的滤波器因数，并且将与所述滤波器因数对应的滤波处理应用于所述色度信号，并且所述数据库具有通过学习而累积...

【专利技术属性】
技术研发人员：横川昌俊，永野隆浩，内田真史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP