图像处理装置及其操作方法制造方法及图纸

本申请涉及图像处理装置及其操作方法。一种图像处理装置，其包括：图像传感器，其用于获取多个像素中的每一个的像素值；以及控制器，其用于获取包括多个像素中的每一个的像素值和表示曝光时间的曝光值的图案图像，基于图案图像中包括的多个像素当中具有相同曝光值的像素生成多个超分辨率图像，基于多个超分辨率图像中包括的多个像素当中处于选定位置的像素的曝光值的比率以及多个超分辨率图像中包括的多个像素当中处于选定位置的像素的像素值的比率来生成表示物体的运动的运动地图，并根据多个超分辨率图像和运动地图的加权和生成目标图像。成目标图像。成目标图像。

【技术实现步骤摘要】
图像处理装置及其操作方法


[0001]本公开涉及电子装置，更具体地，涉及图像处理装置及其操作方法。

技术介绍

[0002]图像处理装置是用于处理图像以提高图像质量的装置。近来，随着计算机和通信行业的发展，在包括智能电话、数码相机、游戏机、物联网、机器人、安全摄像头、医疗相机等的各种电子装置中对于具有提高的性能的图像处理装置的需求已经增加。
[0003]特别地，最近研究了用于合成多个原始图像并将合成图像生成为最终图像的各种技术以使用图像处理装置来提高图像质量。

技术实现思路

[0004]本公开的实施方式提供了一种用于通过将发生运动的区域和未发生运动的区域彼此区分开来生成具有提高的图像质量的图像的图像处理装置以及该图像处理装置的操作方法。
[0005]根据本公开的一方面，提供了一种图像处理装置，其包括：图像传感器，其被配置为获取多个像素中的每一个的像素值；以及控制器，其被配置为获取包括多个像素中的每一个的像素值和表示获取像素值的曝光时间的曝光值的图案图像，基于图案图像中包括的多个像素当中的具有相同曝光值的像素生成多个超分辨率图像，基于多个超分辨率图像中包括的多个像素当中处于选定位置的像素的曝光值的比率以及多个超分辨率图像中包括的多个像素当中处于选定位置的像素的像素值的比率来生成表示物体的运动的运动地图(motion map)，并根据多个超分辨率图像和运动地图的加权和生成目标图像。
[0006]根据本公开的另一方面，提供了一种用于操作图像处理装置的方法，该方法包括：获取包括多个像素中的每一个的像素值和表示获取像素值的曝光时间的曝光值的图案图像，基于图案图像中包括的多个像素当中的具有相同曝光值的像素生成多个超分辨率图像，基于多个超分辨率图像中包括的多个像素当中处于选定位置的像素的曝光值的比率以及多个超分辨率图像中包括的多个像素当中处于选定位置的像素的像素值的比率来生成表示物体的运动的运动地图，并根据多个超分辨率图像和运动地图的加权和生成目标图像。
附图说明
[0007]下面将参照附图更全面地描述本公开的各种实施方式；然而，这些实施方式可以以不同的形式实施并且不应被解释为限于在本文中阐述的实施方式。相反，提供这些实施方式是为了使本公开将是彻底的和完整的，并将向本领域技术人员充分传达实施方式的范围。
[0008]在附图中，为了图示清楚，尺寸可能被夸大。将理解的是，当元件被称为在两个元件“之间”时，它可以是这两个元件之间的唯一元件，或者也可以存在一个或更多个中间元
件。相似的附图标记始终指代相似的元件。
[0009]图1是例示根据本公开的实施方式的图像处理装置的图。
[0010]图2A是例示根据本公开的实施方式的图像传感器的图。
[0011]图2B是例示根据本公开的实施方式的控制器的图。
[0012]图3是例示根据本公开的实施方式的图案图像的图。
[0013]图4A至图4D是例示根据本公开的实施方式的用于生成超分辨率图像的方法的图。
[0014]图5是例示根据本公开的实施方式的根据曝光值的超分辨率图像的图。
[0015]图6是例示根据本公开的实施方式的运动地图的图。
[0016]图7A是例示根据本公开的实施方式的用于计算曝光比率的方法的图。
[0017]图7B是例示根据本公开的实施方式的用于生成运动地图的方法的图。
[0018]图8是例示根据本公开的实施方式的目标图像的图。
[0019]图9是例示根据本公开的实施方式的用于生成目标图像的方法的图。
[0020]图10是例示根据本公开的实施方式的图像处理装置的操作方法的图。
[0021]图11是例示根据本公开的实施方式的包括图像处理装置的计算系统的图。
具体实施方式
[0022]本文公开的具体结构或功能描述仅仅是为了描述根据本公开的构思的实施方式的目的而例示的。根据本公开的构思的实施方式可以以各种形式实现，并且不应被解释为限于本文阐述的实施方式。
[0023]在下文中，将参照附图详细描述本公开的实施方式，以便本领域技术人员能够容易地实现本公开的技术精神。
[0024]图1是例示根据本公开的实施方式的图像处理装置1000的图。
[0025]参照图1，图像处理装置1000可以包括图像传感器100和控制器200。图像传感器100和控制器200可以被实现为彼此分离的单独芯片或者被实现为单个集成芯片.
[0026]图像处理装置1000可以被实现为各种电子装置。例如，图像处理装置1000可以被实现为数码相机、移动装置、智能电话、个人计算机(PC)、平板PC、笔记本、个人数字助理(PDA)、企业数字助理(EDA)、便携式多媒体播放器(PMP)、可穿戴装置、黑匣子、机器人等。在另一实施方式中，图像处理装置1000可以实现为封装组件。图像处理装置1000可以被包括在各种电子装置中。
[0027]图像传感器100可以获取多个像素中的每一个的像素值。具体地，图像传感器100可以通过将入射到多个像素中的每一个的光转换为电信号来获取像素值。图像传感器100可以通过多个像素中的每一个的像素值来获取图像。像素可以表示构成图像的单元。也就是说，图像可以包括多个像素。为此，图像传感器100可以被实现为电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。
[0028]各种像素数据可以被映射到像素。像素数据可以包括表示像素的位置、像素的颜色、像素值(PV)和像素的曝光值(EV)中的至少一个的信息。像素和像素数据的概念可以同等地应用于将在下面描述的图案图像、超分辨率图像和目标图像。
[0029]多个像素可以包括单独的像素。多个像素当中的任何像素可以表示为像素(i,j)。这里，i和j中的每一个是自然数，并且i和j可以表示对应的像素在行方向和列方向上布置
的位置。像素(i,j)可以表示位于行方向上的第i行和列方向上的第j列的像素。
[0030]像素的颜色可以表示红色、绿色和蓝色中的一个。图像可以通过一个点像素来表达颜色，该一个点像素是通过组合红色像素、绿色像素和蓝色像素获得的。
[0031]像素值可以表示像素的亮度。例如，随着像素值是更大的值，对应的像素可以表现更高的亮度。可以根据像素的颜色和像素值通过显示装置(未示出)视觉地显示图像。
[0032]图像传感器100可以通过多个像素中的每一个的像素值来获取图案图像。图案图像可以表示具有以下图案的图像：其中第一颜色的像素所属的组、第二颜色的像素所属的组和第三颜色的像素所属的组在行方向和列方向上交替布置。第一颜色、第二颜色和第三颜色是不同的颜色，并且第一颜色、第二颜色和第三颜色中的每一个可以是红色、绿色和蓝色当中的一种颜色。像素所属的每个组可以位于每个局部区域中。
[0033]像素的曝光值可以表示曝光时间。例如，曝光值可以是计算为曝光时间、模拟增益值和数字增益值的乘积的值。曝光时间可以是在图像传感器100内的像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，该图像处理装置包括：图像传感器，所述图像传感器获取多个像素中的每一个的像素值；以及控制器，所述控制器：获取图案图像，所述图案图像包括所述多个像素中的每一个的像素值以及表示获取所述像素值的曝光时间的曝光值；基于所述图案图像中包括的所述多个像素当中具有相同曝光值的像素来生成多个超分辨率图像；基于所述多个超分辨率图像中包括的多个像素当中处于选定位置的像素的曝光值的比率以及所述多个超分辨率图像中包括的所述多个像素当中处于所述选定位置的像素的像素值的比率来生成表示物体的运动的运动地图；以及根据所述多个超分辨率图像和所述运动地图的加权和来生成目标图像。2.根据权利要求1所述的图像处理装置，其中，所述图案图像包括多个局部区域，在所述多个局部区域的每一个中布置有所述多个像素当中具有不同曝光值的像素。3.根据权利要求2所述的图像处理装置，其中，所述控制器通过以下操作生成所述超分辨率图像：在所述图案图像的所述多个局部区域的每一个中提取具有相同曝光值的像素；以及根据颜色交替布置所提取的像素。4.根据权利要求1所述的图像处理装置，其中，所述控制器包括超分辨率图像生成器，所述超分辨率图像生成器：在所述图案图像中包括的所述多个像素当中提取具有第一曝光值的像素和具有第二曝光值的像素；生成所述多个超分辨率图像当中的第一超分辨率图像，所述第一超分辨率图像包括具有所述第一曝光值并根据颜色交替布置的多个第一像素；以及生成所述多个超分辨率图像当中的第二超分辨率图像，所述第二超分辨率图像包括具有所述第二曝光值并根据颜色交替布置的多个第二像素。5.根据权利要求4所述的图像处理装置，其中，所述控制器还包括运动地图生成器，所述运动地图生成器：基于所述第一超分辨率图像中包括的所述多个第一像素和所述第二超分辨率图像中包括的所述多个第二像素当中处于所述选定位置的像素的所述曝光值的比率以及所述第一超分辨率图像中包括的所述多个第一像素和所述第二超分辨率图像中包括的所述多个第二像素当中处于所述选定位置的像素的所述像素值的比率来计算所述选定位置的运动值；以及生成包括计算出的运动值的所述运动地图。6.根据权利要求5所述的图像处理装置，其中，所述控制器还包括目标图像生成器，所述目标图像生成器：计算所述多个第一像素和所述多个第二像素当中处于所述选定位置的像素的像素值与多个运动值当中对应于所述选定位置的运动值的加权和；以及通过将所述选定位置的所述加权和映射到所述目标图像中包括的多个像素当中处于所述选定位置的像素的像素值来生成所述目标图像。
7.根据权利要求5所述的图像处理装置，其中，当所述多个第一像素和所述多个第二像素当中处于所述选定位置的像素中的至少一个像素饱和时，所述运动地图生成器将所述选定位置的所述运动值计算为值0。8.根据权利要求1所述的图像处理装置，其中，所述图案图像包括多个局部区域，在所述多个局部区域中所述多个像素当中表示相同颜色的像素以n
×
n阵列布置，其中n是大于0的整数。9.根据权利要求1所述的图像处理装置，其中，所述多个超分辨率图像中的每一个是具有比所述图案图像的分辨率高的分辨率的图像。10.根据权利要求1所述的图像处理装置，其中，所述控制器包括超分辨率图像生成器，所述超分辨率图像生成器基于所述图案图像中包括的所述多个像素当中具有相同曝光值的像素通过超分辨率技术生成所述多个超分辨率图像...

【专利技术属性】
技术研发人员：金童翼，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：