图像传感器、图像获取设备和操作图像获取设备的方法技术

公开了图像传感器、图像获取设备和操作图像获取设备的方法。所述图像获取设备包括：显示层，包括多个孔区域和布置在所述多个孔区域之间的多个像素区域，其中，外部光通过多个孔区域被接收；图像传感器，设置在显示层下方，并且被配置为通过感测通过多个孔区域接收的外部光来生成原始图像；处理器，被配置为基于模糊信息对原始图像执行图像处理，所述模糊信息基于多个孔区域的布置。基于多个孔区域的布置。基于多个孔区域的布置。

【技术实现步骤摘要】
图像传感器、图像获取设备和操作图像获取设备的方法
[0001]本申请要求于2020年8月31日在韩国知识产权局提交的第10
‑
2020
‑
0110128号韩国专利申请和于2021年3月10日在韩国知识产权局提交的第10
‑
2021
‑
0031386号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用被包含于此。


[0002]下面的描述涉及一种图像传感器、包括图像传感器的图像获取设备和操作图像获取设备的方法。

技术介绍

[0003]相机(一种被配置为捕获图像的装置)被广泛地装配在各种电子装置中。相机已经成为诸如智能电话的移动装置的必要部件，并且随着时间推移，相机变得更先进并在尺寸上更小。通常，智能电话可以包括前置相机和后置相机。前置相机可以设置在智能电话的上端，用于捕获用户自拍照。

技术实现思路

[0004]提供本
技术实现思路
以便以简化的形式介绍以下在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意图确定要求权利的主题的关键特征或必要特征，也不意图用于帮助确定要求权利的主题的范围。
[0005]在一个总体方面，一种图像获取设备包括：显示层，包括多个孔区域和布置在所述多个孔区域之间的多个像素区域，其中，外部光通过所述多个孔区域被接收；图像传感器，设置在显示层下方，并且被配置为通过感测通过所述多个孔区域接收的外部光来生成原始图像；以及处理器，被配置为基于模糊信息对原始图像执行图像处理，模糊信息基于所述多个孔区域的布置。
[0006]所述多个孔区域中的每个可以布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内。
[0007]所述多个孔区域中的每个可以为圆形，并且所述多个孔区域在形状和尺寸上可以是相同的。
[0008]所述多个孔区域中的每个在尺寸上可以比所述多个像素区域中的每个大，并且所述多个孔区域可以彼此分离。
[0009]处理器可以通过对原始图像执行图像预处理来生成预处理图像，并且通过对预处理图像执行图像恢复来生成增强图像。
[0010]处理器还可以被配置为通过执行被配置为将滤波器应用于原始图像的图像预处理和被配置为对原始图像执行图像去卷积的图像预处理中的任何一个或两者来生成预处理图像。
[0011]处理器还可以被配置为使用基于神经网络的图像恢复模型来获得增强图像，基于
神经网络的图像恢复模型被配置为使用预处理图像作为输入。
[0012]模糊信息可以基于所述多个孔区域的形状、尺寸、深度和间隔中的任何一个或者任何两个或更多个的任何组合来确定。
[0013]模糊信息可以包括与通过所述多个孔区域的形状、尺寸、深度和间隔中的至少一个确定的原始图像的模糊相关联的信息。
[0014]所述多个孔区域中的相邻孔区域的中心之间的间隔可以接近所述多个孔区域中的任何一个的直径。
[0015]所述多个孔区域中的相邻孔区域的中心之间的间隔与所述多个孔区域中的任何一个的直径的比率可以接近1。
[0016]在另一总体方面中，一种图像获取设备包括：显示层，包括多个像素区域和多个圆形孔区域，所述多个圆形孔区域被配置为使外部光通过其被接收；以及图像传感器，设置在显示层下方，并且被配置为通过感测外部光来生成图像。所述多个孔区域中的每个布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内。所述多个孔区域和所述多个像素区域交替地布置在显示层中，并且所述多个孔区域的形状和尺寸均相同。
[0017]相邻的孔区域可以通过用于在它们之间布线的布线区域彼此分离，并且四个孔区域可以围绕单个像素区域来布置。
[0018]在另一总体方面中，一种图像传感器包括处理器，处理器被配置为：基于通过包括在显示层中的多个孔区域接收的外部光来生成原始图像，并基于模糊信息对原始图像执行图像处理，模糊信息基于所述多个孔区域的布置。
[0019]所述多个孔区域中的每个布置在显示层中的多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内。所述多个孔区域中的每个在尺寸上可比所述多个像素区域中的每个大，并且所述多个孔区域可以彼此分离。
[0020]在另一总体方面，一种电子设备包括：显示面板，包括具有通过其接收外部光的多个孔区域和用于输出显示图像的多个像素区域的显示层；图像传感器，设置在显示面板下方，并且被配置为通过感测外部光来生成原始图像；存储装置，被配置为存储原始图像和增强图像中的任何一个或两者。
[0021]所述多个孔区域中的每个可以布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内。所述多个孔区域中的每个可以在尺寸上比所述多个像素区域中的每个大，并且所述多个孔区域彼此分离。
[0022]在另一总体方面，一种操作图像获取设备的方法包括：通过使用设置在显示层下方的图像传感器感测通过布置在显示层中的多个孔区域接收的外部光来获得原始图像；基于模糊信息对原始图像执行图像处理，模糊信息基于所述多个孔区域的布置。
[0023]执行图像处理的步骤可以包括：通过对原始图像执行图像预处理来生成预处理图像；以及通过对预处理图像执行图像恢复来生成增强图像。
[0024]生成预处理图像的步骤可以包括：通过执行被配置为将滤波器应用于原始图像的图像预处理和被配置为对原始图像执行图像去卷积的图像预处理中的任何一个或两者来
生成预处理图像。
[0025]执行图像处理的步骤可以包括：使用基于神经网络的图像恢复模型来获得增强图像，基于神经网络的图像恢复模型使用预处理图像作为输入。
[0026]一种非暂时性计算机可读存储介质可以存储指令，指令在由一个或更多个处理器执行时使所述一个或更多个处理器执行上述方法。
[0027]在另一总体方面中，一种图像处理设备包括：显示层，包括以预定图案布置的多个孔区域和多个像素区域；图像传感器，设置在显示层下方，并且被配置为通过捕获通过所述多个孔区域的光来生成原始图像；以及处理器，被配置为基于所述多个孔区域的模糊信息来处理原始图像。
[0028]预定图案可以包括围绕所述多个像素区域中的每个的所述多个孔区域的子集。
[0029]预定图案可以包括与所述多个像素区域交错的所述多个孔区域。
[0030]所述多个孔区域中的每个可以为圆形，所述多个孔区域的形状和尺寸可以相同，并且所述多个孔区域中的每个可以在尺寸上比所述多个像素区域中的每个大。
[0031]所述多个孔区域中的每个可以为微孔区域。
[0032]模糊信息可以基于所述多个孔区域的形状、尺寸、深度、间隔和基于所述多个孔区域的布置的点扩散函数(PSF)中的任何一个或者任何两个或更多个的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像获取设备，包括：显示层，包括多个孔区域和布置在所述多个孔区域之间的多个像素区域，其中，外部光通过所述多个孔区域被接收；图像传感器，设置在显示层下方，并且被配置为通过感测通过所述多个孔区域接收的外部光来生成原始图像；以及处理器，被配置为基于模糊信息对原始图像执行图像处理，所述模糊信息基于所述多个孔区域的布置。2.根据权利要求1所述的图像获取设备，其中，所述多个孔区域中的每个布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内。3.根据权利要求1所述的图像获取设备，其中，所述多个孔区域中的每个为圆形，并且所述多个孔区域的形状和尺寸相同。4.根据权利要求1所述的图像获取设备，其中，所述多个孔区域中的每个在尺寸上比所述多个像素区域中的每个大，并且所述多个孔区域通过它们之间的布线区域彼此分离。5.根据权利要求1至4中任一项所述的图像获取设备，其中，处理器还被配置为：通过对原始图像执行图像预处理来生成预处理图像；以及通过对预处理图像执行图像恢复来生成增强图像。6.根据权利要求5所述的图像获取设备，其中，处理器还被配置为：通过执行被配置为将滤波器应用于原始图像的图像预处理和被配置为对原始图像执行图像去卷积的图像预处理中的任何一个或两者来生成预处理图像。7.根据权利要求5所述的图像获取设备，其中，处理器还被配置为：使用基于神经网络的图像恢复模型来获得增强图像，所述基于神经网络的图像恢复模型被配置为使用预处理图像作为输入。8.根据权利要求1所述的图像获取设备，其中，所述模糊信息基于所述多个孔区域的形状、尺寸、深度和间隔中的任何一个或者任何两个或更多个的任何组合确定。9.根据权利要求1所述的图像获取设备，其中，所述模糊信息包括与通过所述多个孔区域的形状、尺寸、深度和间隔中的至少一个确定的原始图像的模糊相关联的信息。10.根据权利要求9所述的图像获取设备，其中，所述多个孔区域中的相邻孔区域的中心之间的间隔接近所述多个孔区域中的任何一个的直径。11.根据权利要求9所述的图像获取设备，其中，所述多个孔区域中的相邻孔区域的中心之间的间隔与所述多个孔区域中的任何一个的直径的比率接近1。12.一种图像获取设备，包括：显示层，包括多个像素区域和多个圆形孔区域，所述多个圆形孔区域被配置为使外部光通过其被接收；以及图像传感器，设置在显示层下方，并且被配置为通过感测外部光来生成图像，其中，所述多个孔区域中的每个布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内，所述多个孔区域和所述多个像素区域交替地布置在显示层中，并且所述多个孔区域的形状和尺寸均相同。
13.根据权利要求12所述的图像获取设备，其中，相邻的孔区域通过用于在它们之间布线的布线区域彼此分离，并且四个孔区域围绕单个像素区域来布置。14.一种图像传感器，包括：处理器，被配置为：基于通过包括在显示层中的多个孔区域接收的外部光来生成原始图像；并且基于模糊信息对原始图像执行图像处理，所述模糊信息基于所述多个孔区域的布置。15.根据权利要求14所述的图像传感器，其中，所述多个孔区域中的每个布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内，所述多个孔区域中的每个在尺寸上比所述多个像素区域中的每个大，并且所述多个孔区域彼此分离。16.一种电子设备，包括：显示面板，包括具有通过其接收外部光的多个孔区域和用于输出显示图像的多个像素区域的显示层接收；图像传感器，设置在显示面板下方，并且被配置为通过感测外部光来生成原始图像；处理器，被配置为通过基于模糊信息对原始图像执行图像处理来生成增强图像，所述模糊信息基于所述多个孔区域的布置；以及存储装置，被配置...

【专利技术属性】
技术研发人员：李受珍，康恩熙，权基南，李炯旭，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：