【技术实现步骤摘要】
本公开总体涉及电子装置，更具体地涉及使用超分辨率网络的图像处理装置及图像处理方法。
技术介绍
1、图像传感器是通过使用半导体的特性而获取图像的装置。随着计算机产业和通信产业的发展，在包括智能电话、数字相机、游戏机、物联网(iot)、机器人、安全摄像头、医学微型相机等的多个领域中对具有更好性能的图像传感器的需求已经增加。
2、最近，已经开发了具有片上透镜(ocl)结构的图像传感器，在该结构中在多个像素上方设置一个微透镜以便实现快速聚焦。在图像传感器具有以2×2的形式重复布置相同颜色的像素(滤色器)的2×2ocl结构的情况下，存在像素值根据相位差而反转的问题，因此存在图像的质量变差的问题。因此，对于具有2×2ocl结构等的图像传感器需要使用新方法的图像处理技术。
技术实现思路
1、根据本公开的一个方面，提供了一种图像处理装置，包括：存储器，其被配置为存储超分辨率网络，所述超分辨率网络被训练为基于输入图像而输出校正图像；以及处理器，其被配置为基于通过第一图像传感器获取的第一图像和从所述超分辨率网络输出的校正图像而输出超分辨率图像，其中，所述超分辨率网络是通过使用经由第二图像传感器获取的第二图像而训练的模型，以及其中，所述第二图像传感器的类型与所述第一图像传感器的类型不同。
2、根据本公开的另一方面，提供了一种图像处理方法，包括：经由第一图像传感器获取第一图像；以及经由使用通过第二图像传感器获取的第二图像训练的超分辨率网络、基于第一图像而获取超分辨率图像，其中，所述
本文档来自技高网...【技术保护点】
1.一种图像处理装置，包括：
2.根据权利要求1所述的图像处理装置，其中，所述第一图像传感器包括多个相位检测像素，以及
3.根据权利要求2所述的图像处理装置，其中，所述多个相位检测像素中的每一个包括用于折射光的微透镜和用于感测经由所述微透镜折射的光的强度的光电二极管，以及
4.根据权利要求2所述的图像处理装置，其中，所述多个常规像素中的每一个包括用于折射光的微透镜和用于感测经由所述微透镜折射的光的强度的光电二极管，以及
5.根据权利要求1所述的图像处理装置，其中，所述处理器获取通过对所述第一图像中包括的像素值执行组合处理而获得的组合图像、获取所述组合图像的尺扩图像、以及通过使用所述超分辨率网络而获取所述超分辨率图像。
6.根据权利要求5所述的图像处理装置，其中，所述第一图像包括多个单位区域，并且所述多个单位区域中的每一个包括相同颜色的像素值，以及
7.根据权利要求5所述的图像处理装置，其中，所述处理器包括缩放器，所述缩放器通过对所述组合图像执行插值处理而获取所述尺扩图像。
8.根据权利要求5所述的
9.根据权利要求8所述的图像处理装置，其中，所述超分辨率网络的多个滤波器基于与所述第二图像之中的选择的第二图像相对应的组合图像和通过对预处理图像和与所述选择的第二图像相对应的残差图像进行求和而获得的输出图像之间的损失值而被更新，
10.根据权利要求1所述的图像处理装置，其中，所述第一图像和所述第二图像包括根据四拜耳图案布置的红颜色的像素值、绿颜色的像素值和蓝颜色的像素值，以及
11.一种图像处理方法，包括：
12.根据权利要求11所述的图像处理方法，还包括：通过对所述第一图像中包括的多个单位区域中的每一个中包括的像素值执行平均运算而获取组合图像，所述组合图像包括与所述多个单位区域相对应的多个平均像素值。
13.根据权利要求12所述的图像处理方法，还包括：通过对所述组合图像执行插值处理而获取尺扩图像。
14.根据权利要求13所述的图像处理方法，其中，获取所述超分辨率图像包括：
15.根据权利要求11所述的图像处理方法，还包括：通过使用经由所述第二图像传感器获取的所述第二图像来训练所述超分辨率网络中包括的多个滤波器，所述第二图像传感器包括均具有用于覆盖多个光电二极管的尺寸的多个微透镜。
16.根据权利要求15所述的图像处理方法，其中，训练所述多个滤波器包括：
17.根据权利要求16所述的图像处理方法，其中，获取所述预处理图像包括：
18.根据权利要求11所述的图像处理方法，还包括：接收和存储在外部装置中训练的所述超分辨率网络。
19.根据权利要求11所述的图像处理方法，其中，所述第一图像传感器包括多个第一微透镜，并且所述第二图像传感器包括多个第二微透镜，
20.根据权利要求11所述的图像处理方法，其中，所述第一图像和所述第二图像包括根据四拜耳图案布置的红颜色的像素值、绿颜色的像素值和蓝颜色的像素值，以及
...【技术特征摘要】
1.一种图像处理装置，包括：
2.根据权利要求1所述的图像处理装置，其中，所述第一图像传感器包括多个相位检测像素，以及
3.根据权利要求2所述的图像处理装置，其中，所述多个相位检测像素中的每一个包括用于折射光的微透镜和用于感测经由所述微透镜折射的光的强度的光电二极管，以及
4.根据权利要求2所述的图像处理装置，其中，所述多个常规像素中的每一个包括用于折射光的微透镜和用于感测经由所述微透镜折射的光的强度的光电二极管，以及
5.根据权利要求1所述的图像处理装置，其中，所述处理器获取通过对所述第一图像中包括的像素值执行组合处理而获得的组合图像、获取所述组合图像的尺扩图像、以及通过使用所述超分辨率网络而获取所述超分辨率图像。
6.根据权利要求5所述的图像处理装置，其中，所述第一图像包括多个单位区域，并且所述多个单位区域中的每一个包括相同颜色的像素值，以及
7.根据权利要求5所述的图像处理装置，其中，所述处理器包括缩放器，所述缩放器通过对所述组合图像执行插值处理而获取所述尺扩图像。
8.根据权利要求5所述的图像处理装置，其中，所述超分辨率网络包括多个滤波器，以及
9.根据权利要求8所述的图像处理装置，其中，所述超分辨率网络的多个滤波器基于与所述第二图像之中的选择的第二图像相对应的组合图像和通过对预处理图像和与所述选择的第二图像相对应的残差图像进行求和而获得的输出图像之间的损失值而被更新，
10.根据权利要求1所述的图像处理装置，其中，所述第一...
【专利技术属性】
技术研发人员：金童翼，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。