相机装置以及相机装置的图像生成方法制造方法及图纸

根据实施方式的相机装置可以包括：图像传感器，其生成具有第一分辨率的第一拜耳数据；以及处理器，其基于第一拜耳数据执行深度学习以输出具有第二分辨率的第二拜耳数据，第二分辨率高于第一分辨率。辨率高于第一分辨率。辨率高于第一分辨率。

【技术实现步骤摘要】
【国外来华专利技术】相机装置以及相机装置的图像生成方法


[0001]本专利技术涉及相机装置以及相机装置的图像生成方法，并且更具体地，涉及用于使用深度学习算法基于高分辨率图像以各种倍率生成图像的技术。

技术介绍

[0002]随着相机装置的技术进步和小型化变得可能，小型相机装置正被应用于和用在诸如智能电话、移动电话、PDA等的各种IT装置中。相机装置使用诸如CCD或CMOS的图像传感器作为主要部件来制造，并且被制造成使得能够进行对焦调整以调整图像的尺寸。
[0003]这样的相机装置被配置成包括多个透镜和致动器，并且相对于被摄体的对象可以以这样的方式被拍摄：当致动器移动每个透镜以改变相对距离时，光学焦距被调整。
[0004]具体地，相机装置包括：图像传感器，其将从外部接收的光信号转换为电信号；透镜，其将光聚焦到图像传感器上；红外(IR)滤波器；容纳它们的壳体；以及处理图像传感器信号的印刷电路板等，并且致动器通过诸如音圈马达(VCM)致动器或微机电系统(MEMS)致动器的致动器来调整透镜的焦距。
[0005]同时，随着技术的进步和使得能够实现高分辨率图像，对能够实现远处对象的高分辨率图像的技术的需求也在增加。
[0006]通常，相机配备有变焦功能以拍摄远处对象的照片，变焦功能主要分为光学变焦和数字变焦方法，在光学变焦中，相机内的实际透镜移动以放大被摄体，在数字变焦方法中，通过使用数字处理方法放大被拍摄对象的图像数据的一部分来实现变焦效果。
[0007]在通过使用透镜移动来获得被摄体的图像的光学变焦的情况下，可以获得具有相对高分辨率的图像，但是存在的问题是相机的内部结构复杂，并且由于增加了部件而成本增加。另外，对其中可以通过使用光学变焦放大被摄体的区域存在限制，并且对于这部分，正在开发利用软件校正的技术。
[0008]除了这些方法之外，还存在通过移动相机内的部件生成更多像素信息来实现高分辨率图像的技术，例如利用音圈马达(VCM)或微机电系统(MEMS)技术来摇动传感器的传感器移位技术、通过利用VCM等摇动透镜来获得像素信息的光学图像稳定器(OIS)技术、以及在传感器与透镜之间摇动滤波器的技术等。
[0009]然而，这些技术的缺点在于，当拍摄移动对象时，可能发生诸如运动模糊或伪像的现象，因为它们合成了几个视差的数据，这导致降低图像质量的问题。
[0010]另外，存在的问题是，当将用于实现这一点的复杂装置插入至相机中时，相机装置的尺寸增大，难以在安装相机的车辆中使用，因为其是通过摇动部件来实现的，并且只能在静止环境中使用。
[0011]另一方面，作为使用通常在TV中使用的软件算法的高分辨率实现技术，存在诸如单帧超分辨率(SR)或多帧超分辨率(SR)等的技术。
[0012]在这些技术的情况下，不存在伪像问题，但是这是一种难以应用于可以应用诸如移动设备、车辆、IoT等的小型相机装置的装置的算法，并且另外，存在难以实现除非安装单
独的图像处理器以实现这样的技术的问题。
[0013]另外，在数字变焦的情况下，由于通过简单地放大较少放大的图像的一部分来生成图像，所以像素的实际数目随着倍率的增加而减少，导致性能的劣化。因此，为了解决该问题。尽管针对智能电话相机正在进行使用光学系统的变焦开发，但是存在由于增加包括透镜的部件而导致尺寸增加和价格增加的问题。
[0014]另外，在现有技术的小型相机的使用光学系统进行变焦的情况下，与常规的数字相机不同，由于透镜不是连续移动的，因此除特定固定倍率之外不能使用透镜生成图像，因此对于这样的区域，通过利用软件进行处理来生成变焦图像。然而，由于这也是基于多相机实现的，因此价格增加，并且需要附加的软件来将由多个相机拍摄的多个图像合成为单个图像。
[0015]然而，由于能够执行这样的合成算法的软件需要处理大量的数据，因此存在即使在最新的应用处理器(AP)中也难以实时处理的问题。因此，在移动图片环境中，必须使用通常的数字变焦，这不可避免地只能获取具有较差分辨率的图像。

技术实现思路

[0016][技术主题][0017]因此，本专利技术是为了解决如上所述的现有技术的问题而设计的专利技术，并且要提供能够从低分辨率图像生成高分辨率图像而不引起诸如运动模糊或伪像的问题的相机装置和相机装置的图像生成方法，以及包括相机装置的移动终端装置。
[0018]具体地，目的是提供能够通过将应用了基于深度学习技术的高分辨率实现算法的芯片安装在相机装置或以运行中(on the fly)形式配备有相机装置的移动终端装置上来更高效地生成高分辨率图像的相机装置和相机装置的图像生成方法以及包括相机装置的移动终端装置。
[0019]另外，目的是在由于相机装置的特性而只能针对特定倍率生成图像的情况下，通过提供针对不能生成的倍率的图像使用深度学习而生成的图像，来提供能够提供基本连续的变焦倍率的图像的相机装置和相机装置的图像生成方法。
[0020][技术方案][0021]一种根据实施方式的相机装置包括：
[0022]输入单元，其用于从用户接收关于图像的倍率信息；图像传感器，其用于接收光并且生成具有第一分辨率的第一图像；处理器，其用于通过基于第一图像执行深度学习来生成具有第二分辨率的第二图像，第二分辨率高于第一分辨率，其中，处理器可以基于第一图像和第二图像生成与由用户输入的倍率对应的第三图像。
[0023]处理器可以通过将第二图像叠加在以用户输入的倍率放大的第一图像上来生成第三图像。
[0024]处理器可以生成具有分辨率值在第一分辨率与第二分辨率之间的第三图像。
[0025]处理器可以在使用所输入的倍率扩展(up
‑
scaling)第一图像并且使用所输入的倍率缩减(down
‑
scaling)第二图像之后生成第三图像。
[0026]处理器可以在将第二图像叠加到第一图像的中央之后生成第三图像。
[0027]处理器可以基于第一图像与第二图像彼此叠加的边界区域以预设范围执行分辨
率的校正。
[0028]处理器可以通过改变第一分辨率和第二分辨率的混合比率来执行分辨率的校正。
[0029]处理器可以基于边界区域在第一分辨率进入第二图像的内部时增加第一分辨率的混合比率。
[0030]处理器可以根据预设算法生成第二图像，以生成具有第二分辨率的图像。
[0031]根据另一实施方式的一种相机装置的图像生成方法可以包括以下步骤：从用户接收关于图像的倍率信息；使用图像传感器接收光并且生成具有第一分辨率的第一图像；通过基于第一图像执行深度学习来生成具有第二分辨率的第二图像，第二分辨率高于第一分辨率；以及基于第一图像和第二图像生成第三图像，第三图像是由用户输入的倍率的图像。
[0032]生成第三图像的步骤可以包括通过将第二图像叠加在以用户输入的倍率放大的第一图像上来生成第三图像的步骤。
[0033]生成第三图像的步骤可以包括生成具有分辨率值在第一分辨率与第二分辨本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种相机装置，包括：输入单元，其被配置成从用户接收关于图像的倍率信息；图像传感器，其被配置成接收光并且生成具有第一分辨率的第一图像；处理器，其被配置成通过基于所述第一图像执行深度学习来生成具有第二分辨率的第二图像，所述第二分辨率高于所述第一分辨率，其中，所述处理器基于所述第一图像和所述第二图像生成与由所述用户输入的倍率对应的第三图像。2.根据权利要求1所述的相机装置，其中，所述处理器通过将所述第二图像叠加在以所述用户输入的倍率放大的所述第一图像上来生成所述第三图像。3.根据权利要求1所述的相机装置，其中，所述处理器生成具有分辨率值在所述第一分辨率与所述第二分辨率之间的第三图像。4.根据权利要求1所述的相机装置，其中，所述处理器在使用所输入的所述倍率扩展所述第一图像并且使用所输入的所述倍率缩减所述第二图像之后生成第三图像。5.根据权利要求1所述的相机装置，其中，所述处理器在将所述第二图像叠加到所述第一图像的中央之后生成第...

【专利技术属性】
技术研发人员：全世美，朴贞娥，
申请(专利权)人：LG伊诺特有限公司，
类型：发明
国别省市：