根据一个实施方式的图像处理装置包括处理单元，该处理单元从图像传感器接收第一拜耳数据，从陀螺仪传感器接收陀螺仪数据，并且通过使用接收的陀螺仪数据从第一拜耳数据生成相机移动被补偿的第二拜耳数据。相机移动被补偿的第二拜耳数据。相机移动被补偿的第二拜耳数据。
【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和图像处理方法
[0001]本专利技术涉及图像处理装置，更具体地，涉及用于生成使用深度学习算法来稳定图像并去除模糊的拜耳数据的图像处理装置和图像处理方法。
技术介绍
[0002]因为当由于手抖动而发生相机移动时无法获得清晰的图像，因此相机中的补偿相机移动的图像稳定器功能是用于获得高质量图像的非常重要的功能。图像安全功能主要分为光学图像稳定(OIS)和电子图像稳定(EIS)。OIS是通过根据相机移动来移动图像传感器或透镜来稳定图像的技术，并且EIS是通过图像处理使用稳定算法进行图像补偿的技术。
[0003]EIS由于结构限制而在性能上劣于OIS，但是在价格和尺寸方面具有优势。此外，随着市场趋向于增强高倍率变焦，图像稳定技术变得越来越重要，并且对于现有的VCM型OIS，由于控制精度的限制，高倍率下的OIS的精度成为问题。
[0004]为了解决由于手抖动或振动引起的屏幕模糊而导致捕获图像的质量劣化的问题，已经通过将DSLR中的OIS引入小型相机来改善图像质量。
[0005]在移动的情况下，自从首次将OIS功能引入相机，OIS功能已经成为足以被大多数制造商参考旗舰模型采用的必要功能。
[0006]随着市场趋势向加强高倍率方向发展，OIS功能已经变得更加重要，但是由于机械技术的限制，高倍率下的OIS性能降低。
[0007]在一些情况下，由于OIS模块的价格劣势或机械可靠性的问题，低端移动相机或车辆相机采用EIS，然而，直到现在，EIS的性能劣于OIS，并且出现视角损失，并且由于不能去除在相机曝光时间期间出现的模糊，因此在用于在夜间或室内拍摄的环境(需要长曝光时间的环境)中不能获得令人满意的性能。
[0008]具体地，当将相机用作先进驾驶员辅助系统(ADAS)时，由于振动或抖动而获取的模糊图像有可能使识别率显著降低。
[0009]为了提高现有VCM的控制精度，正在开发使用诸如MEMS的技术的OIS，但是存在高成本和可靠性的问题。
技术实现思路
[0010]技术课题
[0011]本专利技术要解决的技术课题是提供用于生成稳定图像并去除模糊的拜耳数据的图像处理装置、相机模块和图像处理方法。
[0012]本专利技术的课题不限于上面提及的课题，并且本领域技术人员根据以下描述将清楚地理解未提及的其他课题。
[0013]技术解决方案
[0014]为了解决以上技术课题，根据本专利技术的实施方式的图像处理装置包括处理器，该处理器被配置成从图像传感器接收第一拜耳数据，从陀螺仪传感器接收陀螺仪数据，并且
使用所接收的陀螺仪数据从第一拜耳数据生成通过补偿相机移动而获得的第二拜耳数据。
[0015]另外，处理器可以执行深度学习以从第一拜耳数据生成第二拜耳数据。
[0016]另外，处理器可以去除第一拜耳数据中包括的模糊。
[0017]另外，处理器可以使用通过关于拜耳数据处理的训练得出的第一深度学习参数来执行深度学习。
[0018]另外，第一深度学习参数可以包括：根据陀螺仪数据而变化的可变参数；以及独立于陀螺仪数据的固定参数。
[0019]另外，拜耳数据处理的训练可以通过以下来执行训练：在移动环境中接收连续的拜耳数据和陀螺仪数据；获得作为连续的拜耳数据之一的第一帧数据的相邻帧的平均图像；通过基于第一帧数据之后的帧数据对所获得的平均图像执行降低来生成输入数据；使用所生成的输入数据和陀螺仪数据作为深度学习训练输入数据；以及使用第一帧数据作为深度学习训练比较数据。
[0020]另外，第一拜耳数据可以是通过使用从霍尔传感器接收的位置数据操作相机模块的致动器来对其移动进行光学补偿的数据。
[0021]另外，处理器可以形成在图像传感器模块、相机模块或AP模块上。
[0022]为了解决以上技术课题，根据本专利技术的实施方式的相机模块包括：图像传感器，其被配置成生成第一拜耳数据；陀螺仪传感器，其被配置成检测移动并生成陀螺仪数据；以及第一处理器，其被配置成通过使用所接收的陀螺仪数据从第一拜耳数据生成通过补偿相机移动而获得的第二拜耳数据。
[0023]另外，霍尔传感器用于通过检测相机模块的移动来生成位置数据；第二处理器用于使用从霍尔传感器接收的位置数据来操作致动器；以及致动器在第二处理器的控制下进行操作。
[0024]有益效果
[0025]根据本专利技术的实施方式，可以解决由手抖动或振动引起的图像质量的劣化。另外，即使在高倍率下，也可以解决OIS中可能发生的性能降低。通过不仅处理相机移动补偿，而且还处理作为原始数据的拜耳数据中的模糊去除，由于大量信息，可以获得高质量的图像。
[0026]根据本专利技术的效果不受上面例示的内容的限制，并且在本说明书中包括更多各种效果。
附图说明
[0027]图1是根据本专利技术的实施方式的图像处理装置的框图。
[0028]图2至图5是示出根据本专利技术的实施方式的图像处理装置的图像处理过程的图。
[0029]图6是根据本专利技术的另一实施方式的图像处理装置的框图。
[0030]图7是用于描述根据本专利技术的另一实施方式的图像处理装置接收和处理拜耳数据、陀螺仪数据或IR数据的过程的图。
[0031]图8是根据本专利技术的实施方式的相机模块的框图。
[0032]图9是根据本专利技术的另一实施方式的相机模块的框图。
[0033]图10是根据本专利技术的实施方式的图像处理方法的流程图。
具体实施方式
[0034]本公开内容在下文中，将参照附图详细描述本专利技术的优选实施方式。
[0035]然而，本专利技术的技术构思不限于要描述的一些实施方式，而是可以以各种形式实现，并且在本专利技术的技术构思的范围内，构成元件中的一个或更多个可以在实施方式之间选择性地组合或替换。
[0036]另外，除非明确地限定和描述，否则本专利技术的实施方式中使用的术语(包括技术术语和科学术语)可以解释为可以由本领域技术人员通常理解的含义，并且通常使用的术语例如词典中定义的术语可以在考虑相关技术的背景含义的情况下进行解释。
[0037]另外，本说明书中使用的术语用于描述实施方式，而不旨在限制本专利技术。
[0038]在本说明书中，除非在短语中具体说明，否则单数形式可以包括复数形式，并且当被描述为“A和B和C中的至少之一(或多于一个)”时，其可以包括可以与A、B和C组合的所有组合中的一个或更多个组合。
[0039]另外，在描述本专利技术的实施方式的部件时，可以使用诸如第一、第二、A、B、(a)和(b)的术语。这些术语仅旨在将部件与其他部件区分开，并且这些术语不限制部件的性质、顺序或次序。
[0040]此外，当部件被描述为“连接”、“耦接”或“互连”至另一部件时，该部件不仅直接连接、耦接或互连至其他部件，而且还可以包括由于其他部件之间的另一部件而进行“连接”、“耦接”或“互连”的情况。
[0041]另外，当描述为形成或布置在每个部件的“上(上方)”或本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，包括：处理器，所述处理器被配置成从图像传感器接收第一拜耳数据，从陀螺仪传感器接收陀螺仪数据，并且使用所接收的陀螺仪数据从所述第一拜耳数据生成通过补偿相机移动而获得的第二拜耳数据。2.根据权利要求1所述的图像处理装置，其中，所述处理器执行深度学习以从所述第一拜耳数据生成所述第二拜耳数据。3.根据权利要求1所述的图像处理装置，其中，所述处理器去除所述第一拜耳数据中包括的模糊。4.根据权利要求1所述的图像处理装置，其中，所述处理器使用通过关于拜耳数据处理的训练得出的第一深度学习参数来执行深度学习。5.根据权利要求4所述的图像处理装置，其中，所述第一深度学习参数包括：根据所述陀螺仪数据而变化的可变参数；以及独立于所述陀螺仪数据的固定参数。6.根据权利要求4所述的图像处理装置，其中，拜耳数据处理的训练通过以下步骤来执行训练：在移动环境中接收连续的拜耳数据和陀螺仪数据；获得作为连续的拜耳数据之一的第一帧数据的相邻帧的平均图像；通过基于所述第一帧数据之后的帧数据对所获得的平均图像执...
【专利技术属性】
技术研发人员：郑知训，
申请(专利权)人：LG伊诺特有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。