图像处理方法以及图像处理装置制造方法及图纸

本申请公开了人工智能领域中计算机视觉领域的一种图像处理方法以及图像处理装置，该图像处理方法包括：获取待处理原始raw域图像对应的通道图像，其中，该通道图像包括至少两个第一通道图像；对该第一通道图像进行图像修复处理，得到修复后的第一通道图像；根据该修复后的第一通道图像对该待处理raw域图像进行图像修复处理，得到联合去马赛克和去噪处理后的raw域图像。本申请的技术方案能够提升联合去马赛克和去噪后的raw域图像的图像质量。

【技术实现步骤摘要】
图像处理方法以及图像处理装置
本申请涉及人工智能领域，更具体地，涉及计算机视觉领域中的图像处理方法以及图像处理装置。
技术介绍
计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成像系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。在计算机视觉领域内，常常需要利用成像设备获取数字图像，并对数字图像进行识别或分析。例如，终端设备产生的标准彩色图像通常是通过对色彩滤波阵列数据经过一系列的图像信号处理管道算法处理得到，因此，生成图像的质量好坏往往和图像信号处理管道算法密切相关，而去马赛克(demosacing)和去噪(denoising)是图像信号处理管道算法的重要组成部分；其中，去马赛克是指从彩色滤波阵列感光器件所输出的不完全取样的色彩信号中恢复/重建出全彩图像的过程；由于含有噪声的图像会影响图像的显示效果、以及图像的分析和识别，通过图像去噪可以去除彩色滤波阵列数据中存在的噪声。目前，联合去马赛克与去噪的方法可以是通过对单通道的拜耳图像进行采样从而获取四通道的图像与三通道的掩膜图像，通过四通道的图像与三通道的掩膜图像进行融合从而得到联合去马赛克与去噪处理后的标准图像；但是，由于在联合去马赛克与去噪过程中并没有充分利用获取的色彩滤波阵列数据，从而导致联合去马赛克与去噪后的图像中可能存在伪影现象，甚至造成图像模糊；因此，如何提高联合去马赛克与去噪后的图像质量成为一个亟需解决的问题。
技术实现思路
本申请提供一种图像处理方法以及图像处理装置，能够在一定程度上避免出现伪影现象，提高联合去马赛克和去噪后的raw域图像的图像质量。第一方面，提供一种图像处理方法，包括：获取待处理原始raw域图像对应的通道图像，其中，所述通道图像包括至少两个第一通道图像；对所述第一通道图像进行图像修复处理，得到修复后的第一通道图像；根据所述修复后的第一通道图像对所述待处理raw域图像进行图像修复处理，得到联合去马赛克和去噪处理后的raw域图像。其中，待处理原始raw图像可以是指传感器采集的raw域图像，其中，待处理raw域图像是指未经过图像信号处理器(imagesignalprocessor，ISP)处理的原始域图像。在一种可能的实现方式中，上述待处理raw域图像可以是指图像具有去马赛克和去噪需求的拜耳格式的图像，即图像中可能存在部分额外的信息，可以是噪声或者伪影等。应理解，图像修复处理是指恢复图像损失的部分并基于图像信息将它们重建的技术。通过图像修复处理可以试图估计原始图像信息，对破损区域进行修复和改善，从而提高图像的视觉质量。其中，图像修复处理可以包括卷积处理、重建处理等。还应理解，上述对第一通道图像进行图像修复处理，得到修复后的第一通道图像可以是指对第一通道图像进行初步的图像修复处理，得到初步修复后的第一通道图像。本申请实施例提供的图像处理方法中，可以对待处理raw域图像的通道图像进行预先的图像修复，得到初步修复的通道图像；基于初步修复的通道图像引导待处理raw域图像进行图像修复处理，从而得到联合去马赛克和去噪后的raw域；通过本申请实施例的图像处理方法能够在一定程度上避免彩色纹理的出现，使得处理后raw域图像能够保留图像细节，提升图像质量。结合第一方面，在一种可能的实现方式中，还包括：获取所述待处理raw域图像的密集图，其中，所述密集图用于指示所述待处理raw域图像中不同频率的纹理区域；所述根据所述修复后的第一通道图像对所述待处理raw域图像进行图像修复处理，得到联合去马赛克和去噪处理后的raw域图像，包括：通过对所述密集图和所述待处理raw域图像进行卷积处理，得到第一图像特征；通过所述修复后的第一通道图像引导所述第一图像特征进行卷积处理，得到所述联合去马赛克和去噪后的raw域图像。需要说明的是，上述密集图可以用于指示待处理raw域图像中不同频率的纹理区域；在密集图中对于高频纹理区域响应较高，对于低频纹理区域响应较低，从而能够根据密集图区分出待处理raw域图像中的不同纹理区域。其中，上述第一图像特征可以是指对待处理raw域图像进行初步修复得到的图像特征，即第一图像特征中可能还存在部分噪声与伪影现象，并未得到真正的联合去马赛克和去噪后的raw域图像。在本申请实施例提供的图像处理方法中，通过向神经网络中输入密集图，可以使得神经网络在对待处理raw域图像进行卷积处理时，能够区分待处理raw域图像中的不同纹理区域即纹理密集区域与纹理稀疏区域，从而能够提升去噪效果以及保持边缘细节。在本申请的实施例提供的图像处理方法中，可以先对待处理raw域图像进行初步的图像修复，即对待处理raw域图像进行卷积操作，得到输出的第一图像特征，该第一图像特征并非真正的干净图像可能还存在部分噪声或者伪影等；进一步，可以根据初步修复的通道图像对第一图像特征进行自适应卷积处理从而能够实现完全去除图像特征中的噪声和马赛克得到最终的联合去马赛克和去噪后的raw域图像。结合第一方面，在一种可能的实现方式中，所述通过所述修复后的第一通道图像引导所述第一图像特征进行卷积处理，得到所述联合去马赛克和去噪后的raw域图像，包括：根据所述修复后的第一通道图像的像素空间分布对所述第一图像特征进行卷积处理，得到所述联合去马赛克和去噪后的raw域图像，其中，所述像素空间分布用于指示所述修复后的第一通道图像中不同像素点分布的关联性。需要说明的是，通过可以上述修复后的通道图像即预先修复的通道图像的像素空间分布对初步修复的图像特征引导，使得初步修复的图像特征进行进一步的卷积处理，即使得初步修复的图像特征也能够在一定程度上满足与预先修复的通道图像中相同或者近似的像素空间分布，其中，像素空间分布可以用于指示不同像素点分布的关联性。结合第一方面，在一种可能的实现方式中，还包括：获取随机噪声图；所述通过对所述密集图和所述待处理raw域图像进行卷积处理，得到第一图像特征，包括：对所述密集图、所述随机噪声图以及所述待处理raw域图像进行卷积处理，得到所述第一图像特征。在本申请实施例提供的图像处理方法中，还可以向神经网络中输入随机噪声图，从而提升神经网络对待处理raw域图像的去噪效果。结合第一方面，在一种可能的实现方式中，所述第一通道图像为绿色G通道图像。在一种可能的实现方式中，待处理raw域图像对应的通道图像可以本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理原始raw域图像对应的通道图像，其中，所述通道图像包括至少两个第一通道图像；/n对所述第一通道图像进行图像修复处理，得到修复后的第一通道图像；/n根据所述修复后的第一通道图像对所述待处理raw域图像进行图像修复处理，得到联合去马赛克和去噪处理后的raw域图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理原始raw域图像对应的通道图像，其中，所述通道图像包括至少两个第一通道图像；
对所述第一通道图像进行图像修复处理，得到修复后的第一通道图像；
根据所述修复后的第一通道图像对所述待处理raw域图像进行图像修复处理，得到联合去马赛克和去噪处理后的raw域图像。


2.如权利要求1所述的图像处理方法，其特征在于，还包括：
获取所述待处理raw域图像的密集图，其中，所述密集图用于指示所述待处理raw域图像中不同频率的纹理区域；
所述根据所述修复后的第一通道图像对所述待处理raw域图像进行图像修复处理，得到联合去马赛克和去噪处理后的raw域图像，包括：
通过对所述密集图和所述待处理raw域图像进行卷积处理，得到第一图像特征；
通过所述修复后的第一通道图像引导所述第一图像特征进行卷积处理，得到所述联合去马赛克和去噪后的raw域图像。


3.如权利要求2所述的图像处理方法，其特征在于，所述通过所述修复后的第一通道图像引导所述第一图像特征进行卷积处理，得到所述联合去马赛克和去噪后的raw域图像，包括：
根据所述修复后的第一通道图像的像素空间分布对所述第一图像特征进行卷积处理，得到所述联合去马赛克和去噪后的raw域图像，其中，所述像素空间分布用于指示所述修复后的第一通道图像中不同像素点分布的关联性。


4.如权利要求2或3所述的图像处理方法，其特征在于，还包括：
获取随机噪声图；
所述通过对所述密集图和所述待处理raw域图像进行卷积处理，得到第一图像特征，包括：
对所述密集图、所述随机噪声图以及所述待处理raw域图像进行卷积处理，得到所述第一图像特征。


5.如权利要求1至4中任一项所述的图像处理方法，其特征在于，所述第一通道图像为绿色G通道图像。


6.如权利要求1至4中任一项所述的图像处理方法，其特征在于，所述第一通道图像为黄色Y通道图像。


7.一种图像处理方法，应用于具有显示屏和摄像头的电子设备，其特征在于，包括：
检测到用户指示相机的操作；
响应于所述操作，在所述显示屏内显示输出图像，其中，所述输出图像是根据联合去马赛克和去噪后的原始raw域图像得到的，所述联合去马赛克和去噪后的raw域图像是针对所述摄像头采集到的待处理raw域图像进行图像修复处理后得到的raw域图像，修复后的第一通道图像用于所述待处理raw域图像的图像修复处理过程中，所述待处理raw域图像包括至少两个第一通道图像，所述修复后的第一通道图像是指对所述第一通道图像进行图像修复处理后的通道图像。


8.如权利要求7所述的图像处理方法，其特征在于，所述检测到用户指示相机的操作，包括：
检测到所述用户指示第一处理模式的操作，所述第一处理模式用于指示对所述待处理raw域图像进行图像修复处理；或者，
检测到所述用户用于指示拍摄的操作。


9.如权利要求7或8所述的图像处理方法，其特征在于，所述对待处理raw域图像进行图像修复处理的过程还包括：
获取所述待处理raw域图像的密集图，其中，所述密集图用于指示所述待处理raw域图像中不同频率的纹理区域；
通过对所述密集图和所述待处理raw域图像进行卷积处理，得到第一图像特征；
通过所述修复后的第一通道图像引导所述第一图像特征进行卷积处理，得到所述联合去马赛克和去噪后的raw域图像。


10.如权利要求9所述的图像处理方法，其特征在于，所述通过所述修复后的第一通道图像引导所述第一图像特征进行卷积处理，得到所述联合去马赛克和去噪后的raw域图像，包括：
根据所述修复后的第一通道图像的像素空间分布对所述第一图像特征进行卷积处理，得到所述联合去马赛克和去噪后的raw域图像，其中，所述像素空间分布用于指示所述修复后的第一通道图像中不同像素点分布的关联性。


11.如权利要求9或10所述的图像处理方法，其特征在于，还包括：
获取随机噪声图；
所述通过对所述密集图和所述待处理raw域图像进行卷积处理，得到第一图像特征，包括：
对所述密集图、所述随机噪声图以及所述待处理raw域图像进行卷积处理，得到所述第一图像特征。


12.如权利要求7至11中任一项所述的图像处理方法，其特征在于，所述第一通道图像为绿色G通道图像。


13.如权利要求7至11中任一项所述的图像处理方法，其特征在于，所述第一通道图像为黄色Y通道图像。


14.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理原始raw域图像对应的通道图像，其中，所述通道图像包括至少两个第一通道图像；
处理单元，...

【专利技术属性】
技术研发人员：刘林，贾旭，刘健庄，陈帅军，田奇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44