图像处理方法及计算设备技术

本申请涉及图像处理方法及计算设备，所述图像处理方法包括获取针对被摄体的聚焦图像和散焦图像；将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数；通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件。采用本申请，不需要获取大量的训练图像并对训练图像执行标注即可确定其使用的全网络参数。

【技术实现步骤摘要】
图像处理方法及计算设备
本申请涉及计算机
，尤其涉及一种图像处理方法及计算设备。
技术介绍
在拍摄图像过程中，若电荷耦合元件(charge-coupleddevice，CCD)、互补金属氧化物半导体(complementarymetaloxidesemiconductor，CMOS)等感光元件像素的空间频率与被拍摄对象中周期性的图案(如格子、条纹等)的空间频率接近，就会产生摩尔纹，使得拍摄的图像中出现彩色的高频率条纹，影响图像的质量。图2中示出了两种常见的摩尔纹，一种是在拍摄周期性的图案时产生的摩尔纹(如图2中的图案201)，另一种则是在拍摄屏幕时产生的摩尔纹(如图2中的图案202)。在相关技术中，通常利用人工标注的有摩尔纹的拍摄图像以及对应的无摩尔纹的拍摄图像作为训练图像对机器学习模型进行训练，调整该机器学习模型内的各个参数，生成训练完成的机器学习模型以用于去除图像中的摩尔纹。但这种方式需要大量的训练图像，而这些训练图像在实际拍摄中很难获得。因此，现有技术中需要一种图像处理方法，该方法所使用的图像处理机器学习模型不需要大量的训练图像执行训练即可确定其使用的模型参数。
技术实现思路
有鉴于此，提出了一种图像处理方法及其装置，所述方法所使用的图像处理机器学习模型组件不需要获取大量的训练图像并对训练图像执行标注即可确定其使用的模型参数。第一方面，本申请的实施例提供了一种图像处理方法，所述方法获取针对被摄体的聚焦图像和散焦图像；将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数；通过利用所述合成图像与散焦图像之间的对应关系调整全网络参数，直至达到预设要求，生成全网络参数被调整完成的所述图像处理机器学习模型组件。对于去除摩尔纹的机器学习模型组件而言，困难之处在于收集训练图像，这些训练图像需要针对同一被摄体的有摩尔纹的图像以及无摩尔纹的图像，在实际拍摄中，在容易拍摄出摩尔纹的自然场景下很难拍摄到无摩尔纹的图像。基于此，本申请的实施例提供的图像处理方法不需要获取大量的由摩尔纹的图像以及对应的无摩尔纹的图像，而是采用在拍摄中比较容易获取到的散焦图像以及利用图像处理机器学习模型组件获取的合成图像之间的对应关系来调整所述图像处理机器学习模型组件的全网络参数。综上可述，根据本申请的实施例采用的图像处理方法可采用在自然场景下容易获取的聚焦图像与散焦图像，通过利用图像处理机器学习模型组件获取的合成图像对散焦图像的拟合过程中调整图像机器学习模型组件中的全网络参数，生成全网络参数已确定的图像处理机器学习模型组件，采用这种方式确定的图像处理机器学习模型组件可不需要获取大量的训练图像并对训练图像执行标注即可确定其使用的模型参数。根据第一方面，在所述图像处理方法的第一种可能的实现方式中，所述图像处理机器学习模型组件包括用于执行去除摩尔纹处理的摩尔纹去除组件以及用于确定对图像执行模糊化处理的模糊核的模糊核确定组件，并且所述全网络参数包括所述摩尔纹去除组件以及所述模糊核确定组件中的全部参数。所述图像处理机器学习模型组件为了能够利用聚焦图像生成去除摩尔纹且模糊化处理的合成图像，所述图像处理机器学习模型组件可包括两个组件，其中，所述摩尔纹去除组件用于对聚焦图像执行去除摩尔纹处理，而模糊核确定组件用于确定对已去除摩尔纹的聚焦图像的模糊核，以用于执行模糊化处理，借此执行与散焦类似的图像处理效果。根据第一方面，在所述图像处理方法的第二种可能的实现方式中，将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像包括：将所述聚焦图像输入到摩尔纹去除组件中，获取到已被去除摩尔纹的中间图像；利用模糊核确定组件确定的模糊核对所述中间图像执行模糊化处理，获取所述合成图像。也就是说，在所述图像处理机器学习模型组件已包括以上所述的摩尔纹去除组件以及模糊核确定组件的情况下，可先利用摩尔纹去除组件对所述聚焦图像去除摩尔纹，随后，可利用模糊核确定模块确定的模糊核执行模糊化处理，这样可使生成的合成图像与散焦图像类似。根据第一方面，在所述图像处理方法的第三种可能的实现方式中，利用模糊核确定组件确定的模糊核对所述中间图像执行模糊化处理，获取所述合成图像，包括：将随机向量作为初始输入向量输入到模糊核确定组件，生成具有预定大小的卷积核；利用所述预定大小的卷积核对所述中间图像执行模糊化处理，获取所述合成图像。也就是说，模糊核确定组件可利用随机向量确定预定大小的卷积核，利用该卷积核对中间图像执行模糊化处理，从而生成近似于散焦效果的合成图像。在后续处理中，可通过迭代处理对生成卷积核的各个节点进行调整，以生成与散焦图像更近似的合成图像。根据第一方面，在所述图像处理方法的一种可能的实现方式中，利用所述合成图像与散焦图像之间的对应关系调整全网络参数，直至达到预设要求，包括：利用损失函数确定所述合成图像与所述散焦图像的损失值；利用所述损失值调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件，其中，所述合成图像包括全网络参数调整过程中由每次全网络参数调整后的图像处理机器学习模型组件输出的图像。为了确定全网络参数，本申请的示例性实施例的图像处理方法可利用合成图像与散焦图像在各个像素点上的损失值，对全网络参数进行调整，在调整操作中，可利用每次全网络参数调整后的图像处理机器学习模型组件生成合成图像，然后将该合成图像与散焦图像按照以上方式进行调整，直至达到预设要求，调整完成，采用这种方式能够在不需要大量训练图像的情况下，确定所述图像处理机器学习模型组件中的各个参数。根据第一方面，在所述图像处理方法的第四种可能的实现方式中，所述预设要求包括所述损失值满足预设阈值或者所述调整次数达到预设次数。通过所述损失值满足预设阈值的方式能够通过使合成图像与散焦图像的拟合程度达到量化指标的情况下结束调整，使得调整的目的性明确，此外，通过所述损失值满足预设次数的情况下，可以由技术人员通过经验确定在调整达到预设次数后的调整的结果差异性比较小，基于此而设置的预定次数不仅节约调整成本而且与人工经验相结合，使得调整次数更加合理化。根据第一方面，在所述图像处理方法的一种可能实现方式中，所述摩尔纹去除组件包括利用输入到输出均为相同格式的图像的卷积神经网络组件。根据第一方面，在所述图像处理方法的一种可能实现方式中，所述卷积神经网络组件包括图像分割网络(U-Net)组件。在实施中，本申请采用利用输入到输出均为相同格式的图像的卷积神经网络组件对聚焦图像执行处理，这样可配合后续对该卷积神经网络组件内的参数的调整操作，此外，在通过对各种卷积神经网络的实验后，确定采用图像分割网络组件作为摩尔纹去除组件的准确度高且效果好。根据第一方面，在所述图像处理方法的一种可能实现方式中，所述模糊核确定组件包括具有预设层数的全连接神经网络组件本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取针对被摄体的聚焦图像和散焦图像；/n将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数；/n通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取针对被摄体的聚焦图像和散焦图像；
将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数；
通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件。


2.如权利要求1所述的方法，其特征在于，所述图像处理机器学习模型组件包括用于执行去除摩尔纹处理的摩尔纹去除组件以及用于确定对图像执行模糊化处理的模糊核的模糊核确定组件，并且所述全网络参数包括所述摩尔纹去除组件以及所述模糊核确定组件中的全部参数。


3.如权利要求2所述的方法，其特征在于，将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像包括：
将所述聚焦图像输入到摩尔纹去除组件中，获取到已被去除摩尔纹的中间图像；
利用模糊核确定组件确定的模糊核对所述中间图像执行模糊化处理，获取所述合成图像。


4.如权利要求3所述的方法，其特征在于，利用模糊核确定组件确定的模糊核对所述中间图像执行模糊化处理，获取所述合成图像，包括：
将随机向量作为初始输入向量输入到模糊核确定组件，生成具有预定大小的卷积核作为模糊核；
利用所述预定大小的卷积核对所述中间图像执行模糊化处理，获取所述合成图像。


5.如权利要求2至4中的任一权利要求所述的方法，其特征在于，通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件，包括：
利用损失函数确定所述合成图像与所述散焦图像的损失值；
利用所述损失值调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件，其中，
所述合成图像包括全网络参数调整过程中由每次全网络参数调整后的图像处理机器学习模型组件输出的图像。


6.如权利要求5所述的方法，其特征在于，所述预设要求包括所述损失值满足预设阈值或者所述调整次数达到预设次数。


7.如权利要求2至6中任一权利要求所述的方法，其特...

【专利技术属性】
技术研发人员：刘林，刘健庄，袁善欣，田奇，格雷戈里·斯拉堡，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44