一种图像处理方法及相关装置制造方法及图纸

本申请公开了一种图像处理方法及相关装置，该方法可以包括：终端在第一时刻接收到用户的第一输入；响应于第一输入，终端获取第一图像以及拍摄第一图像时的第一环境信息；终端发送所述第一图像和第一环境信息给云服务器；云服务器根据第一环境信息，确定与第一环境信息对应的第一图像处理模型；云服务器通过第一图像处理模型对第一图像进行处理，得到第二图像。这样，终端可以借助云服务器提升终端图像的质量。的质量。的质量。

【技术实现步骤摘要】
一种图像处理方法及相关装置


[0001]本申请涉及计算机视觉领域，尤其涉及一种图像处理的方法及相关装置。

技术介绍

[0002]智能手机发展至今，拍照已然成为其最为重要的特性之一。无论是基础成像器件还是成像算法，均产生了极大的发展和变化，一次又一次地推动了手机拍照的变革，提升用户拍照体验。然而，在这一次又一次的变革背后，器件的成本也越来越高，成像质量也越来越趋近瓶颈。
[0003]现有方案中，为了提升终端拍摄到照片的质量，通常终端在摄像头获取到拍摄画面后，会通过图像处理器(image signal processing，ISP)生成图像数据，并通过预设的算法对该图像数据进行处理优化，以提升图像效果。但是，终端利用固定的算法对图片进行处理，处理后的图像都是同一风格，并且由于终端能力的限制，处理后的图像质量并不高。而且不同的景物，呈现风格是不一样的。例如，北京故宫等名胜古迹呈现的是古风古韵的风格，上海外滩等都市景点，呈现的是大都市风格。同一景物不同的环境下，呈现的风格也是不一样的。例如，夏天的故宫和冬天的故宫，所呈现出的风格也是不一样的。对于摄影师来说，每一种风格都有不同的清晰度、色彩丰富度、对比度、白平衡、细节、纹理等等图像参数。现有方案中终端提升拍摄图片的质量的手段十分有限，成像质量不高。

技术实现思路

[0004]本申请提供了一种图像处理方法及相关装置，实现了通过云端服务器和终端结合，充分利用高质量图片数据和算法，赋能终端拍照成像系统，是终端能够突破终端本身成像质量极限，使得普通摄像头也能拍出媲美专业单反相机的效果，从而，在降低手机成本的同时，极大的提升终端拍摄照片的质量，以及用户拍照体验。并且，云服务器可以根据用户上传的图像不断地优化图像处理模型，从而能够提升图像处理模型的图像处理能力。
[0005]第一方面，本申请提供了一种图像处理方法，该方法可以应用于图像处理系统，该图像处理系统可以包括终端和云服务器；其中，该方法可以包括：该终端在第一时刻接收到用户的第一输入；响应于该第一输入，该终端获取第一图像以及拍摄该第一图像时的第一环境信息；该终端发送该第一图像和该第一环境信息给该云服务器；该云服务器根据该第一环境信息，确定与该第一环境信息对应的第一图像处理模型；该第一图像处理模型在该第一时刻之前由该云服务器利用该第一环境信息对应的多张图像训练第二图像处理模型得到；该云服务器通过该第一图像处理模型对该第一图像进行处理，得到第二图像；该云服务器发送该第二图像给该终端。
[0006]这样，终端可以借助云服务器提高图像的质量。这样可以使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。
[0007]在一种可能的实现方式中，该终端在第一时刻接收到用户的第一输入之前，该方
法还包括：该云服务器可以获取终端在第一时刻之前上传的与该第一环境信息对应的N张终端图像；当该N张终端图像的数量大于第一预设阈值时，该云服务器查找出与该N张终端图像匹配的 N张高清图像；该云服务器根据该N张终端图像和该N张高清图像，训练该第二图像处理模型，生成该第一图像处理模型。
[0008]这样，云服务器还可以根据终端用户上传的图像，以及云服务器中与用户上传的图像匹配的高质量图像形成训练数据集，优化云服务器中的图像处理模型。这样，云服务器可以根据用户上传的图像不断地优化图像处理模型，从而能够提升图像处理模型的图像处理能力。
[0009]在一种可能的实现方式中，该云服务器查找出与该N张终端图像匹配的N张高清图像之后，该方法还包括：该云服务器对该N张终端图像与该N张高清图像进行配准，得到N张配准后的终端图像和N张配准后的高清图像；该云服务器可以根据该N张终端图像和该N 张高清图像，训练该第二图像处理模型，生成该第一图像处理模型，具体包括：该云服务器根据该N张配准后的终端图像和该N张配准后的高清图像，训练该第二图像处理模型，生成该第一图像处理模型。这样，可以使得云服务器生成的第一图像处理模型优化图像的效果更好。
[0010]可以理解的是，N张终端图像可以是多个终端上传到云服务器的。
[0011]在一种可能的实现方式中，该N张终端图像中包括第一终端图像，该N张高清图像中包括第一高清图像，该第一高清图像与该第一终端图像匹配；该N张配准后的终端图像中包括第二终端图像，该N张配准后的高清图像中包括第二高清图像，该第二终端图像为该第一终端图像中的与该第一高清图像拍摄内容相同的图像；该第二高清图像为该第一高清图像中的与该第一终端图像拍摄内容相同的图像。
[0012]可以理解的是，第二终端图像可以是云服务器从第一终端图像中裁剪出的图像，第二终端图像的清晰度和第一终端图像的清晰度相同。同样地，第二高清图像可以是云服务器从第一高清图像中裁剪出的图像，第二高清图像的清晰度与第一高清图像的清晰度相同。举例来说，第一终端图像的拍摄内容包括电脑A、盆栽A，第一高清图像的拍摄内容中包括电脑A 和办公桌A。那么云服务器可以裁剪出第一终端图像中电脑A的图像，得到第二终端图像。即，第二终端图像中拍摄内容为电脑A。同样地，云服务器可以裁剪出第一高清图像中电脑 A的图像，得到第二高清图像。即，第二高清图像中拍摄内容为电脑A。
[0013]在一种可能的实现方式中，该第二高清图像的拍摄内容与该第二终端图像的拍摄内容的相似度，大于该第一高清图像的拍摄内容与该第一终端图像的拍摄内容的相似度。
[0014]在一种可能的实现方式中，该第一高清图像与该第一终端图像匹配包括：该第一高清图像的拍摄地点与该第一终端图像的拍摄地点相同；且该第一高清图像的拍摄内容与该第一终端图像的拍摄内容的相似度大于第二预设阈值。
[0015]在一种可能的实现方式中，该云服务器根据该N张终端图像和该N张高清图像，训练该第二图像模型，生成第一图像训练模型之前，该方法还包括：该云服务器将该第一环境信息对应的(N+M)张高清图像输入到第一退化网络中，得到(N+M)张低清图像；该云服务器根据该N张终端图像和该N张高清图像，训练该第二图像处理模型，生成第一图像处理模型，具体包括：该云服务器根据该N张终端图像与该N张高清图像、以及该(N+M)张低清图像与该(N+M)张高清图像，训练该第二图像处理模型，生成该第一图像处理模型。
[0016]这样，云服务器可以根据退化网络生成第一图像处理模型的训练数据。这样，训练数据增多了，云服务器生成的第一图像处理模型能够更稳健，处理图像的效果可以更好。
[0017]在一种可能的实现方式中，该终端在第一时刻接收到用户的第一输入之前，该方法包括：该终端接收到用户的第二输入；响应于该第二输入，该终端获取第三图像以及拍摄该第三图像时的第二环境信息；该第二环境信息与该第一环境信息相同；该终端发送该第三图像和第二环境信息给该云服务器；该云服务器根据该第二环境信息，确定与该第二环境信息对应的第二图像处理模型；该云服务器通过该第二图像处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于图像处理系统，所述图像处理系统包括终端和云服务器；其中，所述方法包括：所述终端在第一时刻接收到用户的第一输入；响应于所述第一输入，所述终端获取第一图像以及拍摄所述第一图像时的第一环境信息；所述终端发送所述第一图像和所述第一环境信息给所述云服务器；所述云服务器根据所述第一环境信息，确定与所述第一环境信息对应的第一图像处理模型；所述第一图像处理模型在所述第一时刻之前由所述云服务器利用所述第一环境信息对应的多张图像训练第二图像处理模型得到；所述云服务器通过所述第一图像处理模型对所述第一图像进行处理，得到第二图像；所述云服务器发送所述第二图像给所述终端。2.根据权利要求1所述的方法，其特征在于，所述终端在第一时刻接收到用户的第一输入之前，所述方法还包括：所述云服务器获取终端在第一时刻之前上传的与所述第一环境信息对应的N张终端图像；当所述N张终端图像的数量大于第一预设阈值时，所述云服务器查找出与所述N张终端图像匹配的N张高清图像；所述云服务器根据所述N张终端图像和所述N张高清图像，训练所述第二图像处理模型，生成所述第一图像处理模型。3.根据权利要求2所述的方法，其特征在于，所述云服务器查找出与所述N张终端图像匹配的N张高清图像之后，所述方法还包括：所述云服务器对所述N张终端图像与所述N张高清图像进行配准，得到N张配准后的终端图像和N张配准后的高清图像；所述云服务器根据所述N张终端图像和所述N张高清图像，训练所述第二图像处理模型，生成所述第一图像处理模型，具体包括：所述云服务器根据所述N张配准后的终端图像和所述N张配准后的高清图像，训练所述第二图像处理模型，生成所述第一图像处理模型。4.根据权利要求3所述的方法，其特征在于，所述N张终端图像中包括第一终端图像，所述N张高清图像中包括第一高清图像，所述第一高清图像与所述第一终端图像匹配；所述N张配准后的终端图像中包括第二终端图像，所述N张配准后的高清图像中包括第二高清图像，所述第二终端图像为所述第一终端图像中的与所述第一高清图像拍摄内容相同的图像；所述第二高清图像为所述第一高清图像中的与所述第一终端图像拍摄内容相同的图像。5.根据权利要求4所述的方法，其特征在于，所述第二高清图像的拍摄内容与所述第二终端图像的拍摄内容的相似度，大于所述第一高清图像的拍摄内容与所述第一终端图像的拍摄内容的相似度。6.根据权利要求4或5任一项所述的方法，其特征在于，所述第一高清图像与所述第一终端图像匹配包括：所述第一高清图像的拍摄地点与所述第一终端图像的拍摄地点相同；且所述第一高清图像的拍摄内容与所述第一终端图像的拍摄内容的相似度大于第二预设
阈值。7.根据权利要求2所述的方法，其特征在于，所述云服务器根据所述N张终端图像和所述N张高清图像，训练所述第二图像模型，生成第一图像训练模型之前，所述方法还包括：所述云服务器将所述第一环境信息对应的(N+M)张高清图像输入到第一退化网络中，得到(N+M)张低清图像；所述云服务器根据所述N张终端图像和所述N张高清图像，训练所述第二图像处理模型，生成第一图像处理模型，具体包括：所述云服务器根据所述N张终端图像与所述N张高清图像、以及所述(N+M)张低清图像与所述(N+M)张高清图像，训练所述第二图像处理模型，生成所述第一图像处理模型。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述终端在第一时刻接收到用户的第一输入之前，所述方法包括：所述终端接收到用户的第二输入；响应于所述第二输入，所述终端获取第三图像以及拍摄所述第三图像时的第二环境信息；所述第二环境信息与所述第一环境信息相同；所述终端发送所述第三图像和所述第二环境信息给所述云服务器；所述云服务器根据所述第二环境信息，确定与所述第二环境信息对应的第二图像处理模型；所述云服务器通过所述第二图像处理模型对所述第三图像进行处理，得到第四图像；所述云服务器发送所述第四图像给所述终端。9.根据权利要求1
‑
8任一项所述的方法，其特征在于，所述云服务器通过所述第一图像处理模型对所述第一图像进行处理，得到第二图像，具体包括：所述云服务器通过第一图像处理模型对所述第一图像的细节清晰度、和/或动态范围、和/或对比度、和/或噪声、和/或色彩进行处理，得到所述第二图像。10.根据权利要求1
‑
9任一项所述的方法，其特征在于，所述第一环境信息包括以下一种或多种：地理位置信息、天气信息、季节信息、时间信息、拍摄姿态信息、拍摄参数等等。11.一种图像处理方法，其特征在于，应用于终端，所述方法包括：所述终端在第一时刻接收到用户的第一输入；响应于所述第一输入，所述终端获取第一图像以及拍摄所述第一图像时的第一环境信息；所述终端发送所述第一图像和第一环境信息给所述云服务器；所述终端接收所述云服务器发送的第二图像；其中，所述第二图像由所述云服务器通过所述第一图像处理模型处理所述第一图像得到；所述第一图像处理模型由所述云服务器根据所述第一环境信息确定；所述第一图像处理模型在所述第一时刻之前由所述云服务器利用所述第一环境信息对应的多张图像训练第二图像处理模型生成。12.根据权利要求11所述的方法，其特征在于，所述终端在第一时刻接收到用户的第一输入之前，所述方法还包括：所述终端接收到用户的第二输入；响应于所述第二输入，所述终端获取第三图像以及拍摄所述第三图像时的第二环境信息；所述第二环境信息和所述第一环境信息相同；
所述终端发送所述第三图像和第二环境信息给所述云服务器；所述终端获取云服务器发送的第四图像，所述第四图像由所述云服务器通过第二图像处理模型得到，所述第二图像处理模型由所述云服务器根据所述第一环境信息确定。13.根据权利要求11或12任一项所述的方法，其特征在于，所述第一图像处理模型在所述第一时刻之前由所述云服务器利用所述第一环境信息对应的多张图像训练第二图像处理模型生成，具体包括：所述第一图像处理模型在所述第一时刻之前由所述云服务器利用所述第一环境信息对应的N张终端图像和N张高清图像训练第二图像处理模型生成；所述N张高清图像与所述N张终端图像匹配。14.根据权利要求13所述的方法，其特征在于，所述第一图像处理模型在所述第一时刻之前由所述云服务器利用所述第一环境信息对应的N张终端图像和N张高清图像训练第二图像处理模型生成，具体包括：所述第一图像处理模型在所述第一时刻之前由所述云服务器利用N张配准后的终端图像和N张配准后的高清图像训练第二图像处理模型生成，所述N张配准后的终端图像和所述N张配准后的高清图像由所述云服务器对所述N张终端图像与所述N张高清图像进行配准得到。15.根据权利要求14所述的方法，其特征在于，所述N张终端图像中包括第一终端图像，所述N张高清图像中包括第一高清图像，所述第一高清图像与所述第一终端图像匹配...

【专利技术属性】
技术研发人员：张欢，邵保泰，曹瑞，陈刚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：