图像处理和移动终端视频处理方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种图像处理和移动终端视频处理方法、装置、设备和介质，该图像处理方法包括：确定待处理图像中每个图像块的图像属性；根据图像属性确定每个图像块对应的滤波模型；分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。本发明专利技术实施例利用待处理图像中每个图像块的图像属性的快速计算，加快了图像块的滤波处理速度，进而实现了图像的实时滤波，并且，通过对应的滤波模型对每个图像块进行自适应滤波，优化了视频的清晰度。

【技术实现步骤摘要】
图像处理和移动终端视频处理方法、装置、设备和介质
本专利技术实施例涉及图像处理领域，尤其涉及一种图像处理和移动终端视频处理方法、装置、设备和介质。
技术介绍
视频在保存和传输过程中，一般都会使用有损压缩的手段进行编码。在视频解码后，会产生编码噪声。其中，编码噪声的类型包括块效应、振铃效应和锯齿效应。具体的，当用户观看视频时，移动端视频应用程序从服务器拉取视频流，在本地对视频流解码并播放。由于网络环境的限制，移动端拉取到的视频流往往是经过高度压缩的视频流，在用户在观看视频时，一般会出现可见的编码噪声，这种编码噪声在网络条件较差时尤其明显。在图像/视频去噪领域，常见的方法是去除由摄像头感光器产生的高斯白噪声。也有一些方法用于去除编码噪声，但往往只针对编码噪声中的特定类型如块效应进行处理；此外，近年来业内也有探索基于神经网络的编码噪声去除算法，虽然对编码噪声去除有一定效果，但神经网络的计算量非常大，实时性差。
技术实现思路
本专利技术实施例提供了一种图像处理和移动终端视频处理方法、装置、设备和介质，实现了对图像的实时去噪，以及对每个图像块的自适应滤波，进而优化了视频的清晰度。第一方面，本专利技术实施例提供了一种图像处理方法，包括：确定待处理图像中每个图像块的图像属性；根据所述图像属性确定每个所述图像块对应的滤波模型；分别通过对应的所述滤波模型对所述图像块进行滤波，得到所述待处理图像的滤波图像。第二方面，本专利技术实施例提供了一种移动终端视频处理方法，包括：解码从视频流中拉取的待处理视频；抽取所述待处理视频中的视频帧；采用上述第一方面中所述的方法处理作为待处理图像的所述视频帧，得到对应的滤波图像；根据所述滤波图像，进行视频播放。第三方面，本专利技术实施例提供了一种图像处理装置，包括：第一确定模块，用于确定待处理图像中每个图像块的图像属性；第二确定模块，用于根据所述图像属性确定每个所述图像块对应的滤波模型；第一滤波模块，用于分别通过对应的所述滤波模型对所述图像块进行滤波，得到所述待处理图像的滤波图像。第四方面，本专利技术实施例提供了一种移动终端视频处理装置，包括：解码模块，用于解码从视频流中拉取的待处理视频；抽取模块，用于抽取所述待处理视频中的视频帧；处理模块，用于采用上述第一方面所述的方法处理作为待处理图像的所述视频帧，得到对应的滤波图像；播放模块，用于根据所述滤波图像，进行视频播放。第五方面，本专利技术实施例提供了一种设备，该设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术第一方面中所述的图像处理方法，或者实现本专利技术第二方面中所述的移动终端视频处理方法。第六方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术第一方面中所述的图像处理方法，或者实现本专利技术第二方面中所述的移动终端视频处理方法。本专利技术实施例提供的图像处理方法和移动终端视频处理方法、装置、设备和介质，通过确定待处理图像中每个图像块的图像属性；根据图像属性确定每个图像块对应的滤波模型；分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。本专利技术实施例利用待处理图像中每个图像块的图像属性的快速计算，加快了图像块的滤波处理速度，进而实现了图像的实时滤波，并且，通过对应的滤波模型对每个图像块进行自适应滤波，优化了视频的清晰度。进一步的，也提高了视频的去噪效率，实现了视频的实时去噪，以及，优化了视频观看时的清晰度。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术实施例提供的一种图像处理方法的流程图；图2是本专利技术实施例提供的一种待处理图像进行图像块划分的显示示意图；图3为本专利技术实施例提供的另一种图像处理方法的流程图；图4是本专利技术实施例提供的又一种图像处理方法的流程图；图5是本专利技术实施例提供的再一种图像处理方法的流程图；图6是本专利技术实施例提供的一种图像处理方法中对图像块进行滤波处理的流程图；图7是本专利技术实施例提供的一种移动终端视频处理方法的流程图；图8为本专利技术实施例提供的一种图像处理装置的结构示意图；图9是本专利技术实施例提供的一种移动终端视频处理装置的结构示意图；图10为本专利技术实施例提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。在此需要说明的是，本专利技术实施例可适用于在用户观看视频时，由于所处环境的网络限制，一般会出现可见的编码噪声。本专利技术实施例提供了一种图像处理方法，实现了对图像的实时滤波，以及通过对应的滤波模型对每个图像块进行自适应滤波，优化了视频的清晰度。在执行图像处理方法之前，对滤波模型进行训练，从而在执行图像处理方法时，可根据待处理图像的编码噪声强度以及待处理图像中图像块的图像属性，确定对应的滤波模型，并对图像块进行滤波处理。其中，对滤波模型进行训练的过程具体包括：获取第一预设尺寸的高清图像和携带编码噪声的低清图像，高清图像和低清图像的分辨率相同；分别从所述高清图像和低清图像中抽取多个第二预设尺寸的图像块，以组成第一矩阵和第二矩阵，所述第二预设尺寸小于所述第一预设尺寸；按照最小二乘法的正规方程，并根据第一矩阵和第二矩阵，得到滤波模型。可选的，本专利技术实施例中的滤波模型可以基于最小二乘法计算得到。具体的，假设有L张MxN的高清图像，并用xi表示第i张图像，i＝1,2,...,L，M和N用于表示高清图像的尺寸，并均为正数，比如，M表示高清图像的长度，N表示高清图像的宽度；L为大于等于1的正整数。同时，获取对应的等分辨率但携带编码噪声的图像(记为低清图像)，并用yi表示第i张图像，i＝1,2,...,L。同时，假设训练一个dxd的滤波模型h，将低清图像yi中的像素值，调整为高清图像xi中对应的像素值。其中，dxd用于表示滤波模型的尺寸。在实施例中，dxd的滤波模型h，指的是滤波操作过程中，输入的原始图像的尺寸为dxd。其中，训练滤波模型的原则是求解以下最小二乘问题，其中，需求解公式为：其中，是的向量化表示，表示d2维的实数向量的集合，h为实数向量的集合中的一个实数向量元素。是一个矩阵，由低清图像yi中抽取出的尺寸为dxd的图像块组成，抽取的方式是：针对每一个像素，抽取以这个像素为中心的dxd的一个图像块，把dxd的图像块拉伸为一行，作为矩阵Ai的某一行；表本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n确定待处理图像中每个图像块的图像属性；/n根据所述图像属性确定每个所述图像块对应的滤波模型；/n分别通过对应的所述滤波模型对所述图像块进行滤波，得到所述待处理图像的滤波图像。/n

【技术特征摘要】
20190723 CN 20191066769661.一种图像处理方法，其特征在于，包括：
确定待处理图像中每个图像块的图像属性；
根据所述图像属性确定每个所述图像块对应的滤波模型；
分别通过对应的所述滤波模型对所述图像块进行滤波，得到所述待处理图像的滤波图像。


2.根据权利要求1所述的方法，其特征在于，所述图像属性包括：第一哈希值和第二哈希值；
所述第一哈希值用于表示每个图像块所对应图像梯度的侧重方向；所述第二哈希值用于表示每个图像块在第一方向和第二方向所对应图像梯度之间的接近度。


3.根据权利要求2所述的方法，其特征在于，所述确定待处理图像中每个图像块的图像属性，包括：
根据每个所述图像块在第一方向和第二方向的图像梯度，计算得到每个图像块在第一方向和第二方向所对应图像梯度的平方值，以及每个图像块在第一方向和第二方向所对应图像梯度的乘积值；
通过积分图算法对所述第一方向所对应图像梯度的平方值、所述第二方向所对应图像梯度的平方值，以及所述第一方向和所述第二方向所对应图像梯度的乘积值进行计算，以得到对应的第一哈希值和第二哈希值。


4.根据权利要求2所述的方法，其特征在于，所述根据所述图像属性确定每个所述图像块对应的滤波模型，包括：
根据所述第一哈希值和所述第二哈希值确定桶序号；
根据所述桶序号确定每个所述图像块对应的滤波模型。


5.根据权利要求1-4任一所述的方法，其特征在于，所述方法，还包括：
根据待处理图像的编码噪声强度确定所述图像块的滤波模型。


6.根据权利要求5所述的方法，其特征在于，所述待处理图像的编码噪声强度的确定方式，包括：
获取待处理图像对应视频编码的当前质量参数；
根据所述当前质量参数确定所述待处理图像的编码噪声强度。


7.根据权利要求1-4任一所述的方法，其特征在于，所述方法，还包括：
对所述待处理图像进行二值化处理，得到所述待处理图像的二值化图像。


8.根据权利要求7所述的方法，其特征在于，所述对所述待处理图像进行二值化处理，得到所述待处理图像的二值化图像，包括：
对所述待处理图像进行拉普拉斯滤波，得到文字边缘图像；
基于预先设定的像素阈值，对所述文字边缘图像进行阈值分割，得到第一图像，所述第一图像为去掉所述文字边缘图像中非文字边缘区域的图像；
对所述第一图像进行形态学闭操作，得到二值化图像。


9.根据权利要求8所述的方法，其特征在于，在所述得到二值化图像之后，还包括：对所述二值化图像进行均值滤波。


10.根据权利要求8所述的方法，其特征在于，所述对所述第一图像进行形态学闭操作，得到二值化图像，包括：
对所述第一图像进行膨胀操作，得到膨胀图像；
对所述膨胀图像进行腐蚀操作，得到二值化图像。


11.根据权利要求8所述的方法，其特征在于，所述基于预先设定的像素阈值，对所述文字边...

【专利技术属性】
技术研发人员：孟祥飞，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44