数字图像处理装置及其处理方法制造方法及图纸

本发明专利技术提出一种数字图像处理装置及其处理方法。数字图像处理装置包括数字图像撷取模块、图像放大模块、图像校正模块以及图像混合模块；数字图像撷取模块用以撷取多个第一分辨率图像，经由图像放大模块进行放大而产生多个第二分辨率图像；图像校正模块选择目标图像并产生校正后图像；图像混合模块对目标图像与校正后图像的每一像素点分别执行方向梯度运算，并依据方向梯度运算所产生的梯度差值，对目标图像与校正后图像的每一像素点进行加权和，以输出第三分辨率图像。

【技术实现步骤摘要】

本专利技术涉及一种数字图像处理，且特别涉及一种应用超分辨率(super-resolution)图像放大技术的。
技术介绍
高分辨率图像可应用至许多不同领域，包括数字相机、卫星图像、医学图像、监视摄图机、以及犯罪调查等。举例来说，具有高分辨率的医学图像能提高医生诊断的准确率以及手术的成功率，而在监视摄影机方面，增强摄影机的分辨率以提高追踪辨识率，更可有效提供警方更多的办案线索。 因此，将低分辨率图像放大产生高分辨率图像一直是数字图像处理中一项重要的研究课题，而图像内插(image interpolation)则是一种有关图像放大技术的方法。一般图像内插仅从单一图像放大来完成，因此图像质量受到很大的限制，举例而言，目前常见的单一图像放大方法包括多项式内插法(polynomial interpolation)、沿着边缘方向内插法(edge-directedinterpolation)以及以样本为基础的超分辨率技术(exampled-based forsuper-resolution)。多项式内插法虽然简单且运算速度快，但是因缺乏图像高频信息而导致放大后的图像模糊，且会产生区块效应(block effect) 0沿着边缘方向内插法则是为了解决多项式内插法在高频信息无法有效呈现的问题，高频信息所指的是图像的纹理和边缘区域，此方法重点在于图像边缘的保留，然而须要庞大的运算量才可完成。以样本为基础的超解析技术需要建立庞大的高低频对应数据库，且如何快速地从庞大的高低频对应数据库中找出相匹配的数据，亦为待解决的问题。
技术实现思路
有鉴于此，本专利技术提供一种数字图像处理装置，可将多张低分辨率图像放大产生高分辨率图像，并混合多张校正后图像以输出超分辨率图像。本专利技术另提供一种数字图像处理方法，采用图像放大方法产生高分辨率图像，且可混合多张校正后图像以产生超分辨率图像。本专利技术提出的一种数字图像处理装置，其包括数字图像撷取模块、图像放大模块、图像校正模块以及图像混合模块。其中，数字图像撷取模块用以撷取多个第一分辨率图像。图像放大模块耦接至数字图像撷取模块，针对第一分辨率图像的分辨率进行放大，并产生多个第二分辨率图像。图像校正模块耦接至图像放大模块，选择第二分辨率图像其中之一作为目标图像，剩余的第二分辨率图像为多个未选择图像，图像校正模块针对未选择图像分别执行多个位移量校正，并藉以产生多个校正后图像。图像混合模块耦接至图像校正模块，对目标图像的每一像素点与校正后图像的每一像素点分别执行多个方向梯度运算，图像混合模块并依据方向梯度运算产生的多个梯度差值，对目标图像的每一像素点与校正后图像的每一像素点进行加权和，以输出第三分辨率图像。其中，第三分辨率图像的分辨率高于第二分辨率图像的分辨率。在本专利技术的一实施例中，所述的图像混合模块执行方向梯度运算用以产生多个方向梯度值，方向梯度值包括水平方向梯度值、垂直方向梯度值以及对角线方向梯度值。在本专利技术的一实施例中，上述的水平方向梯度值为像素点与相邻水平方向像素点的灰阶差绝对值之和。上述的垂直方向梯度值为像素点与相邻垂直方向像素点的灰阶差绝对值之和。上述的对角线方向梯度值包括像素点与相邻第一对角线方向像素点的灰阶差绝对值之和以及像素点与相邻第二对角线方向像素点的灰阶差绝对值之和。在本专利技术的一实施例中，所述的图像混合模块针对目标图像的每一像素点与校正后图像的每一像素点更选择相对应的方向梯度值中的数值最大者作为最大梯度值，并选择相对应的方向梯度值中的数值最小者作为最小梯度值，各梯度差值为最大梯度值与最小梯度值相减所得。 在本专利技术的一实施例中，所述的图像校正模块包括位移量估测单元以及位移量校正单元。位移量估测单元耦接至图像放大模块，用以产生多个全域位移量。位移量校正单元耦接至位移量估测单元，依据相对应的全域位移量对未选择图像执行位移量校正，以产生校正后图像。在本专利技术的一实施例中，上述的位移量估测单元包括区块位移量估测器以及全域位移量估测器。区块位移量估测器用以分割目标图像与未选择图像为多个区块，估测目标图像与未选择图像之间的区块位移量。全域位移量估测器耦接至区块位移量估测器，依据区块位移量执行多个全域位移量估测以获得全域位移量。在本专利技术的一实施例中，所述的位移量校正利用仿射变换矩阵(Affinetransformation matrix)将未选择图像的起始点位置校正至与目标图像的起始点位置相同。从另一观点来看，本专利技术提出一种数字图像处理方法，用于具有多个第一分辨率图像的数字图像处理装置，此数字图像处理方法包括下列步骤采用图像放大方法对第一分辨率图像的分辨率进行放大，并产生多个第二分辨率图像。此外，选择第二分辨率图像其中之一作为目标图像，剩余的第二分辨率图像为多个未选择图像，针对未选择图像分别执行多个位移量校正，并藉以产生多个校正后图像。再者，对目标图像的每一像素点与校正后图像的每一像素点分别执行多个方向梯度运算，依据方向梯度运算产生的多个梯度差值，对目标图像的每一像素点与校正后图像的每一像素点进行加权和，以产生第三分辨率图像。其中，第三分辨率图像的分辨率高于第二分辨率图像的分辨率。在本专利技术的另一实施例中，所述的依据该些方向梯度运算产生多个梯度差值的步骤包括选择方向梯度值中的数值最大者作为最大梯度值，并且选择方向梯度值中的数值最小者作为最小梯度值，并将最大梯度值与最小梯度值相减得到梯度差值其中之一。在本专利技术的另一实施例中，所述的执行多个图像校正于未选择图像的步骤包括产生多个全域位移量，且未选择图像依据相对应的全域位移量执行位移量校正，藉以产生校正后图像。在本专利技术的另一实施例中，所述的产生多个全域位移量的步骤包括分割目标图像与未选择图像为多个区块，并且估测目标图像与未选择图像之间的多个区块位移量，又依据区块位移量执行全域位移量估测藉以产生全域位移量。基于上述，本专利技术能将单张或是多张低分辨率图像放大产生高分辨率图像，比一般单一图像放大方法能得到更多的图像信息，并利用多张图像混合以产生出一张具有高质量且富有丰富细节信息的超分辨率图像，由于做图像混合时加入了锐利度的考虑，使超分辨率图像能保持图像锐利度且可同时去除区块效应。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明图I是依照本专利技术的一实施例所示的数字图像处理装置的方框图。图2是依照本专利技术实施例的图像校正模块300的一实施方式。 图3是依照本专利技术实施例的位移量估测单元310的一实施方式。图4是依照本专利技术的另一实施例所示的数字图像处理装置的方框图。图5是依照本专利技术的一实施例所示的RXR屏蔽的示意图，图5(a)是3X3屏蔽的示意图，图5 (b)是5X5屏蔽的示意图。图6是依照本专利技术的一实施例所示的数字图像处理方法的流程图。附图标记10 :数字图像处理装置；100 :数字图像撷取模块；200:图像放大模块；300:图像校正模块；310 :位移量估测单元；312 :区块位移量估测器；314 :全域位移量估测器；320 :位移量校正单元；400:图像混合模块；Imgl_LR Img4_LR :低分辨率图像；Imgl_HR Img4_HR :高分辨率图像；CorrImg2_HR CorrImg4_HR :校正后图像；本文档来自技高网...

【技术保护点】
一种数字图像处理装置，包括：一数字图像撷取模块，用以撷取多个第一分辨率图像；一图像放大模块，耦接至该数字图像撷取模块，针对该些第一分辨率图像的分辨率进行放大，并产生多个第二分辨率图像；一图像校正模块，耦接至该图像放大模块，选择该些第二分辨率图像其中之一作为一目标图像，剩余的该些第二分辨率图像为多个未选择图像，该图像校正模块针对该些未选择图像分别执行多个位移量校正，并藉以产生多个校正后图像；以及一图像混合模块，耦接至该图像校正模块，对该目标图像的每一像素点与该些校正后图像的每一像素点分别执行多个方向梯度运算，该图像混合模块并依据该些方向梯度运算产生的多个梯度差值，对该目标图像的每一像素点与该些校正后图像的每一像素点进行加权和，以输出一第三分辨率图像；其中，该第三分辨率图像的分辨率高于该些第二分辨率图像的分辨率。

【技术特征摘要】
1.一种数字图像处理装置，包括 一数字图像撷取模块，用以撷取多个第一分辨率图像； 一图像放大模块，耦接至该数字图像撷取模块，针对该些第一分辨率图像的分辨率进行放大，并产生多个第二分辨率图像； 一图像校正模块，耦接至该图像放大模块，选择该些第二分辨率图像其中之一作为一目标图像，剩余的该些第二分辨率图像为多个未选择图像，该图像校正模块针对该些未选择图像分别执行多个位移量校正，并藉以产生多个校正后图像；以及 一图像混合模块，耦接至该图像校正模块，对该目标图像的每一像素点与该些校正后图像的每一像素点分别执行多个方向梯度运算，该图像混合模块并依据该些方向梯度运算产生的多个梯度差值，对该目标图像的每一像素点与该些校正后图像的每一像素点进行加权和，以输出一第三分辨率图像； 其中，该第三分辨率图像的分辨率高于该些第二分辨率图像的分辨率。2.根据权利要求I所述的数字图像处理装置，其中该图像混合模块执行该些方向梯度运算用以产生多个方向梯度值，该些方向梯度值包括一水平方向梯度值、一垂直方向梯度值以及二对角线方向梯度值。3.根据权利要求2所述的数字图像处理装置，其中该水平方向梯度值为每一像素点与二相邻水平方向像素点的灰阶差绝对值之和，该垂直方向梯度值为每一像素点与二相邻垂直方向像素点的灰阶差绝对值之和，该些对角线方向梯度值包括每一像素点与二相邻第一对角线方向像素点的灰阶差绝对值之和以及每一像素点与二相邻第二对角线方向像素点的灰阶差绝对值之和。4.根据权利要求2所述的数字图像处理装置，其中该图像混合模块针对该目标图像的每一像素点与该些校正后图像的每一像素点，选择该些方向梯度值中的数值最大者作为一最大梯度值，及选择该些方向梯度值中的数值最小者作为一最小梯度值，各该梯度差值则为该最大梯度值与该最小梯度值相减所得。5.根据权利要求I所述的数字图像处理装置，其中该图像校正模块包括 一位移量估测单元，耦接至该图像放大模块，用以产生多个全域位移量；以及 一位移量校正单元，耦接至该位移量估测单元，依据相对应的该些全域位移量对该些未选择图像执行该些位移量校正，以产生该些校正后图像。6.根据权利要求5所述的数字图像处理装置，其中该位移量估测单元包括 一区块位移量估测器，分割该目标图像与该些未选择图像为多个区块，估测该目标图像与该些未选择图像之间的多个区块位移量；以及 一全域位移量估测器，耦接至该区块位移量估测器，依据该些区块位移量执行多个全域位移量估测以获得该些全域位移量。7.根据权利要...

【专利技术属性】
技术研发人员：庄哲纶，吴宗达，周宏隆，
申请(专利权)人：华晶科技股份有限公司，
类型：发明
国别省市：