一种实时处理的快速图像分块融合系统及融合方法技术方案

本发明专利技术公开一种实时处理的快速图像分块融合系统及融合方法，该系统包括曝光控制模块、摄像头等采集工具、图像缓冲模块、图像融合模块等。所述曝光控制模块通过与摄像头的交互，控制摄像头按照曝光时间的不同依次输出多曝光图像。图像缓冲模块用于将摄像头拍摄的图像保存下来，每次存储一个场景的几幅不同曝光值的图像。图像融合模块负责从缓存中读取多曝光图像，进行融合处理。所述融合方法主要从图像序列的优化、熵值计算的优化、高斯加权融合的优化几个方面对图像进行优化，可以大幅减少内存的使用，简化运算的步骤，并减少运算时间，提高算法运行的效率。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，更具体的涉及一种实时处理的快速图像分块融合系统及融合方法。
技术介绍
真实的世界涵盖了很宽广的亮度范围，比如，中午日光的亮度可以达到深夜月光亮度的一千万倍。实际的自然场景的亮度范围可以高达14个数量级，而普通照相机却只能采集到很窄的亮度范围，约为4个数量级，这对于图像采集是一个很大的挑战，即使配备精准的自动曝光模块，也不可避免的会出现过度曝光和曝光不足的现象，尤其是对于高动态的场景(HDR)。为了解决过度曝光和曝光不足的问题，图像融合(Image Fusion)技术被引入，来获取高动态场景的所有信息。图像融合技术是指，首先采集到针对同一场景进行不同曝光的一组图像，然后将这组图像通过融合算法进行处理，最终组合成一副几乎包含场景中所有信息的图像，如图1所示。在目前的图像融合技术中，有些方法可以通过将一组图像序列进行融合后得到一副高动态的图像，但是这样的高动态图像并不能在显示器中正常显示，需要进行高动态到低动态的映射，才能够看到效果，这个过程过于复杂，并且融合的效果与后期的映射处理息息相关。T.Mertens使用了图像金字塔对图像进行分层，并使用图像质量的参数作为权重，逐层进行融合，由于这种方法使用了图像金字塔，所以计算量很大，并且经常会出现一些人工处理的痕迹。A.Goshtasby描述了一种分块融合的方法。在这种方法中，首先需要对图像分块，并逐块计算权重，之后再对每个像素点进行加权得到最终的融合图像。这种方法可以得到较好的融合效果，但同样计算量较大。以上两种方法，在静态图像的融合中具有重要的应用价值，但是，由于其自身的种种缺陷与不足，均无法满足我们所要实现的实时处理的要求。因此，需要提供一种更好的图像处理方法。
技术实现思路
针对以上现有技术的不足，本专利技术提供一种实时处理的快速图像分块融合系统及融合方法。通过对图像分块融合算法的优化，能够旨在大幅缩短此算法的用时，以提高其执行效率，使其能够良好地应用于实时图像处理系统。为解决上述技术问题，本专利技术采用下述技术方案。一种实时处理的快速图像分块融合方法包括如下步骤：①获取针对同一场景的一组不同曝光值的图像I(x,y)。使用过少的图像，无法得到足够的动态范围，而使用过多的图像会降低处理效率。因此本专利技术将获取的图片数量优化为3幅左右。图2、图3即说明这种情况。②将每张图像进行分块，每块均为d x d像素，则每张图像分为nr*nc块，其中，nr、nc分别表示横向、纵向的分块数。③计算每个块的熵值。本专利技术中所使用的熵值计算公式为：E=Σi=0255-pilog(pi)=log2(N)-1N·Cpr]]>其中，Cpr算子表示为：Cpr=Σini·log2(ni)]]>可见，Cpr算子越大，熵值E就越小。在本专利技术提出的优化算法中，将使用Cpr算子而不是原始的熵值E来作为评判标准，可以减少对Cpr算子的运算之外的除法、减法、对数运算，有效提高运算效率。④选出不同图像中对应某一区域的熵值最大的块作为最优块。由于上一步骤已算出每个块的Cpr算子，在此步骤中只需对多张原图的同一位置上的块的Cpr算子进行比较，选取其中的最小的Cpr算子对应的块，作为最优块。⑤使用以每个被选出的图像块的中心为对称轴的有理高斯函数作为权重值，对图像序列进行线性加权。融合函数为：O(x,y)=Σj=1nrΣk=1ncWjk(x,y)Ijk(x,y)]]>在此运算过程中需要进行(nr*nc)次乘法和(nr*nc-1)次加法。本专利技术对其运算流程进行改进，改写融合函数为：O(x,y)=Σi=2nrΣj=2ncwij(x,y)·Iij(x,y)=Σk=2MIkwk,wk=ΣOptij∈Ikwij]]>其中M表示进行融合的图像数，是指在第(i,j)块位置的最优块，表示如果最优块属于第k幅图像，那么就对这个权重进行累加。通过这个变换，将先乘后加变为了现加后乘的计算，首先合并属于同一副图像的权重值，之后再做乘运算，最终的计算量变为(nr*nc-1)次加法和M次乘法，算法效率骤然上升。⑥得到融合后的图像O(x,y)。在对以上的算法流程进行优化的过程中，主要有图像序列的优化、熵值计算的优化、高斯加权融合的优化。通过这三个方面的优化，可以大幅减少内存的使用，简化运算的步骤，大幅减少运算时间，大幅提高算法运行的效率，使之更适合于实时系统。一种实时处理的快速图像分块融合系统，该系统包括：曝光控制模块，用于控制摄像头按照曝光时间的不同依次输出多组曝光图像；图像缓冲模块，用于将摄像头拍摄的图像保存下来，每次存储一个场景的几幅不同曝光值的图像；图像融合模块，用于将图像缓冲模块读取多组曝光图像，并对该曝光图像进行融合处理。本专利技术的有益效果如下：块融合的效率约为从前的2.5倍左右。更高的效率能够使基于此算法的实时系统接收更高帧率的图像数据流，应用于更高需求的场合中，使图像处理的效果更出色。附图说明下面结合附图对本专利技术的具体实施方式作进一步详细的说明。图1.(A)(B)(C)是在不同曝光值下采集到的图像序列。图1.(D)是最终得到的融合后的图像。图2.(A)(B)(C)(D)(E)(F)是从http://www.imagefusion.org/网站得到的“an office room”图像序列，总共6幅图，尺寸均为1024x768。其中从(A)到(F)的曝光时间依次增加。图3.(A)是使用图2.(A)(B)(C)(D)(E)(F)这6幅图片进行融合的结果。图3.(B)是使用图2.(A)(D)(F)这3幅图片进行融合的结果。图3.(C)是使用图2.(A)(F)这2幅图片进行融合的结果。图3.(D)是使用图2.(B)(E)这2幅图片进行融合的结果。图4.(A)(B)(C)是具体实施算法流程时选用的3张原图。图4.(D)是具体实施算法流程时的最优块选取结果。图4.(E)是具体实施算法流程时的最终融合结果。图5是实时融合方法流程图。图6是实时图像融合系统的效果图。图7是实时图像融合系统的效果图。具体实施方式为了更清楚地说明本专利技术，下面结合优选实施例和附图对本专利技术做进一步的说明。本专利技术的一个目的是提供一种实时处理的快速本文档来自技高网...

【技术保护点】
一种实时处理的快速图像分块融合方法,其特征在于，该融合方法包括如下步骤：1)获取针对同一场景的一组不同曝光值的图像I(x,y)；2)将每张图像进行分块，每块均为d x d像素，则每张图像分为nr*nc块，其中，nr、nc分别表示横向、纵向的分块数；3)分别计算每个块的熵值和Cpr值，所述熵值为：E=Σi=0255-pilog(pi)=log2(N)-1N·Cpr]]>其中,pi是指像素值为i的像素点的个数ni占总像素点N的比例，而Cpr算子表示为：Cpr=Σini·log2(ni);]]>4)选出熵值最大的块作为最优块；5)使用以每个被选出的最优图像块的中心为对称轴的有理高斯函数作为权重值，对图像序列进行线性加权，融合，得到融合后的图像O(x,y)，O(x,y)=Σi=2nrΣj=2ncwij(x,y)·Iij(x,y)=Σk=2MIkwk,wk=ΣOptij∈Ikwij]]>其中M表示进行融合的图像数，是指在第(i,j)块位置的最优块，如果最优块属于第k幅图像，那么就对这个权重进行累加。...

【技术特征摘要】
1.一种实时处理的快速图像分块融合方法,其特征在于，该融合方法包括
如下步骤：
1)获取针对同一场景的一组不同曝光值的图像I(x,y)；
2)将每张图像进行分块，每块均为d x d像素，则每张图像分为nr*nc块，
其中，nr、nc分别表示横向、纵向的分块数；
3)分别计算每个块的熵值和Cpr值，所述熵值为：
E=Σi=0255-pilog(pi)=log2(N)-1N·Cpr]]>其中,pi是指像素值为i的像素点的个数ni占总像素点N的比例，而Cpr算子
表示为：
Cpr=Σini·log2(ni);]]>4)选出熵值最大的块作为最优块；
5)使用以每个被选出的最优图像块的中心为对称轴的有理高斯函数作为
权重值，对图像序列进行线性加权，融合，得到融合后的图像O(x,y)，
O(x,y)=Σi=2nrΣj=2ncwij(x,y)·Iij(x,y)=Σk=2MIkwk,wk=ΣOptij∈Ikwij]]>其中M表示进行融合的图像数，是指在第(i,j)块位置的最优块，如果
最优块属于第k幅图像，那么就对这个权重进行累加。
2.一种实时处理的快速图像分块融合系统,其特征在于，该系统包括：
曝光控制模块，用于控制摄像头按照曝光时间的不同依次输出多组曝光图
像；
图像缓冲模块，用于将摄像头拍摄的图像保存下来，每次存储一个场景的
几幅不同曝光值的图像；
图像融合模块，用于将图像缓...

【专利技术属性】
技术研发人员：周晓波，范逵，刘桑，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京;11