HDR图像的生成方法及装置制造方法及图纸

本申请涉及一种HDR图像的生成方法及装置。方法包括：获取图像序列的第一运动区域和第二运动区域；根据第一比例与第一阈值之间的比较结果以及第二比例与第一阈值之间的比较结果，确定目标运动区域；根据第一权重值和第二权重值，得到第一HDR图像；根据第一权重之和与第二权重之和的比较结果，确定参照图像；利用参照图像对第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像；基于连通区域，将调节后的第一HDR图像与参考图像或第一非参考图像进行融合处理，得到第二HDR图像。由此，可以检测目标场景中一定面积的运动区域，扩大了运动区域的范围，即可以允许场景中存在较大的运动区域，并去除了调节后的第一HDR图像的鬼影，得到没有鬼影的第二HDR图像。

HDR image generation method and device

The application relates to a method and a device for generating HDR images. The method includes: obtaining the first motion region and the second motion region of the image sequence; determining the target motion region according to the comparison result between the first ratio and the first threshold and the comparison result between the second ratio and the first threshold; obtaining the first HDR image according to the first weight value and the second weight value; and according to the first weight value. The first HDR image after adjustment is obtained by adjusting the brightness of the first HDR image with the reference image, and the second HDR image is obtained by fusing the adjusted first HDR image with the reference image or the first non-reference image based on the connected region. Like. Thus, the moving area of a certain area in the target scene can be detected, and the range of the moving area can be enlarged, that is, the large moving area can be allowed in the scene, and the ghost of the adjusted first HDR image can be removed, and the second HDR image without ghost can be obtained.

【技术实现步骤摘要】
HDR图像的生成方法及装置
本专利技术涉及图像处理领域，尤其涉及HDR图像的生成方法及装置。
技术介绍
高动态范围(High-DynamicRange，HDR)成像(HDRImage，HDRI)技术，在计算机图形学与电影摄影术中，是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。HDR的目的是正确地表示真实世界中从太阳光直射到较暗的阴影这样大的范围亮度。相比普通数位图像，HDR可以提供更多的动态范围和图像细节，根据不同的曝光时间的低动态范围(Low-DynamicRange，LDR)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映人真实环境中的视觉效果。高动态范围成像最初只用于纯粹由计算机生成的图像。后来，人们开发出了一些从不同曝光范围照片中生成HDR的方法。随着手持相机的日渐流行以及智能手机变得易于使用，使得许多业余摄影师能够通过一些手机应用简单地生成高动态范围场景的照片。国内外许多手机算法设计者都已经对HDR的技术进行了一些研究，包括谷歌(Google)、苹果、宏达国际电子股份有限公司(HighTechnologyComputerCorporation，HTC)、诺基亚等手机厂商也都已经将他们的技术应用到实际去，在他们的相机应用中内置了HDR算法。比较传统的方法是由PaulDebevec在1997年提出的，该方法利用图像的曝光时间，获得相机的响应函数，然后利用响应函数，将图像从像素值反映射回场景辐照域，从而获得像素的辐照度(正比于场景的实际亮度值)，然后在辐照域上对多幅图像进行加权平均融合，最后进行色调映射从而得到最终的HDR。但是这些方法的效果往往依赖于对相机响应函数的求解，而响应函数对图像的噪声比较敏感，因此为了能够得到精确的响应函数，需要拍摄出多幅不同曝光时间的高质量图像，并采样各种实际亮度不同的点，导致操作会比较复杂。此外，随着相机的损耗，相机的响应函数可能会发生改变，需要定时进行标定，这就需要标准化用户的操作，如果用户不能很好的进行响应函数的标定，那么HDR合成的效果会大打折扣。因此如果采用这种相机响应函数标定的方法，会使得用户体验较差，此外，得到的图像质量可能也会下降，不适合用于手持相机应用。还有一种方法是在图像域上进行融合，是由Mertens在2009年提出曝光融合(exposurefusion)方法，该方法是计算多张图像每个像素的饱和度、对比度和曝光程度(well-exposedness)，即描述物体显示效果是否良好，结合这三种系数，得出每张图的每个像素的权重，然后利用这个权重对多张图片进行加权，这个方法只需要输入图像即可，并不需要求解相机响应函数，也不需要进行最终的色调映射。不管是Debevec的方法还是Mertens的方法，都只能对静态的场景进行处理，如果场景中有物体在运动，则会造成鬼影。现有技术中，为了实现对动态的场景进行处理，以多张LDR图像作为输入，首先对图像进行对齐，在红、绿、蓝(Red、Green、Blue，RGB)通道上和亮度通道上分别利用直方图匹配将所有非参考图像的色调都变得和参考图像相似，然后在亮度通道上将非参考图像与参考图像做差，得到场景的运动区域，如果运动区域比较大，会将该图片舍弃，接着将运动区域对应的参考图像像素贴到未舍弃的非参考图像上，再利用Mertens方法对进行过色调映射的图进行曝光融合。但是如果场景中物体的运动比较大，那么就无法将该图片包括到融合所用的图片中，导致只能用少数图片进行融合，而由于较亮图像的曝光时间比较长，较亮图像的曝光时长大于参考图像，运动物体在较亮图像中的位移相对参考图像较大，因此运动场景中的较亮图像往往会被抛弃，那么融合的结果就会偏暗，物体辨识度会下降，此外，由于没有对场景的细节区域进行增强，会导致一些细节区域的丢失。
技术实现思路
针对上述技术问题，本专利技术提供了一种HDR图像生成方法及装置，可以对目标场景中较大的运动区域进行检测，并利用细节区域对初次融合后的HDR图像进行细节增强，生成的目标HDR图像细节丰富。第一方面，提供了一种HDR图像生成方法，所述方法包括：获取图像序列的第一运动区域和第二运动区域；其中，所述图像序列包括参考图像、第一非参考图像和第二非参考图像，所述第一非参考图像、所述参考图像和所述第二非参考图像对目标场景的曝光时长依次递增，所述第一运动区域为所述第一非参考图像相对于所述参考图像存在灰度值差异的区域，所述第二运动区域为所述第二非参考图像相对于所述参考图像存在灰度值差异的区域；根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域；其中，所述第一比例为所述第一非参考图像中所述第一运动区域所占的比例，所述第二比例为所述第二非参考图像中所述第二运动区域所占的比例，所述目标运动区域包括至少一个连通区域；根据第一权重值和第二权重值，得到第一HDR图像；其中，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；根据第一权重之和与第二权重之和的比较结果，确定参照图像，其中,所述第一权重之和为所述参考图像中与所述连通区域重叠的区域的像素点的权重值之和,所述第二权重之和为所述第一非参考图像中与所述连通区域重叠的区域的像素点的权重值之和，其中，所述像素点的权重值为所述像素点的饱和度、对比度和曝光程度的乘积；利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像；基于所述连通区域，将所述调节后的第一HDR图像与所述参考图像或所述第一非参考图像进行融合处理，得到第二HDR图像。由此，通过第一阈值的设置，可以检测目标场景中一定面积的运动区域，扩大了运动区域的范围，即本申请可以允许场景中存在较大的运动区域，并去除了调节后的第一HDR图像的鬼影，得到没有鬼影的第二HDR图像。在一种可能的实现方式中，所述方法还包括：确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像。由此，通过确定所述第一非参考图像的边缘，获取到细节区域，以对第二HDR图像进行细节增强，得到的目标HDR图像细节更丰富。在一种可能的实现方式中，所述根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域，包括：当所述第一比例和所述第二比例都不大于所述第一阈值时，将所述第一运动区域和所述第二运动区域进行叠加，确定叠加后的区域为目标运动区域；或者本文档来自技高网...

【技术保护点】
1.一种高动态范围HDR图像的生成方法，其特征在于，所述方法包括：获取图像序列的第一运动区域和第二运动区域；其中，所述图像序列包括参考图像、第一非参考图像和第二非参考图像，所述第一非参考图像、所述参考图像和所述第二非参考图像对目标场景的曝光时长依次递增，所述第一运动区域为所述第一非参考图像相对于所述参考图像存在灰度值差异的区域，所述第二运动区域为所述第二非参考图像相对于所述参考图像存在灰度值差异的区域；根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域；其中，所述第一比例为所述第一非参考图像中所述第一运动区域所占的比例，所述第二比例为所述第二非参考图像中所述第二运动区域所占的比例，所述目标运动区域包括至少一个连通区域；根据第一权重值和第二权重值，得到第一HDR图像；其中，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；根据第一权重之和与第二权重之和的比较结果，确定参照图像；其中,所述第一权重之和为所述参考图像中与所述连通区域重叠的区域的像素点的权重值之和,所述第二权重之和为所述第一非参考图像中与所述连通区域重叠的区域的像素点的权重值之和，其中，所述像素点的权重值为所述像素点的饱和度、对比度和曝光程度的乘积；利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像；基于所述连通区域，将所述调节后的第一HDR图像与所述参考图像或所述第一非参考图像进行融合处理，得到第二HDR图像。...

【技术特征摘要】
1.一种高动态范围HDR图像的生成方法，其特征在于，所述方法包括：获取图像序列的第一运动区域和第二运动区域；其中，所述图像序列包括参考图像、第一非参考图像和第二非参考图像，所述第一非参考图像、所述参考图像和所述第二非参考图像对目标场景的曝光时长依次递增，所述第一运动区域为所述第一非参考图像相对于所述参考图像存在灰度值差异的区域，所述第二运动区域为所述第二非参考图像相对于所述参考图像存在灰度值差异的区域；根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域；其中，所述第一比例为所述第一非参考图像中所述第一运动区域所占的比例，所述第二比例为所述第二非参考图像中所述第二运动区域所占的比例，所述目标运动区域包括至少一个连通区域；根据第一权重值和第二权重值，得到第一HDR图像；其中，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；根据第一权重之和与第二权重之和的比较结果，确定参照图像；其中,所述第一权重之和为所述参考图像中与所述连通区域重叠的区域的像素点的权重值之和,所述第二权重之和为所述第一非参考图像中与所述连通区域重叠的区域的像素点的权重值之和，其中，所述像素点的权重值为所述像素点的饱和度、对比度和曝光程度的乘积；利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像；基于所述连通区域，将所述调节后的第一HDR图像与所述参考图像或所述第一非参考图像进行融合处理，得到第二HDR图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像。3.根据权利要求1或2所述的方法，其特征在于，所述根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域，包括：当所述第一比例和所述第二比例都不大于所述第一阈值时，将所述第一运动区域和所述第二运动区域进行叠加，确定叠加后的区域为目标运动区域；或者，当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，确定所述第一运动区域为目标运动区域；或者，当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，确定所述第二运动区域为目标运动区域。4.根据权利要求1或2所述的方法，其特征在于，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积，包括：当所述第一比例和所述第二比例都不大于所述第一阈值时，分别计算所述第一非参考图像和所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一非参考图像中每个像素点的权重值，以及将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第二非参考图像中每个像素点的权重值，将所述第一非参考图像中每个像素点的权重值和所述第二非参考图像中每个像素点的权重值相加，得到所述第一权重值；或者，当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，计算所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值；或者，当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，计算所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值。5.根据权利要求1所述的方法，其特征在于，所述第一阈值不小于7.5％。6.根据权利要求1所述的方法，其特征在于，所述根据所述第一权重值和第二权重值，得到第一HDR图像，包括：将第一像素点的第一权重值和第二像素点的第二权重值加权平均，得到一个加权平均值，所述加权平均值作为第三像素点的权重值，所述第一像素点为确定了第一权重值的所有像素点中的任一个，所述第二像素点为所述参考图像中与所述第一像素点对应的像素点；根据获得的所有所述第三像素点的权重值，得到所述第一HDR图像。7.根据权利要求1所述的方法，其特征在于，根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域之后，所述方法还包括：对所述目标运动区域所在的图像进行扫描，当所述目标运动区域所在的图像中存在像素值等于第三阈值的像素点时，对所述像素值为第三阈值的像素点进行标记；确定标记过的所有像素点所构成的区域为所述连通区域。8.根据权利要求1所述的方法，其特征在于，所述根据第一权重之和与第二权重之和的比较结果，确定参照图像，包括：当所述第一权重之和不小于所述第二权重之和，确定所述参考图像为参照图像；当所述第一权重之和小于所述第二权重之和，确定所述第一非参考图像为参照图像。9.根据权利要求1-8任一项所述的方法，其特征在于，所述利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像，包括：当所述第一权重之和不小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述参考图像的亮度值，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像；或者，当所述第一权重之和小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述第一非参考图像的亮度值，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像。10.根据权利要求9所述的方法，其特征在于，所述当所述第一权重之和不小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像，包括：以所述参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第一亮度比例进行相乘处理，得到与所述参考图像的亮度值相同的第一HDR图像；所述当所述第一权重之和小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像，包括：以所述第一非参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第二亮度比例进行相乘处理，得到与所述第一非参考图像的亮度值相同的第一HDR图像。11.根据权利要求2所述的方法，其特征在于，在基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像之后，所述方法还包括：对所述目标HDR图像进行引导滤波和曝光矫正。12.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；当所述第一比例和所述第二比例都大于所述第一阈值时，将所述细节区域和所述参考图像进行融合处理，得到目标HDR图像。13.根据权利要求2或12所述的方法，其特征在于，所述确定所述第一非参考图像的边缘，包括：利用canny算子对所述第一非参考图像的每个像素点进行边缘检测；根据所述边缘检测的结果，确定所述第一非参考图像的边缘。14.一种HDR图像的生成装...

【专利技术属性】
技术研发人员：李欣，宋明黎，陈柯，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44