基于决策级融合的彩色图像感兴趣区域提取方法技术

本发明专利技术提出了一种基于决策级融合的彩色图像感兴趣区域提取方法，主要解决现有技术中感兴趣区域提取方法的适用范围有限，感兴趣区域提取的精度不足的问题。其实现步骤为：获取训练数据集；获取RGB图像I的目标分割图I

Method of extracting region of interest of color image based on decision level fusion

【技术实现步骤摘要】
基于决策级融合的彩色图像感兴趣区域提取方法
本专利技术属于图像处理
，涉及一种对彩色图像中感兴趣区域的提取方法，具体涉及一种基于决策级融合的彩色图像感兴趣区域提取方法，可用于目标检测、障碍物识别、图像视觉监控、行人检测等领域。
技术介绍
在目标检测、障碍物识别、图像检索等领域，往往只会将注意力集中于少数的目标，但是图像处理算法却是针对整幅图像的。如果在图像处理中把计算资源用于处理感兴趣区域，将会大大降低算法的计算量，有效提高信息处理的效率，节省计算机资源，增加算法的工程实现的可能。感兴趣区域ROI是图像中可能引起人眼视觉关注的区域。通常，人们总是能迅速地把目光集中在自己想要了解的区域。ROI检测将人类的视觉注意机制引入到图像分析过程中，对于提高现有图像分析系统的工作效率有着积极的作用，同时在视频压缩与编码、图像检索、场景渲染、图像重定向等领域也得到了应用。现有的感兴趣区域算法都依赖于图像的颜色、形状、纹理、语义特征等。感兴趣区域提取一般从两方面着手解决：一是利用图像分割技术提取感兴趣区域；二是从人眼的视觉特性出发，通过模拟人眼的视觉特点，寻找特定的视觉敏感区域。基于图像分割理论的感兴趣区域提取方法有大津法OTSU等，在针对简单背景图像进行自动图像分割效果相对较好，且全程自动提取，不需要人机交互，比较适用于大量背景简单图片的处理。人类视觉系统在面对自然场景时具有快速搜索和定位感兴趣目标的能力，Itti等人基于显著性映射和特征整合理论提出的视觉注意模型最具代表性，该模型已经成为了自下而上视觉注意模型的标准。近年来视觉注意又有了长足的发展，模型包括：基于认知、贝叶斯、决策论、信息论、频域分析、基于模式分类的等。2015年Jonathan等人提出全卷积网络FCN模型，首次针对语义级分割训练一个端到端的网络，对图像进行像素级分类，基于语义分割的感兴趣提取方式有了飞速的发展，并且语义分割方法近几年又提出了很多模型。现有技术中，每种技术的适用范围有限，难以适用于不同类型、不同目标的图像，提取的感兴趣区域不够准确，尤其对于复杂背景图像，背景影响过大，提取的感兴趣区域常混有背景信息。
技术实现思路
本专利技术的目的在于针对上述现有技术存在的不足，提供一种基于决策级融合的彩色图像感兴趣区域提取方法，旨在拓宽感兴趣区域提取方法的适用范围，并提高感兴趣区域提取的精度，降低复杂背景信息的影响。为实现上述目的，本专利技术采取的技术方案包括如下步骤：(1)获取训练数据集；对与待提取感兴趣区域RGB图像I目标特征相同的M幅RGB图像分别添加标签，并将该M幅RGB图像及其各自的标签作为训练数据集，M≥1000；(2)获取RGB图像I的目标分割图I1：(2a)将步骤(1)训练数据集中的每幅RGB图像进行直方图均衡化，得到均衡化后的数据集；(2b)将均衡化后的数据集作为全卷积网络FCN的输入进行迭代训练，并将RGB图像I作为训练好的全卷积网络FCN的输入进行像素级分类，得到I的像素级分类图；(2c)对I的像素级分类图进行边缘剔除，得到RGB图像I的目标分割图I1；(3)获取RGB图像I的景深分割图I2：(3a)采用暗通道先验算法并通过雾图成像模型对RGB图像I的透射率图t进行估计，并将RGB图像I的灰度图作为引导图，对透射率图t进行引导滤波，得到滤波后的透射率图t'；(3b)通过滤波后的透射率图t'计算RGB图像I的景深图像d，并采用大津法OTSU计算景深图像d的阈值；(3c)根据景深图像d的阈值对d进行前后景分割，得到RGB图像I的景深分割图I2；(4)获取RGB图像I的热度分割图I3：(4a)将步骤(1)中的训练数据集作为自注意力机制网络的输入，进行迭代训练，并将RGB图像I的灰度图作为训练好的自注意力机制网络的输入进行自注意力强度计算，得到I的自注意力热度图；(4b)采用最大熵阈值法，计算I的自注意力热度图的阈值，并根据该阈值对I的自注意力热度图进行二值化，得到RGB图像I的热度分割图I3；(5)获取RGB图像I的显著性分割图I4：(5a)采用FT算法计算RGB图像I的显著值图S，并采用大津法OTSU计算显著值图S的阈值；(5b)通过显著值图S的阈值对S进行前后景分割，得到RGB图像I的显著性分割图I4；(6)对I1、I2、I3和I4进行决策级融合：(6a)把I1、I2、I3和I4按层排列，得到三维图像I5，并采用主成分分析PCA方法对I5进行特征提取，得到特征图；(6b)采用支持向量机SVM，对特征图进行特征融合，并对特征融合所获取的结果进行形态学闭操作，得到二值图像Id；(6c)将二值图像Id与RGB图像I进行点乘操作，得到RGB图像I的感兴趣区域。本专利技术与现有技术相比，具有如下优点：第一，本专利技术所获取的RGB图像I的感兴趣区域，是通过对目标分割图、景深分割图、热度分割图和显著性分割图进行决策级融合的方法实现的，兼顾了通过四种分割图各自提取感兴趣区域的优点，并弥补了各自的缺陷，有效拓宽了感兴趣区域提取方法的适用范围，提高了感兴趣区域提取的精度，并降低了复杂背景的影响。第二，本专利技术计算景深分割图时，采用暗通道先验算法并通过雾图成像模型估计大气光透射率，并用透射率估计图像景深图，以景物到相机的距离为依据，提高感兴趣区域提取的精度。第三，本专利技术计算四种分割图，四种分割图的计算过程互相独立，可并行计算，一个分割图在计算时出错不会完全影响最终结果，提高了方法的容错性，满足工程使用需求。附图说明图1为本专利技术的实现流程图；图2为本专利技术中计算景深图的实现流程图；图3为本专利技术中计算显著值图的实现流程图。具体实施方式以下结合附图和具体实施例，对本专利技术作进一步详细描述。步骤1)获取训练数据集。对与待提取感兴趣区域RGB图像I目标特征相同的M幅RGB图像分别添加标签，并将该M幅RGB图像及其各自的标签作为训练数据集，M≥1000，本实例M＝1500。目标特征相同表示在采集图像的时候，感兴趣区域绝大多数在前景部分，后景部分为背景，在添加标签的时候，同一幅图像中的同一目标使用同一种颜色，不同的目标用不同的颜色。步骤2)获取RGB图像I的目标分割图I1。(2a)将步骤1)中的训练数据集中的每幅RGB图像进行直方图均衡化，得到均衡化后的数据集。直方图均衡化对于背景和前景都过亮或者过暗的图像都非常有用，能更好的显示曝光过度或者曝光不足照片中的细节。这种方法的一个主要优势是它是一个相当直观的技术并且是可逆操作，如果已知均衡化函数，那么就可以恢复原始的直方图，并且计算量不大。直方图均衡化通过使用累积函数对灰度值进行映射，亮度可以更好地在直方图上分布，以实现对比度的增强。(2b)将均衡化后的数据集作为全卷积网络FCN的输入进行迭代训本文档来自技高网...

【技术保护点】
1.一种基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，包括如下步骤：/n(1)获取训练数据集；/n对与待提取感兴趣区域RGB图像I目标特征相同的M幅RGB图像分别添加标签，并将该M幅RGB图像及其各自的标签作为训练数据集，M≥1000；/n(2)获取RGB图像I的目标分割图I

【技术特征摘要】
1.一种基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，包括如下步骤：
(1)获取训练数据集；
对与待提取感兴趣区域RGB图像I目标特征相同的M幅RGB图像分别添加标签，并将该M幅RGB图像及其各自的标签作为训练数据集，M≥1000；
(2)获取RGB图像I的目标分割图I1：
(2a)将步骤(1)训练数据集中的每幅RGB图像进行直方图均衡化，得到均衡化后的数据集；
(2b)将均衡化后的数据集作为全卷积网络FCN的输入进行迭代训练，并将RGB图像I作为训练好的全卷积网络FCN的输入进行像素级分类，得到I的像素级分类图；
(2c)对I的像素级分类图进行边缘剔除，得到RGB图像I的目标分割图I1；
(3)获取RGB图像I的景深分割图I2：
(3a)采用暗通道先验算法并通过雾图成像模型对RGB图像I的透射率图t进行估计，并将RGB图像I的灰度图作为引导图，对透射率图t进行引导滤波，得到滤波后的透射率图t'；
(3b)通过滤波后的透射率图t'计算RGB图像I的景深图像d，并采用大津法OTSU计算景深图像d的阈值；
(3c)根据景深图像d的阈值对d进行前后景分割，得到RGB图像I的景深分割图I2；
(4)获取RGB图像I的热度分割图I3：
(4a)将步骤(1)中的训练数据集作为自注意力机制网络的输入，进行迭代训练，并将RGB图像I的灰度图作为训练好的自注意力机制网络的输入进行自注意力强度计算，得到I的自注意力热度图；
(4b)采用最大熵阈值法，计算I的自注意力热度图的阈值，并根据该阈值对I的自注意力热度图进行二值化，得到RGB图像I的热度分割图I3；
(5)获取RGB图像I的显著性分割图I4：
(5a)采用FT算法计算RGB图像I的显著值图S，并采用大津法OTSU计算显著值图S的阈值；
(5b)通过显著值图S的阈值对S进行前后景分割，得到RGB图像I的显著性分割图I4；
(6)对I1、I2、I3和I4进行决策级融合：
(6a)把I1、I2、I3和I4按层排列，得到三维图像I5，并采用主成分分析PCA方法对I5进行特征提取，得到特征图；
(6b)采用支持向量机SVM，对特征图进行特征融合，并对特征融合所获取的结果进行形态学闭操作，得到二值图像Id；
(6c)将二值图像Id与RGB图像I进行点乘操作，得到RGB图像I的感兴趣区域。


2.根据权利要求1所述的基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，步骤(2b)中所述的全卷积网络FCN，包括顺次连接的特征提取网络、区域检测网络和分类器，其中，特征提取网络用于提取RGB图像I的多维图像特征，区域检测网络用于提取多维图像特征的可能性区域，分类器用于对可能性区域进行像素级分类。


3.根据权利要求1所述的基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，步骤(2c)中所述的对I的像素级分类图进行边缘剔除，实现步骤为：
(2c1)对I的像素级分类图进行高斯滤波，得到降噪图Idnoise；
(2c2)采用Canny算子提取降噪图Idnoise的边缘，得到边缘轮廓图Iedge，并将Idnoise的每一个像素与Iedge对应位置像素点进行相加，实现对降噪图Idnoise的边缘增强，得到边缘增强图Idnoise'；
(2c3)采用区域增长算法对边缘增强图Idnoise'进行图像分割，得到分割图Iseg，并对分割图Iseg进行形态学膨胀，然后对膨胀结果进行孔洞填充，得到RGB图像I的目标分割图I1。


4.根据权利要求1所...

【专利技术属性】
技术研发人员：吴宪云，司鹏辉，李云松，王柯俨，苏丽雪，王康，孙力，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61