基于成像本质属性的立体颜色校正方法技术

本发明专利技术公开了一种基于成像本质属性的立体匹配颜色校正方法，包括以下步骤：(1)基于成像本质属性，将立体匹配图像对分别分解为反射层和光照层；(2)利用均值漂移图像分割方法对输入的立体匹配图像对进行区域分割；(3)利用尺度不变特征变换方法提取图像对各自的特征点，并匹配；(4)根据对极几何对SIFT匹配特征点进行筛选；(5)根据SIFT匹配特征点进行图像对一致性的区域对应；(6)根据区域对应关系和图像分层结果，对待校正图像进行校正；(7)将校正后的待校正图像的反射层和光照层进行合并，得到待校正图像的最终校正结果。该方法能够大大提升图像矫正效果，提升立体匹配精度。

【技术实现步骤摘要】

本专利技术涉及计算机立体视觉中面向真实物体的立体匹配及三维建模领域，具体涉及一种基于成像本质属性的立体颜色校正方法。
技术介绍
立体匹配的目的是用来获得立体匹配图像的视差图，在很多领域都有所涉及，包括计算机视觉，机器技术，以及图像分析等。大多数的立体匹配方法都是通过计算一个匹配代价来衡量立体匹配图像的相似度的，通常情况下，这个匹配代价的前提假设为两幅图像的对应点有着相近的颜色。然而，在实际情况下，立体匹配图像对应点的颜色可能会受各种因素影响表现得非常不一样，这些因素包括相机设备型号的不同、光照条件的不同等等。尽管在实际的立体匹配研究中已经出现了鲁棒的匹配代价函数来解决这个问题，其中，MutualInformation方法和CensusTransform方法已经考虑到了一个确定情况下的颜色差异，但是大多数的方法是不能够解决非常剧烈的颜色差异的，立体匹配的精度因此会大受影响。因此，为了提升立体匹配的精度，颜色校正方法可以被看作立体匹配前的一个预处理过程来消除图像对的颜色差异。颜色校正方法旨在将参考图像的颜色迁移到待校正图像上，使两幅图像颜色尽量接近。现有的颜色校正方法可以被分为参数化方法和非参数化方法，参数化方法在可扩展性方面优于非参数化方法。通常情况下，参数化方法可以用如下的表达式代表：Is＝M*It；其中，M代表了三通道的映射，Is和It分别代表了待校正图像和参考图像。全局的参数化方法只能从图像的整体场景的角度进行颜色差异的消除，然而实际情况下场景中不同区域可能存在不同的颜色差异。为了解决全局方法的限制性问题，许多考虑局部的方法被提出，这些方法使用了更复杂的映射。局部的方法旨在从两幅图像的对应区域着手去改变颜色，使得待校正图像的某区域的颜色接近于参考图像的对应区域颜色。对于这一类的方法，建立一个精确的区域对应是非常重要的问题。从成像的本质属性去考虑这个问题，一个像素颜色值代表了成像场景中对应点的所有特征。一幅图像的成像可以由反射图像和光照图像来表示。通常情况下我们假设物体的反射满足朗泊漫反射模型，则同一场景同一点的反射值应当是相同的，图像的颜色差异主要来自于光照层。这时把光照层和反射层分开，直接从光照层进行值的迁移和改变可以达到更好的校正效果。
技术实现思路
本专利技术提供了一种基于成像本质属性的立体颜色校正方法，利用该方法对立体匹配前颜色差异的图像进行预处理，能够减小立体匹配图像的颜色差异，提升立体匹配的精度。一种基于成像本质属性的立体匹配颜色校正方法，具体步骤如下：(1)基于成像本质属性，将参考图像分为第一反射层和第一光照层，将待校正图像分为第二反射层和第二光照层；(2)利用均值漂移图像分割方法对待校正图像和将参考图像进行区域分割，通过调整分割中的空间参数，参考图像按照正常粒度进行分割，得到第一分割区域待校正图像按照相对参考图像较小粒度进行分割，得到第二分割区域其中，n为第一分割子区域的个数，m为第二分割子区域的个数，且m小于n；(3)利用尺度不变特征变换方法提取参考图像与待校正图像各自的特征点，并进行特征点的匹配，得到匹配特征点Xsrc和匹配特征点Xtgt；(4)根据对极几何原理对匹配特征点Xsrc与匹配特征点Xtgt进行筛选，将不满足对极几何约束的匹配特征点Xsrc与匹配特征点Xtgt剔除，剩下的为鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′，对极几何约束公式为：(Xsrc)TFXtgt＝0其中，F是根据RANSAC(RandomSampleConsensus)方法估计的基础矩阵；(5)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′，将待校正图像和参考图像中一致性的分割区域进行对应，得到区域对应关系；(6)根据区域对应关系，在第一反射层与第二反射层上，进行待校正图像和参考图像区域之间的加权局部颜色迁移，在第一光照层与第二光照层上，进行待校正图像和参考图像区域之间的加权局部颜色迁移，使得待校正图像在第二反射层和第二光照层上向参考图像的第一反射层和第一光照层靠近；得到校正后的第二反射层和第二光照层；(7)将校正后的待校正图像的第二反射层和第二光照层合并，得到最终校正结果。在步骤(1)中，待校正图像和参考图像构成一对颜色差异的立体匹配图像对；成像本质属性：一个像素颜色值代表了成像场景中对应点的所有特征，一幅图像的成像可以由反射图像和光照图像来表示。在步骤(1)中，将成像本质属性的分解过程模拟成最小化以下能量方程的形式：E(x)＝ωpEp(x)+ωsEs(x)+ωlEl(x)其中Ep(x)是二元反射属性项，所依赖的先验为：当两个像素位置相近色度和强度相近时，它们的反射属性也相近；Es(x)是一元光照属性项，所依赖的先验为光照属性在平滑表面的变化是平滑的；El(x)是普通一元项，该项是为了避免优化时选择过多的光照极值点；ωp、ωs、ωl分别为为Ep(x)、Es(x)以及El(x)的参数；通过迭代优化的方式对能量函数E(x)求解。在步骤(2)中，第一分割区域由n个互不相同的第一分割子区域组成；第二分割区域由m个互不相同的第二分割子区域组成。步骤(4)中，根据对极几何的原理对匹配特征点进行正确性指导，删除错误的匹配特征点，保证了匹配特征点的正确性，即得到的鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′是可信度较高的匹配特征点。在步骤(5)中，对待校正图像和参考图像进行优化，得到一致性区域对应标签，具体步骤为：(5-1)根据待校正图像的鲁棒匹配对应点Xtgt′，对第二分割子区域进行区域合并操作，得到预处理第二分割区域：(5-1-1)对所有的第二分割子区域进行筛选，并将鲁棒匹配对应点Xtgt′的个数小于门限值的第二分割子区域命名为第二无效子区域；(5-1-2)找到第二无效子区域的第二二阶邻域区域集合；(5-1-3)在第二二阶邻域区域集合中，找到一个满足鲁棒匹配对应点Xtgt′的个数大于门限值，且位置空间与颜色与该第二无效子区域都最为相近一个第二分割子区域，并将其命名为第二目标区域；(5-1-4)将该第二无效子区域合并到寻找到的第二目标区域中，此时第二分割区域命名为预处理第二分割区域。通过步骤(5-1)操作，使得合并后的每个第二分割子区域都包含门限值以上个数的鲁棒匹配对应点Xtgt′，保证点对应转化成区域对应的可靠性。(5-2)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′，以预处理第二分割子区域为基准，对第一分割子区域进行区域合并操作，得到预处理第一分割区域：当某预处理第二分割子区域中的鲁棒匹配对应点Xtgt′在第一分割子区域中的对应点分布在多个第一分割子区域中时，将这多个第一分割子区域合并成一个，此时的第一分割区域命名为预处理第一分割区域；通过该合并操作，使得每个预处理第二分割子区域能在第一分割子区域中找到唯一确定的对应。(5-3)根据参考图像的鲁棒匹配对应点Xsrc′，对预处理第一分割子区域进行区域合并操作，得到优化第一分割区域：(5-3-1)对所有预处理第一分割子区域进行筛选，并将鲁棒匹配对应点Xsrc′的个数小于门限值的预处理第一分割子区域命名为第一无效子区域；(5-3-2)找到第一无效子区域的第一二阶邻域区域集合；(5-3-3)在第一二阶邻域区域集合中，找到一个满足鲁棒匹本文档来自技高网...

【技术保护点】
一种基于成像本质属性的立体匹配颜色校正方法，具体步骤如下：(1)基于成像本质属性，将参考图像分为第一反射层和第一光照层，将待校正图像分为第二反射层和第二光照层；(2)利用均值漂移图像分割方法对待校正图像和将参考图像进行区域分割，通过调整分割中的空间参数，参考图像按照正常粒度进行分割，得到第一分割区域待校正图像按照相对参考图像较小粒度进行分割，得到第二分割区域其中，n为第一分割子区域的个数，m为第二分割子区域的个数，且m小于n；(3)利用尺度不变特征变换方法提取参考图像与待校正图像各自的特征点，并进行特征点的匹配，得到匹配特征点Xsrc和匹配特征点Xtgt；(4)根据对极几何原理对匹配特征点Xsrc与匹配特征点Xtgt进行筛选，将不满足对极几何约束的匹配特征点Xsrc与匹配特征点Xtgt剔除，剩下的为鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′，对极几何约束公式为：(Xsrc)TFXtgt＝0其中，F是根据RANSAC方法估计的基础矩阵；(5)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′，将待校正图像和参考图像中一致性的分割区域进行对应，得到区域对应关系；(6)根据区域对应关系，在第一反射层与第二反射层上，进行待校正图像和参考图像区域之间的加权局部颜色迁移，在第一光照层与第二光照层上，进行待校正图像和参考图像区域之间的加权局部颜色迁移，得到校正后的第二反射层和第二光照层；(7)将校正后的待校正图像的第二反射层和第二光照层合并，得到最终校正结果。...

【技术特征摘要】
1.一种基于成像本质属性的立体匹配颜色校正方法，具体步骤如下：(1)基于成像本质属性，将参考图像分为第一反射层和第一光照层，将待校正图像分为第二反射层和第二光照层；(2)利用均值漂移图像分割方法对待校正图像和将参考图像进行区域分割，通过调整分割中的空间参数，参考图像按照正常粒度进行分割，得到第一分割区域待校正图像按照相对参考图像较小粒度进行分割，得到第二分割区域其中，n为第一分割子区域的个数，m为第二分割子区域的个数，且m小于n；(3)利用尺度不变特征变换方法提取参考图像与待校正图像各自的特征点，并进行特征点的匹配，得到匹配特征点Xsrc和匹配特征点Xtgt；(4)根据对极几何原理对匹配特征点Xsrc与匹配特征点Xtgt进行筛选，将不满足对极几何约束的匹配特征点Xsrc与匹配特征点Xtgt剔除，剩下的为鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′，对极几何约束公式为：(Xsrc)TFXtgt＝0其中，F是根据RANSAC方法估计的基础矩阵；(5)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′，将待校正图像和参考图像中一致性的分割区域进行对应，得到区域对应关系；(6)根据区域对应关系，在第一反射层与第二反射层上，进行待校正图像和参考图像区域之间的加权局部颜色迁移，在第一光照层与第二光照层上，进行待校正图像和参考图像区域之间的加权局部颜色迁移，得到校正后的第二反射层和第二光照层；(7)将校正后的待校正图像的第二反射层和第二光照层合并，得到最终校正结果。2.根据权利要求1所述基于成像本质属性的立体匹配颜色校正方法，其特征在于：在步骤(1)中，将成像本质属性的分解过程模拟成最小化以下能量方程的形式：E(x)＝ωpEp(x)+ωsEs(x)+ωlEl(x)其中Ep(x)是二元反射属性项；Es(x)是一元光照属性项的；El(x)是普通一元项；ωp、ωs、ωl分别为为Ep(x)、Es(x)以及El(x)的参数；通过迭代优化的方式对能量函数E(x)求解。3.根据权利要求1所述基于成像本质属性的立体匹配颜色校正方法，其特征在于：在步骤(5)中，对待校正图像和参考图像进行优化，得到一致性区域对应标签，具体步骤为：(5-1)根据待校正图像的鲁棒匹配对应点Xtgt′，对第二分割子区域进行区域合并操作，得到预处理第二分割区域；(5-2)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′，以预处理第二分割子区域为基准，对第一分割子区域进行区域合并操作，得到预处理第一分割区域；(5-3)根据参考图像的鲁棒匹配对应点Xsrc′，对预处理第一分割子区域进行区域合并操作，得到优化第一分割区域；(5-4)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′，以优化第一分割子区域为基准，对预处理第二分割子区域进行区域合并操作，得到优化第二分割区域；(5-5)根据鲁棒匹配对应点Xsrc′，鲁棒匹配对应点Xtgt′，获取优化第一分割子区域和优化第二分割子区域的一一对应关系，并记录一致性区域对应标签。4.根据权利要求3所述基于成像本质属性的立体匹配颜色校正方法，其特征在于：所述的步骤(5-1)的具体步骤为：(5-1-1)对所有的第二分割子区域进行筛选，并将鲁棒匹配对应点Xtgt′的个数小于门限值的第二分割子区域命名为第二无效子区域；(5-1-2)找到第二无效子区域的第二二阶邻域区域集合；(5-1-3)在第二二阶邻域区域集合中，找到一个满足鲁棒匹配对应点Xtgt′的个数大于门限值，且位置空间与颜色与该第二无效子...

【专利技术属性】
技术研发人员：冯结青，赵文婧，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33