本发明专利技术提供了一种相机图像融合方法，包括使TOF相机的成像平面和RGB相机的成像平面相互平行或位于同一平面内，拍摄同一目标以分别形成第一图像和第二图像，获取所述第一图像的第一主图像区域和所述第二图像的第一副图像区域之间的像素匹配度，将所述像素匹配度与预设的匹配度阈值进行比较，以判断所述第一主图像区域内的像素和所述第一副图像区域内的像素是否符合图像融合要求，若所述像素匹配度小于所述匹配度阈值，则判断符合图像融合要求，将所述第一副图像区域所对应的像素颜色信息添加到所述第一主图像区域，减少了图像融合误差，提高了图像融合速度。本发明专利技术还提供了一种用于实现所述相机图像融合方法的相机图像融合系统。合系统。合系统。
【技术实现步骤摘要】
相机图像融合方法及相机图像融合系统
[0001]本专利技术涉及相机图像融合
，尤其涉及一种相机图像融合方法及相机图像融合系统。
技术介绍
[0002]目计算机视觉在现实生活中有着广泛的应用，但日常使用的RGB相机只能获取视野的色彩信息，而RGB
‑
D相机在提供常用的RGB图像的同时，能够提供对应的深度信息，但通过视差计算深度存在误差，且依赖于计算机计算每个像素点的匹配像素，算力消耗巨大。
[0003]因此，有必要提供一种新型的相机图像融合方法及相机图像融合系统以解决现有技术中存在的上述问题。
技术实现思路
[0004]本专利技术的目的在于提供一种相机图像融合方法及相机图像融合系统，以减少误差，并提高图像融合速度。
[0005]为实现上述目的，本专利技术的所述相机图像融合方法，包括以下步骤：
[0006]S1：调节TOF相机和RGB相机的位置，以使所述TOF相机的成像平面和所述RGB相机的成像平面相互平行或位于同一平面内，所述TOF相机和RGB相机拍摄同一目标，以分别形成第一图像和第二图像；
[0007]S2：获取所述第一图像的第一主图像区域和所述第二图像的第一副图像区域之间的像素匹配度，所述第一主图像区域位于所述第一图像上的相对位置与所述第一副图像区域位于所述第二图像上的相对位置相同；
[0008]S3：将所述像素匹配度与预设的匹配度阈值进行比较，以判断所述第一主图像区域内的像素和所述第一副图像区域内的像素是否符合图像融合要求，若所述像素匹配度小于所述匹配度阈值，则判断所述第一主图像区域内的像素和所述第一副图像区域内的像素符合图像融合要求，然后执行步骤S4；若所述像素匹配度大于或等于所述匹配度阈值，则判断所述第一主图像区域内的像素和所述第一副图像区域内的像素不符合图像融合要求，然后执行所述步骤S2和所述步骤S3：
[0009]S4：将所述第一副图像区域所对应的像素颜色信息添加到所述第一主图像区域，然后执行步骤S2和步骤S3，直至所述第一图像和所述第二图像的所有位置均处理完毕。
[0010]所述相机图像融合方法的有益效果在于：取所述第一图像的第一主图像区域和所述第二图像的第一副图像区域之间的像素匹配度，将所述像素匹配度与预设的匹配度阈值进行比较，以判断所述第一主图像区域内的像素和所述第一副图像区域内的像素是否符合图像融合要求，若所述像素匹配度小于所述匹配度阈值，则判断所述第一主图像区域内的像素和所述第一副图像区域内的像素符合图像融合要求，减少了图像融合误差，提高了图像融合速度。
[0011]优选地，所述步骤S2包括像素列差计算步骤，将所述TOF相机和RGB相机的基线长
度与所述TOF相机的焦距相乘，以得到第一过程值，然后将所述第一过程值除以所述第一主图像区域的像素深度值，以得到像素列差。其有益在于：便于计算两个相机所拍摄图像的坐标。
[0012]进一步优选地，所述步骤S2还包括图像区域获取步骤，选取所述第一图像上的任意位置作为所述第一主图像区域，然后根据所述第一主图像区域内的坐标位置和所述像素列差获取所述第一副主图像区域。其有益效果在于：保证了所选取图像区域为两个相机所拍摄目标的同一个位置。
[0013]进一步优选地，所述步骤S2还包括像素灰度差计算步骤，计算所述第一主图像区域内各个坐标位置的像素值与所述第一副图像区域内相对应坐标位置的像素值的差，以得到灰度差。其有益效果在于：便于计算灰度差。
[0014]进一步优选地，所述步骤S2还包括像素灰度差计算步骤，计算所述第一主图像区域内各个坐标位置的像素值与所述第一副图像区域内相对应坐标位置校准后的像素值的差，以得到灰度差。
[0015]进一步优选地，所述步骤S2还包括像素灰度差求和步骤，将所述灰度差的绝对值相加，以得到所述像素匹配度。其有益效果在于：便于得到像素匹配度。
[0016]优选地，所述步骤S3包括判断所述第一主图像区域内的像素和所述第一副图像区域内的像素不符合图像融合要求，则将黑色像素信息添加到所述第一主图像区域。
[0017]优选地，所述相机图像融合方法还包括匹配度阈值计算步骤，。
[0018]本专利技术还提供了一种相机图像融合系统，包括TOF相机、RGB相机、调节单元、像素匹配度计算单元、判断单元和融合单元，所述TOF相机和所述RGB相机用于拍摄同一目标，以分别形成第一图像和第二图像；所述调节单元用于调节所述TOF相机和所述RGB相机的位置，以使所述TOF相机的成像平面和所述RGB相机的成像平面相互平行或位于同一平面内；所述像素匹配单元度计算单元用于获取所述第一图像的第一主图像区域和所述第二图像的第一副图像区域之间的像素匹配度，所述第一主图像区域位于所述第一图像上的相对位置与所述第一副图像区域位于所述第二图像上的相对位置相同；所述判断单元用于将所述像素匹配度与预设的匹配度阈值进行比较，以判断所述第一主图像区域内的像素和所述第一副图像区域内的像素是否符合图像融合要求，若所述像素匹配度小于所述匹配度阈值，则判断所述第一主图像区域内的像素和所述第一副图像区域内的像素符合图像融合要求，若所述像素匹配度大于或等于所述匹配度阈值，则判断所述第一主图像区域内的像素和所述第一副图像区域内的像素不符合图像融合要求；所述融合单元用于在所述判断单元判断所述第一主图像区域内的像素和所述第一副图像区域内的像素符合图像融合要求，则将所述第一副图像区域所对应的像素颜色信息添加到所述第一主图像区域。
[0019]所述相机图像融合系统的有益效果在于：所述像素匹配单元度计算单元用于获取所述第一图像的第一主图像区域和所述第二图像的第一副图像区域之间的像素匹配度，所述判断单元用于将所述像素匹配度与预设的匹配度阈值进行比较，以判断所述第一主图像区域内的像素和所述第一副图像区域内的像素是否符合图像融合要求，若所述像素匹配度小于所述匹配度阈值，则判断所述第一主图像区域内的像素和所述第一副图像区域内的像素符合图像融合要求，减少了图像融合误差，提高了图像融合速度。
[0020]优选地，所述像素匹配度计算单元包括像素列差计算模块，所述像素列差计算模
块用于将所述TOF相机和RGB相机的基线长度与所述TOF相机的焦距相乘，以得到第一过程值，然后将所述第一过程值除以所述第一主图像区域的像素深度值，以得到像素列差。
[0021]进一步优选地，所述像素匹配度计算单元还包括图像区域获取模块，所述图像区域获取模块用于选取所述第一图像上的任意位置作为所述第一主图像区域，然后根据所述第一主图像区域内的坐标位置和所述像素列差获取所述第一副主图像区域。
[0022]进一步优选地，所述像素匹配度计算单元还包括第一像素灰度差计算模块，所述第一像素灰度差计算模块用于计算所述第一主图像区域内各个坐标位置的像素值与所述第一副图像区域内相对应坐标位置的像素值的差，以得到灰度差。
[0023]进一步优选地，所述像素匹配度计算单元还包括第二像素灰度差计算模块，所述第一像素灰度差计本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种相机图像融合方法，其特征在于，包括以下步骤：S1：调节TOF相机和RGB相机的位置，以使所述TOF相机的成像平面和所述RGB相机的成像平面相互平行或位于同一平面内，所述TOF相机和RGB相机拍摄同一目标，以分别形成第一图像和第二图像；S2：获取所述第一图像的第一主图像区域和所述第二图像的第一副图像区域之间的像素匹配度，所述第一主图像区域位于所述第一图像上的相对位置与所述第一副图像区域位于所述第二图像上的相对位置相同；S3：将所述像素匹配度与预设的匹配度阈值进行比较，以判断所述第一主图像区域内的像素和所述第一副图像区域内的像素是否符合图像融合要求，若所述像素匹配度小于所述匹配度阈值，则判断所述第一主图像区域内的像素和所述第一副图像区域内的像素符合图像融合要求，然后执行步骤S4；若所述像素匹配度大于或等于所述匹配度阈值，则判断所述第一主图像区域内的像素和所述第一副图像区域内的像素不符合图像融合要求，然后执行所述步骤S2和所述步骤S3：S4：将所述第一副图像区域所对应的像素颜色信息添加到所述第一主图像区域，然后执行步骤S2和步骤S3，直至所述第一图像和所述第二图像的所有位置均处理完毕。2.根据权利要求1所述的相机图像融合方法，其特征在于，所述步骤S2包括像素列差计算步骤，将所述TOF相机和RGB相机的基线长度与所述TOF相机的焦距相乘，以得到第一过程值，然后将所述第一过程值除以所述第一主图像区域的像素深度值，以得到像素列差。3.根据权利要求2所述的相机图像融合方法，其特征在于，所述步骤S2还包括图像区域获取步骤，选取所述第一图像上的任意位置作为所述第一主图像区域，然后根据所述第一主图像区域内的坐标位置和所述像素列差获取所述第一副主图像区域。4.根据权利要求3所述的相机图像融合方法，其特征在于，所述步骤S2还包括像素灰度差计算步骤，计算所述第一主图像区域内各个坐标位置的像素值与所述第一副图像区域内相对应坐标位置的像素值的差，以得到灰度差。5.根据权利要求3所述的相机图像融合方法，其特征在于，所述步骤S2还包括像素灰度差计算步骤，计算所述第一主图像区域内各个坐标位置的像素值与所述第一副图像区域内相对应坐标位置校准后的像素值的差，以得到灰度差。6.根据权利要求4或3所述的相机图像融合方法，其特征在于，所述步骤S2还包括像素灰度差求和步骤，将所述灰度差的绝对值相加，以得到所述像素匹配度。7.根据权利要求1所述的相机图像融合方法，其特征在于，所述步骤S3包括判断所述第一主图像区域内的像素和所述第一副图像区域内的像素不符合图像融合要求，则将黑色像素信息添加到所述第一主图像区域。8.根据权利要求1所述的相机图像融合方法，其特...
【专利技术属性】
技术研发人员：尹睿，徐敏，张卫，
申请(专利权)人：上海集成电路制造创新中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。