基于计算机视觉的三维点云图像融合方法技术

本发明专利技术涉及用于图像数据处理技术领域，具体涉及基于计算机视觉的三维点云图像融合方法，包括：根据相邻帧图像的纹理特征将连续帧图像进行划分，对划分后的每个区间内的点云数据的关于结构复杂程度的局部特征获取感兴趣区域，根据感兴趣区域的局部密度变化进行数据插值。本发明专利技术通过点云数据插值能够避免传统的点云数据和图像融合易失点云数据的空间特征的问题，实现了更精准的目标检测效果，提供更准确稳定的智能自动巡检辅助。准确稳定的智能自动巡检辅助。准确稳定的智能自动巡检辅助。

【技术实现步骤摘要】
基于计算机视觉的三维点云图像融合方法


[0001]本专利技术涉及图像数据处理
，具体涉及基于计算机视觉的三维点云图像融合方法。

技术介绍

[0002]随着科学技术的发展，在许多企业园区内部已经实现了智能化管理，其中企业内部的园区的安全是智能化管理的重中之重。而随着无人巡检车应用的普及，往往采用无人巡检车代替了园区人工巡查等传统的方法，大大提高了安防效率以及园区运行成本。但是在无人巡检车巡检过程中，需要实时的采集园区内的图像信息来工作，但是单个图像采集设备采集的数字图像已经无法满足实际的应用需求，往需要多种传感器的协同工作，其中三维点云数据和图像数据之间的融合使用在无人巡检车系统得到广泛的应用。三维点云数据有区别于二维图像的应用，三维点云数据往往表征着为目标的深度、几何等三维的信息特征，而二维图像数据表征着为目标的颜色、纹理等二维的信息特征，因此将三维点云数据和二维图像数据进行融合获取具备颜色等信息的三维点云模型，可以较为准确的表征目标的客观特征，使得在无人巡检车系统可以精准的检测目标情况，提供更好的自动巡检辅助。
[0003]然而现有的方法中，是将三维点云数据根据坐标转换关系投影到二维平面中进行融合，该类方法丢失了三维点云数据的空间分布特征，影响了点云数据之间的空间关系，使得投影结果出现较大的误差，因此在三维点云数据和图像数据的融合过程中无法满足无人巡检车行驶过程中的融合要求，因此亟待一种基于计算机视觉的三维点云图像融合方法。

技术实现思路

[0004]本专利技术提供基于计算机视觉的三维点云图像融合方法，以解决现有的问题。
[0005]本专利技术的基于计算机视觉的三维点云图像融合方法采用如下技术方案：本专利技术一个实施例提供了基于计算机视觉的三维点云图像融合方法，该方法包括以下步骤：获取三维点云数据和可见光图像，根据可见光图像中的边缘获得图像分割区域，将相邻帧结构相似度最大的图像分割区域进行组合获得所有图像区域组合的结构相似度的均值；根据相邻帧可见光图像中图像分割区域的数量比例关系与结构相似度的均值获得每一帧可见光图像的分段程度，根据所有帧的分段程度获得分段时间区间；对每帧三维点云数据进行聚类，选择每个点云聚簇中以三个点云为一个起始，逐次增加点云数量并逐次进行拟合点云所在的三维平面的法向量以及拟合次数，根据相邻两次对应三维平面的法向量的余弦相似度与拟合次数获得一个起始的第一结构复杂程度，选择每个点云聚簇中的多个起始，获得所有起始地第一结构复杂程度的均值；所述逐次进行拟合点云所在的三维平面的过程中每个点云在参与拟合前后分别对应一个三维平面的法向量；
获取三维点云数据采集时相邻帧之间的时间间隔，将相邻帧点云聚簇的质心距离与时间间隔比值作为质心变化率，将点云聚簇与三维点云数据整体的质心坐标之间的距离与质心变化率的乘积作为偏移校正值；利用偏移校正值对第一结构复杂程度的均值进行校正获得第二结构复杂程度；根据第二结构复杂程度的大小获得感兴趣区域，在感兴趣区域内根据每个点云参与拟合前后的余弦相似度变化差异大小获得目标点云，根据邻域内不同位置的目标点云的点云密度的比重获得插值权重，利用插值权重对目标点云之间进行数据插值获得新的三维点云数据；将新的三维点云数据与可见光图像进行融合获得融合后的图像，利用融合后的图像实现智能巡检辅助。
[0006]进一步的，所述结构相似度的均值，获取方法如下：将第帧可见光图像中任意一个图像分割区域记为目标图像分割区域，计算在第帧可见光图像中每一个图像分割区域与第帧的目标图像分割区域之间的结构相似度，将第帧的目标图像分割区域与第帧图像中结构相似度最大的图像分割区域作为一个图像区域组合，通过重复上述过程，获得第帧可见光图像与第帧图像中所有的图像区域组合以及对应的结构相似度，并获取第帧和第帧可见光图像的所有图像区域组合的结构相似度的均值。
[0007]进一步的，所述分段程度，获取方法如下：式中，表示第帧可见光图像中的图像区域的个数；表示第帧可见光图像中图像区域的个数；最大相似度均值表示第帧和第帧可见光图像的所有图像区域组合的结构相似度的均值。
[0008]进一步的，所述分段时间区间，获取方法如下：将连续帧可见光图像中分段程度连续大于第一预设阈值的部分可见光图像作为分段帧，分段帧中左右两侧作为区间的端点，端点以及内部所包含的可见光图像所对应的区间记为一个分段时间区间，获得连续帧可见光图像的多个分段时间区间。
[0009]进一步的，所述第一结构复杂程度，获取方法如下：以任意一个点云聚簇作为目标点云聚簇，在目标点云聚簇中随机选取若干个点云，以随机选取若干个点云中任意一个作为目标起始中心，获取距离目标起始中心最近的点云构成一个三维平面，获取该三维平面的法向量，不考虑已经参与过拟合三维平面的点云，进一步获取距离该三维平面最近的点云并再次利用最小二乘平面拟合的方法获取新的三维平面，依旧获取新的三维平面的法向量，以此类推，使得点云聚簇中的所有点数都参与计算；第一结构复杂程度：
式中，表示以随机选取的若干个点云中的第个点云作为三维平面拟合的起始中心，拟合次数表示该分段时间区间中第帧的第个点云聚簇拟合平面的次数；复杂程度因子表示在第个起始中心下所获取的第次拟合平面的平面法向量和第次拟合平面的平面法向量之间的余弦相似度，第一结构复杂程度表示利用第个起始中心所获取的第帧三维点云数据中第个点云聚簇的结构复杂程度。
[0010]进一步的，所述偏移校正值，获取方法如下：偏移校正值：式中，表示组合点云聚簇中的第帧三维点云数据的第个点云聚簇质心的坐标；表示在组合点云聚簇中的第帧三维点云聚簇的第个点云聚簇质心的坐标；表示第帧和第帧三维点云数据的获取间隔时间；质心变化率表示第帧和第帧三维点云数据的第l个点云聚簇在数据获取间隔之间内质心位置发生变化的平均变化率；表示第j帧三维点云数据整体的质心坐标，表示第帧三维点云数据的第个点云聚簇质心与三维点云数据整体的质心的欧式距离。
[0011]进一步的，所述第二结构复杂程度，获取方法如下：其中，表示线性归一化后的第帧三维点云数据的第个点云聚簇的结构复杂程度的校正值，表示第帧三维点云数据的第个点云聚簇的第一结构复杂程度的均值。
[0012]进一步的，所述新的三维点云数据，获取方法如下：点云聚簇的第二结构复杂程度值大于第二预设阈值时，将该点云聚簇设置为感兴趣区域；在感兴趣区域内，根据三维平面拟合中计算到余弦相似度差异变化发生较大的点云作为结构变化关键的位置，若余弦相似度小于预设阈值，则表明对应的点云位于结构变化关键的位置，对位于结构变化关键的位置的点云的球体范围内进行数据插值，其中球体半径范围的确定为该点云距离最近的位于结构变化关键位置的点云之间的欧式距离为半径，在球体范围内该点云距离其他点云之间连线上的位置进行插值，根据不同球体范围内的点云密度的比重获得插值权重，利用插值权重对目标点云与其他点云之间欧式距离进行缩小，获得插值数据的插值位置，根据插值位置进行数据插值，插值方向为获得欧氏距离时的其他点云与目标点云之间的线段上，获得数据插值后的三维点云数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于计算机视觉的三维点云图像融合方法，其特征在于，该方法包括以下步骤：获取三维点云数据和可见光图像，根据可见光图像中的边缘获得图像分割区域，将相邻帧结构相似度最大的图像分割区域进行组合获得所有图像区域组合的结构相似度的均值；根据相邻帧可见光图像中图像分割区域的数量比例关系与结构相似度的均值获得每一帧可见光图像的分段程度，根据所有帧的分段程度获得分段时间区间；对每帧三维点云数据进行聚类，选择每个点云聚簇中以三个点云为一个起始，逐次增加点云数量并逐次进行拟合点云所在的三维平面的法向量以及拟合次数，根据相邻两次对应三维平面的法向量的余弦相似度与拟合次数获得一个起始的第一结构复杂程度，选择每个点云聚簇中的多个起始，获得所有起始地第一结构复杂程度的均值；所述逐次进行拟合点云所在的三维平面的过程中每个点云在参与拟合前后分别对应一个三维平面的法向量；获取三维点云数据采集时相邻帧之间的时间间隔，将相邻帧点云聚簇的质心距离与时间间隔比值作为质心变化率，将点云聚簇与三维点云数据整体的质心坐标之间的距离与质心变化率的乘积作为偏移校正值；利用偏移校正值对第一结构复杂程度的均值进行校正获得第二结构复杂程度；根据第二结构复杂程度的大小获得感兴趣区域，在感兴趣区域内根据每个点云参与拟合前后的余弦相似度变化差异大小获得目标点云，根据邻域内不同位置的目标点云的点云密度的比重获得插值权重，利用插值权重对目标点云之间进行数据插值获得新的三维点云数据；将新的三维点云数据与可见光图像进行融合获得融合后的图像，利用融合后的图像实现智能巡检辅助。2.根据权利要求1所述基于计算机视觉的三维点云图像融合方法，其特征在于，所述结构相似度的均值，获取方法如下：将第帧可见光图像中任意一个图像分割区域记为目标图像分割区域，计算在第帧可见光图像中每一个图像分割区域与第帧的目标图像分割区域之间的结构相似度，将第帧的目标图像分割区域与第帧图像中结构相似度最大的图像分割区域作为一个图像区域组合，通过重复上述过程，获得第帧可见光图像与第帧图像中所有的图像区域组合以及对应的结构相似度，并获取第帧和第帧可见光图像的所有图像区域组合的结构相似度的均值。3.根据权利要求1所述基于计算机视觉的三维点云图像融合方法，其特征在于，所述分段程度，获取方法如下：式中，表示第帧可见光图像中的图像区域的个数；表示第帧可见光图像中图像区域的个数；最大相似度均值表示第帧和第帧可见光图像的所有图像区域组合的结构相似度的均值。4.根据权利要求1所述基于计算机视觉的三维点云图像融合方法，其特征在于，所述分
段时间区间，获取方法如下：将连续帧可见光图像中分段程度连续大于第一预设阈值的部分可见光图像作为分段帧，分段帧中左右两侧作为区间的端点，端点以及内部所包含的可见光图像所对应的区间记为一个分段时间区间，获得连续帧可见光图像的多个分段时间区间。5.根据权利要求1所述基于计算机视觉的三维点云图像融合方法，其特征在于，所述第一结构复杂程度，获取方法如下：以任意一个点云聚簇作为目标点云聚簇，在目标点云聚簇中随机选取若干个点云，以随机选取若干个点云中任意一个作为目标起始中心...

【专利技术属性】
技术研发人员：吴剑，胡波，黄嵩衍，
申请(专利权)人：湖南腾琨信息科技有限公司，
类型：发明
国别省市：