图像采集设备与雷达的外参确定方法及装置制造方法及图纸

本申请实施例提供了图像采集设备与雷达的外参确定方法及装置，该方法包括：获取图像采集设备与激光雷达的外参的初始值、图像采集设备的内参、由图像采集设备采集的图像数据、由激光雷达采集的点云数据，其中，图像采集设备及激光雷达的共同探测区域内设置有预设标定板，预设标定板具备图像特征及反射特征；按照外参的初始值及内参，将图像数据及点云数据转换到同一坐标系下；调整外参的值，在图像数据与点云数据满足预设重合条件时，输出外参的标定值，其中，预设重合条件表征图像数据中预设标定板图像与点云数据中预设标定板点云重合。上述方法可以确定图像采集设备与雷达的外参，并且外参确定准确。

Method and device for determining external parameters of image acquisition equipment and radar

【技术实现步骤摘要】
图像采集设备与雷达的外参确定方法及装置
本申请涉及设备参数标定
，特别是涉及图像采集设备与雷达的外参确定方法及装置。
技术介绍
针对测量精度要求较高的场景，多传感器信息融合技术相比于单一传感器能够获得更加准确的参数，并且能够提高系统的可靠性和容错能力。而多种传感器之间信息融合的前提就是进行联合标定。图像采集设备可以获得可见光图像信息，但容易受外界天气、光照等因素的影响，并且缺少目标物体的三维数据信息；激光雷达可以快速的获取空间目标物体的三维数据信息，但不能获得物体纹理及颜色等信息。因此，激光雷达和图像采集设备在性能上能够很好的互补，但是由于这两种传感器所获得的数据都是基于各自的坐标系，因此需要将两者采集的数据表示在同一个坐标系下，而将二者采集的数据表示到一个坐标系下，就需要确定图像采集设备与雷达的外参。
技术实现思路
本申请实施例的目的在于提供一种图像采集设备与雷达的外参确定方法及装置，以实现确定图像采集设备与雷达的外参。具体技术方案如下：第一方面，本申请实施例提供了一种图像采集设备与雷达的外参确定方法，所述方法包括：获取图像采集设备与激光雷达的外参的初始值、所述图像采集设备的内参、由所述图像采集设备采集的图像数据、由所述激光雷达采集的点云数据，其中，所述图像采集设备及所述激光雷达的共同探测区域内设置有预设标定板，所述预设标定板具备图像特征及反射特征；按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下；调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，其中，所述预设重合条件表征所述图像数据中预设标定板图像与所述点云数据中预设标定板点云重合。可选的，所述按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下，包括：在所述点云数据中，确定所述预设标定板对应的目标点云；按照所述外参的初始值及所述内参，将所述目标点云转换到所述图像数据的坐标系下；所述调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，包括：调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值。可选的，所述在所述点云数据中，确定所述预设标定板对应的目标点云，包括：确定所述预设标定板在所述图像数据中的目标标定区域；按照所述外参的初始值及所述内参，确定所述目标标定区域在所述点云数据中的映射区域；按照所述映射区域，在所述点云数据中确定初始点云；基于各点的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到目标点云。可选的，所述预设标定板中灰度大的区域的反射强度高于灰度小的区域的反射强度，所述方法还包括：对所述图像数据进行二值化处理及模糊处理，得到目标标定图像；按照反射强度，通过预设聚类方法将所述目标点云中的各点进行聚类，得到高反射强度点云和/或低反射强度点云，其中，所述高反射强度点云为反射强度大于预设强度阈值的点所组成的点云，所述低反射强度点云为反射强度低于所述预设强度阈值的点所组成的点云；所述调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值，包括：将目标点云与目标标定图像的投影图像的灰度的平均值作为优化目标，将所述外参的值作为优化变量，通过预设非线性优化方法确定所述优化变量的最优值，得到所述外参的标定值。可选的，在所述对所述图像数据进行二值化处理及模糊处理，得到目标标定图像之前，所述方法还包括：按照所述内参，对所述图像数据进行去畸变处理。第二方面，本申请实施例提供了一种图像采集设备与雷达的外参确定装置，所述装置包括：参数获取模块，用于获取图像采集设备与激光雷达的外参的初始值、所述图像采集设备的内参、由所述图像采集设备采集的图像数据、由所述激光雷达采集的点云数据，其中，所述图像采集设备及所述激光雷达的共同探测区域内设置有预设标定板，所述预设标定板具备图像特征及反射特征；坐标转换模块，用于按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下；标定值输出模块，用于调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，其中，所述预设重合条件表征所述图像数据中预设标定板图像与所述点云数据中预设标定板点云重合。可选的，所述坐标转换模块，包括：目标点云确定子模块，用于在所述点云数据中，确定所述预设标定板对应的目标点云；目标点云映射子模块，用于按照所述外参的初始值及所述内参，将所述目标点云转换到所述图像数据的坐标系下；所述标定值输出模块，具体用于：调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值。可选的，所述目标点云确定子模块，包括：标定区域确定单元，用于确定所述预设标定板在所述图像数据中的目标标定区域；映射区域确定单元，用于按照所述外参的初始值及所述内参，确定所述目标标定区域在所述点云数据中的映射区域；初始点云确定单元，用于按照所述映射区域，在所述点云数据中确定初始点云；点云过滤单元，用于基于各点的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到目标点云。可选的，所述预设标定板中灰度大的区域的反射强度高于灰度小的区域的反射强度，所述装置还包括：图像处理模块，用于对所述图像数据进行二值化处理及模糊处理，得到目标标定图像；点云聚类模块，用于按照反射强度，通过预设聚类方法将所述目标点云中的各点进行聚类，得到高反射强度点云和/或低反射强度点云，其中，所述高反射强度点云为反射强度大于预设强度阈值的点所组成的点云，所述低反射强度点云为反射强度低于所述预设强度阈值的点所组成的点云；所述标定值输出模块，具体用于：将目标点云与目标标定图像的投影图像的灰度的平均值作为优化目标，将所述外参的值作为优化变量，通过预设非线性优化方法确定所述优化变量的最优值，得到所述外参的标定值。可选的，所述装置还包括：去畸变模块，用于按照所述内参，对所述图像数据进行去畸变处理。第三方面，本申请实施例提供了一种图像采集设备与雷达的外参确定装置，所述装置包括：图像处理模块，被设置为确定预设标定板图像数据中所在的区域，将所述预设标定板所在的区域图像进行二值化及模糊处理，得到目标标定区域图像；激光点云处理模块，被设置为按照所述外参的初始值及所述内参，将所述反射强度点云投影到所述图像数据上；在投影后的反射强度点云中，将所述目标位置处的点云作为所述预设标定板反射的初始点云；基于反射强度点云中各点云的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到过滤点云；按照反射强度，通过预设聚类方法，在所述过滤点云中确定高反射强度点云及低反射强度点云本文档来自技高网...

【技术保护点】
1.一种图像采集设备与雷达的外参确定方法，其特征在于，所述方法包括：/n获取图像采集设备与激光雷达的外参的初始值、所述图像采集设备的内参、由所述图像采集设备采集的图像数据、由所述激光雷达采集的点云数据，其中，所述图像采集设备及所述激光雷达的共同探测区域内设置有预设标定板，所述预设标定板具备图像特征及反射特征；/n按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下；/n调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，其中，所述预设重合条件表征所述图像数据中预设标定板图像与所述点云数据中预设标定板点云重合。/n

【技术特征摘要】
1.一种图像采集设备与雷达的外参确定方法，其特征在于，所述方法包括：
获取图像采集设备与激光雷达的外参的初始值、所述图像采集设备的内参、由所述图像采集设备采集的图像数据、由所述激光雷达采集的点云数据，其中，所述图像采集设备及所述激光雷达的共同探测区域内设置有预设标定板，所述预设标定板具备图像特征及反射特征；
按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下；
调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，其中，所述预设重合条件表征所述图像数据中预设标定板图像与所述点云数据中预设标定板点云重合。


2.根据权利要求1所述的方法，其特征在于，所述按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下，包括：
在所述点云数据中，确定所述预设标定板对应的目标点云；
按照所述外参的初始值及所述内参，将所述目标点云转换到所述图像数据的坐标系下；
所述调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，包括：
调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值。


3.根据权利要求2所述的方法，其特征在于，所述在所述点云数据中，确定所述预设标定板对应的目标点云，包括：
确定所述预设标定板在所述图像数据中的目标标定区域；
按照所述外参的初始值及所述内参，确定所述目标标定区域在所述点云数据中的映射区域；
按照所述映射区域，在所述点云数据中确定初始点云；
基于各点的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到目标点云。


4.根据权利要求2所述的方法，其特征在于，所述预设标定板中灰度大的区域的反射强度高于灰度小的区域的反射强度，所述方法还包括：
对所述图像数据进行二值化处理及模糊处理，得到目标标定图像；
按照反射强度，通过预设聚类方法将所述目标点云中的各点进行聚类，得到高反射强度点云和/或低反射强度点云，其中，所述高反射强度点云为反射强度大于预设强度阈值的点所组成的点云，所述低反射强度点云为反射强度低于所述预设强度阈值的点所组成的点云；
所述调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值，包括：
将目标点云与目标标定图像的投影图像的灰度的平均值作为优化目标，将所述外参的值作为优化变量，通过预设非线性优化方法确定所述优化变量的最优值，得到所述外参的标定值。


5.根据权利要求4所述的方法，其特征在于，在所述对所述图像数据进行二值化处理及模糊处理，得到目标标定图像之前，所述方法还包括：
按照所述内参，对所述图像数据进行去畸变处理。


6.一种图像采集设备与雷达的外参确定装置，其特征在于，所述装置包括：
参数获取模块，用于获取图像采集设备与激光雷达的外参的初始值、所述图像采集设备的内参、由所述图像采集设备采集的图像数据、由所述激光雷达采集的点云数据，其中，所述图像采集设备及所述激光雷达的共同探测区域内设置有预设标定板，所述预设标定板具备图像特征及反射特征；
坐标转换模块，用于按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一...

【专利技术属性】
技术研发人员：万富华，吕吉鑫，孙杰，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33