【技术实现步骤摘要】
本专利技术属于工程，具体涉及一种一种基于相机与雷达融合的测距方法、装置、系统及介质。
技术介绍
1、随着人工智能技术的快速发展，智能驾驶逐渐变为汽车行业的发展趋势，同时，在挖掘机等重工行业上，也在慢慢朝着智能化发展。在智能驾驶领域中主要包含三个技术，感知、决策和规划，其中感知部分是该技术的关键部分，目的在于识别车周围的环境。在挖掘机上使用单一传感器在复杂的环境下很难满足当前的项目需求。而且受限于传感器的自身特点。对于单一相机受限于无法准确得到目标的位置信息，对于点云的雷达受限于无法获得目标的纹理信息，所以基于单个相机或单个雷达都无法较好的满足在挖掘机的环境感知和精准的测距能力。为了解决挖机在视距外通过远程操控台遥控作业时，远程操控端往往不具有良好作业视角，对挖掘物料深度信息感知不直观，待挖掘物料区位置感知不直观，从而无法精准下铲等问题。
技术实现思路
1、为解决现有技术的不足，本专利技术提供的技术方案为：一种一种基于相机与雷达融合的测距方法、装置、系统及介质，该方法结合了雷视融合和目标分割技术，能够实现挖掘机前方物料区域的视频监控，获得目标物料位置信息和距离信息。
2、为达到上述目的/为解决上述技术问题，本专利技术是采用下述技术方案实现的：
3、一方面，本专利技术提供一种基于相机与雷达融合的测距方法，包括：
4、通过雷达和相机，分别获取待挖物料区的点云数据和图像数据；
5、将待挖物料区的图像数据输入到预训练好的目标分割模型中，输出含有
6、将待挖物料区的点云数据输入至预先标定好的挖掘机雷视融合成像模型中，获得待挖物料区的点云数据对应的图像数据，将点云数据及对应的图像数据结合目标分割模型中目标物料所在图像区域的分割检测框；得到只包含目标物料的点云数据，最终根据目标物料的点云数据，提取目标物料的距离信息。
7、进一步的，所述目标分割模型为unet模型，
8、所述输出含有类别的图像区域，并筛选出目标物料的图像区域，包括：
9、将待挖物料区的图像数据输入到unet模型网络中进行特征学习和特征提取，使用softmax 函数将输出向量转换为概率分布，筛选出概率最高的类别为目标区域aij，其中，i为图像区域标序，j表示目标类别。
10、进一步的，所述预先标定好的挖掘机雷视融合成像模型的标定方法，包括：一次标定和二次标定；
11、所述一次标定包括：
12、通过雷达和相机，分别获取标定板的点云数据和图像数据，
13、通过标定板对雷达和相机的不同位姿进行初步标定，获得雷达到相机的旋转矩阵和平移矩阵；
14、依据相机内参矩阵和雷达到相机的旋转矩阵和平移矩阵，将标定板的点云数据投影到图像数据中，获得标定板二维点云数据；
15、所述二次标定包括：
16、依据标定板二维点云数据和图像数据中标定板的相应位置，通过仿射变换生成修正矩阵，对映射到相机的雷达数据进行修正。
17、进一步的，通过标定板对雷达和相机的不同位姿进行标定，获得雷达到相机的旋转矩阵和平移矩阵，
18、依据相机内参矩阵和雷达到相机的旋转矩阵和平移矩阵，将标定板的点云数据投影到图像数据中，获得标定板二维点云数据，包括：
19、获取雷达对标定板进行扫描得到的点云数据，以及相机对所述标定板进行拍摄得到的图像数据；通过在多组角度和范围下获得雷达和相机中标定板对应的特征点，最后求解雷达坐标系到相机坐标系下的转换矩阵；
20、使用张正友棋盘格标定法获得相机内参矩阵：
21、<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>z</mi><mi>c</mi></msub><mrow><mo>[</mo><mtable><mtr><mtd><mi>u</mi></mtd></mtr><mtr><mtd><mi>v</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>f</mi><mi>x</mi></msub></mtd><mtd><mn>0</mn></mtd><mtd><msub><mi>u</mi><mn>0</mn></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><msub><mi>f</mi><mi>y</mi></msub></mtd><mtd><msub><mi>v</mi><mn>0</mn></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>x</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub&g本文档来自技高网...
【技术保护点】
1.一种基于相机与雷达融合的测距方法，其特征在于，包括：
2.根据权利要求1所述的基于相机与雷达融合的测距方法，其特征在于，所述目标分割模型为unet模型，
3.根据权利要求1所述的基于相机与雷达融合的测距方法，其特征在于，所述预先标定好的挖掘机雷视融合成像模型的标定方法，包括：一次标定和二次标定；
4.根据权利要求3所述的基于相机与雷达融合的测距方法，其特征在于，所述通过标定板对雷达和相机的不同位姿进行标定，获得雷达到相机的旋转矩阵和平移矩阵，
5.根据权利要求4所述的基于相机与雷达融合的测距方法，其特征在于，所述依据标定板二维点云数据和图像数据中标定板的相应位置，通过仿射变换生成修正矩阵，包括：
6.根据权利要求2所述的基于相机与雷达融合的测距方法，其特征在于，获取目标物料的距离信息后，将获取目标物料的雷达所在位置坐标系转换到挖掘机所在位置坐标系，包括：
7.根据权利要求4所述的基于相机与雷达融合的测距方法，其特征在于，所述提取目标物料的距离信息包括：
8.一种基于相机与雷达融合的测距装置，其
9.一种基于相机与雷达融合的测距系统，其特征在于，
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1~7中任一所述基于相机与雷达融合的测距方法。
...【技术特征摘要】
1.一种基于相机与雷达融合的测距方法，其特征在于，包括：
2.根据权利要求1所述的基于相机与雷达融合的测距方法，其特征在于，所述目标分割模型为unet模型，
3.根据权利要求1所述的基于相机与雷达融合的测距方法，其特征在于，所述预先标定好的挖掘机雷视融合成像模型的标定方法，包括：一次标定和二次标定；
4.根据权利要求3所述的基于相机与雷达融合的测距方法，其特征在于，所述通过标定板对雷达和相机的不同位姿进行标定，获得雷达到相机的旋转矩阵和平移矩阵，
5.根据权利要求4所述的基于相机与雷达融合的测距方法，其特征在于，所述依据标定板二维点云数据和图像数据中标定板的相应...
【专利技术属性】
技术研发人员：闫跃兴，薛力戈，陈学海，刘迁，朱洪睿，
申请(专利权)人：徐州威卡电子控制技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。