一种基于铲斗位置观测的装载机前方影像生成系统及方法技术方案

本发明专利技术公开一种基于铲斗位置观测的装载机前方影像生成系统及方法，由摄像机

【技术实现步骤摘要】
一种基于铲斗位置观测的装载机前方影像生成系统及方法


[0001]本专利技术属于机械工程领域，具体涉及一种基于铲斗位置观测的装载机前方影像生成系统及方法
。

技术介绍

[0002]现有的装载机铲斗通常遮蔽了大量的驾驶视野，装载机通常也缺少前方影像的拼接生成系统，操作员只能凭借自己的经验来操控装载机
。
这不仅导致工作效率的下降，而且，还增加多种安全事故发生的可能性
。
[0003]有一些研究提出了利用上下两个摄像机做行车影像拼接的方案，将上下两个摄像机拍摄的画面设计不同的权重，通过影像处理器合成一个画面
。
但是对于具体的拼接方法，采用的是实际观测前方障碍物的距离，来动态确定拼接投影像面，进行影像合成和铲斗遮挡部分图像的透明化处理
。
该方案是基于对目标对象的检测结果为影像拼接参数，来实现铲斗的透明化
。
在实际应用中，可能的目标对象有很多，如人
、
石头
、
泥土
、
车等
。
这些物体的边界难以确定，目标对象的多样性也增加了识别目标对象的难度，从而需要使用大量的数据集来进行训练学习，这使得通过识别目标对象来实现铲斗的透明化变得低效
、
训练工作量巨大，尤其是烟尘环境下的识别效果难以保证
。
此外当一个目标物体的边界与另一个目标物体的边界重合或者部分重合时，目标重叠可能会导致算法对目标的边界或位置进行错误的解释或误判，最终导致识别失败，严重影响影像拼接的效果
。

技术实现思路

[0004]鉴于现有技术的上述缺陷，本专利技术提出一种基于铲斗位置观测的装载机前方影像生成系统及方法，利用铲斗位置观测结果来优化装载机的两组行车摄像机前方影像生成，以得到更宽阔视野
、
更高刷新率的装载机前方影像
。
本专利技术旨在将装载机铲斗相对于摄像机的三维位置定位技术与图像拼接技术进行整合，以实现更精确
、
更直观和更高效的前方影像生成，这样的整合方案有助于提高装载机操作的精度和效率，降低误差和减少事故的发生率
。
[0005]本专利技术的具体技术方案是：首先本专利技术提供一种基于铲斗位置观测的装载机前方影像生成系统，包括摄像机
、
角度传感器和影像处理器；所述摄像机，对车辆前方进行拍摄；所述角度传感器，感知铲斗的位置和姿态；所述影像处理器，接收和处理摄像机拍摄的图像，并结合传感器数据进行图像处理
。
[0006]进一步地：所述摄像机，包括上摄像机和下摄像机，在车上上
、
下布置，并且分别位于铲斗的后上方和后下方
。
[0007]进一步地：所述角度传感器，包括第一角度传感器和第二角度传感器，第一角度传
感器装在动臂与车体连接的一端，第二角度传感器装在动臂与铲斗连接的一端
。
[0008]其次，本专利技术还提供一种基于铲斗位置观测的装载机前方影像生成方法，其特征在于：首先，确定铲斗在摄像机像素坐标系下的位置；其次，对铲斗图像做透明化处理；再次，确定摄像机在铲斗前方的视野盲区；最后，采用两个摄像机对视野盲区互补完成图像的拼接
。
[0009]进一步地：确定铲斗在上摄像机像素坐标系下的位置的方法是：（1）确定铲斗在相机坐标系下的位置；（2）将铲斗在相机坐标系下的坐标转换到图像坐标系中；（3）将铲斗在图像坐标系下的坐标转换到像素坐标系中
。
[0010]再进一步地：确定铲斗在相机坐标系下的位置的方法是：建立相机坐标系
O
c
‑
X
c
Y
c
Z
c
，以上摄像机的光心为坐标原点
O
c
，水平指向车体前方的方向为
X
c
轴正半轴，垂直指向地面下方的方向为
Y
c
轴正半轴的坐标系，水平向左为
Z
c
轴正方向，整个铲斗在
Z
c
轴方向是固定的，这个距离可以测量确定；在此基础上，设：上摄像机的光心坐标为
(x1,y1)
；下摄像机的光心坐标为
(x2,y2)
；动臂与装载机连接端的坐标为
(x3,y3)
；动臂与铲斗连接端的坐标为
(x4,y4)
；动臂长度为
L
34
；摇臂与铲斗连接端坐标为
(x6,y6)
；动臂与铲斗连接端
(x4,y4)
至摇臂与铲斗连接端
(x6,y6)
的距离为
L
46
；第一角度传感器测量的角度为
α
，为车端的动臂与竖直方向的夹角；第二角度传感器测量的角度为
β
，为动臂与铲斗连接端至摇臂与铲斗连接端的连线，与动臂之间的夹角；利用上述参数，有：动臂与铲斗连接端的
X
c
轴坐标为：
x4=x3+L
34
sin
α
，
Y
c
轴坐标为：
y4=y3+L
34
cos
α
；摇臂与铲斗连接端的
X
c
轴坐标为：
x6=x4‑
L
46
cos(90
‑
α
+
β
)
，
Y
c
轴坐标
y6=y4‑
L
46
sin(90
‑
α
+
β
)
；结合铲斗上的两点坐标
(x4,y4)、(x6,y6)
，以及铲斗的三维模型，加之铲斗在
Z
c
轴方向的坐标固定，便可得到铲斗相机坐标系下每一个点的三维坐标
P
c
(x
c
,y
c
,z
c
)
T
。
[0011]再进一步地：将铲斗在相机坐标系下的坐标转换到图像坐标系中的方法是：建立图像坐标系
O
I
‑
Y
I
Z
I
，以光轴与成像平面交点为坐标原点
O
I
，
Z
I
轴水平向左，
Y
I
轴水平向下，设相机坐标系中存在一点
P
c
(x
c
,y
c
,z
c
)
T
，设成像平面到相机原点之间的距离为焦距记作
f
，则该点投影到图像坐标系统中的坐标为
P
I
(f,y
I
,z
I...

【技术保护点】

【技术特征摘要】
1.
一种基于铲斗位置观测的装载机前方影像生成系统，其特征在于：包括摄像机
、
角度传感器和影像处理器；所述摄像机，包括上摄像机和下摄像机，分别在车前上
、
下布置，位于铲斗的后上方和后下方，对车辆前方进行拍摄；所述角度传感器，感知铲斗的位置和姿态；所述影像处理器，接收和处理摄像机拍摄的图像，并结合传感器数据进行图像处理
。2.
根据权利要求1所述的影像生成系统，其特征在于：所述角度传感器，包括第一角度传感器和第二角度传感器，第一角度传感器装在动臂与车体连接的一端，第二角度传感器装在动臂与铲斗连接的一端
。3.
一种根据权利要求1‑2任一所述系统的基于铲斗位置观测的装载机前方影像生成方法，其特征在于：首先，确定铲斗在摄像机像素坐标系下的位置；其次，对铲斗图像做透明化处理；再次，确定摄像机在铲斗前方的视野盲区；最后，采用两个摄像机对视野盲区互补完成图像的拼接
。4.
根据权利要求3所述的影像生成方法，其特征在于，确定铲斗在摄像机像素坐标系下的位置的方法是：（1）确定铲斗在相机坐标系下的位置；（2）将铲斗在相机坐标系下的坐标转换到图像坐标系中；（3）将铲斗在图像坐标系下的坐标转换到像素坐标系中
。5.
根据权利要求4所述的影像生成方法，其特征在于，确定铲斗在相机坐标系下的位置的方法是：建立相机坐标系
O
c
‑
X
c
Y
c
Z
c
，以上摄像机的光心为坐标原点
O
c
，水平指向车体前方的方向为
X
c
轴正半轴，垂直指向地面下方的方向为
Y
c
轴正半轴的坐标系，水平向左为
Z
c
轴正方向，铲斗在
Z
c
轴方向是固定的，可以测量确定；在此基础上，设：上摄像机的光心坐标为
(x1,y1)
；下摄像机的光心坐标为
(x2,y2)
；动臂与装载机连接端的坐标为
(x3,y3)
；动臂与铲斗连接端的坐标为
(x4,y4)
；动臂长度为
L
34
；摇臂与铲斗连接端坐标为
(x6,y6)
；动臂与铲斗连接端
(x4,y4)
至摇臂与铲斗连接端
(x6,y6)
的距离为
L
46
；第一角度传感器测量的角度为
α
，为车端的动臂与竖直方向的夹角；第二角度传感器测量的角度为
β
，为动臂与铲斗连接端至摇臂与铲斗连接端的连线，与动臂之间的夹角；利用上述参数，有：动臂与铲斗连接端的
X
c
轴坐标为：
x4=x3+L
34
sin
α
，
Y
c
轴坐标为：
y4=y3+L
34
cos
α
；摇臂与铲斗连接端的
X
c
轴坐标为：
x6=x4‑
L
46
cos(90
‑
α
+
β
)
，
Y
c
轴坐标
y6=y4‑
L
46
sin(90
‑
α
+
β
)
；结合铲斗上的两点坐标
(x4,y4)、(x6,y6)
，以及铲斗的三维模型，加之铲斗在
Z
c
轴方向的坐标固定，便可得到铲斗相机坐标系下每一个点的三维坐标
P
c
(x
c
,y
c
,z
c
)
T
。6.
根据权利要求4或5所述的影像生成方法，其特征在于，将铲斗在相机坐标系下的坐标转换到图像坐标系中的方法是：建立图像坐标系
O
I
‑
Y
I
Z
I
，以光轴与成像平面交点为坐标原点
...

【专利技术属性】
技术研发人员：刘翼，陈畅，黄冠富，韩云武，范晶晶，张晓明，黄烟平，姜敏玉，孟祥林，闫鹏翔，
申请(专利权)人：江苏智能无人装备产业创新中心有限公司，
类型：发明
国别省市：