一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法技术

本发明专利技术公开了一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，对安装在辅助作业车辆前方的相机进行标定和微调；利用人机交互界面实时显示相机画面，选取预期停靠位置，便于工作人员操作和调控，提高矿用卡车的装卸效率；将预期停靠位置的像素坐标转换为预期停靠位置与相机的横纵向距离，根据相机安装位置与辅助作业车辆GPS天线间的横纵向距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置；结合辅助作业车辆的GPS信息，采用Vincenty椭球面计算公式计算预期停靠位置的GPS坐标；这样获取的预期停靠位置信息较为精确，可为矿用卡车的精准停靠提供基础依据；将预期停靠位置的GPS坐标发送至矿用卡车规划停靠路线。

【技术实现步骤摘要】
一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法
本专利技术涉及矿区自动驾驶
，尤其涉及一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法。
技术介绍
多风、严寒、危险、恶劣的矿区环境，对驾驶员的技术和经验有着极高的要求，即使对于驾驶经验丰富的司机也具有一定的挑战。随着自动驾驶技术的发展，矿区运输走到了一个拐点——车辆驾驶主体即将由人类变为机器，采用无人驾驶技术不仅能避免或减少对驾驶人员健康、安全的危害或威胁,而且将大幅提升效率、降低成本,更加经济、节能和环保。矿山运输的典型作业流程可简要概括为“启动-装载-运输-卸载-停车”。目前针对装卸过程的研究主要集中在协同装载提高装卸效率，然而，装卸点停靠位置处于动态变化中，无法通过寻迹方式实现。矿区道路不同于城市结构化道路，矿区装卸停靠区并无明显特征，很难通过传感器精准识别，实现车辆在装卸点的精准停靠难度较大。
技术实现思路
有鉴于此，本专利技术提供了一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，用以解决矿区自动驾驶车辆装卸点停靠偏差问题。本专利技术提供的一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，包括如下步骤：S1：将相机安装至辅助作业车辆的前方，相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定；S2：测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离；S3：在相机前方放置棋盘格，采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数；S4：根据标定的径向畸变系数对相机采集的图像进行径向畸变矫正，根据标定的切向畸变系数对相机采集的图像进行切向畸变矫正；S5：在畸变矫正后的图像中选取多个数据点，每个数据点代表图像中的一个像素点，记录各数据点与相机真实地面投影的水平距离和垂直距离，保存各数据点的图片或视频，提取各数据点的像素坐标；S6：根据相机的安装高度、安装俯仰角、偏航角及标定的相机内参，确定像素坐标系至世界坐标系的转换矩阵，根据提取的各数据点的像素坐标，计算相机与各数据点的水平距离和垂直距离；S7：将计算出的相机与各数据点的水平距离和垂直距离，与记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较，微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参，更新像素坐标系至世界坐标系的转换矩阵；S8：辅助作业车辆通过HMI人机交互界面实时获取辅助作业车辆前面的画面，选取矿用卡车的预期停靠位置；S9：根据更新后的转换矩阵，将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离，再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置，结合辅助作业车辆实时发送的GPS信息，选取Vincenty椭球面计算公式，计算矿用卡车的预期停靠位置的GPS坐标；S10：将预期停靠位置的GPS坐标下发至矿用卡车，矿用卡车根据预期停靠位置的GPS坐标，规划停靠行驶路线。在一种可能的实现方式中，在本专利技术提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中，步骤S3，在相机前方放置棋盘格，采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数，具体包括：在相机前方放置棋盘格，拍摄至少20张包含棋盘格的图片，将采集的图像输入至matlab的标定工具箱，获取相机内参、径向畸变系数和切向畸变系数。在一种可能的实现方式中，在本专利技术提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中，步骤S4中，按照如下公式对图像进行径向畸变矫正和切向畸变矫正：(1)其中，表示畸变点在相机上的原始位置的像素横坐标，表示畸变点在相机上的原始位置的像素纵坐标，表示畸变矫正后数据点在图像中的像素横坐标，表示畸变矫正后数据点在图像中的像素纵坐标，；k1、k2和k3为径向畸变系数，p1和p2为切向畸变系数。在一种可能的实现方式中，在本专利技术提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中，步骤S6中，像素坐标系至世界坐标系的转换矩阵T为：(2)其中，fx表示x方向焦距，fy表示y方向焦距，u0和v0分别表示主点与像素坐标系原点之间相差的横向像素数和纵向像素数；h表示相机的安装高度，表示相机的安装俯仰角，表示偏航角；按照如下公式计算相机与各数据点的水平距离和垂直距离：(3)其中，表示数据点与相机的水平距离，表示数据点与相机的垂直距离。在一种可能的实现方式中，在本专利技术提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法中，步骤S9中，预期停靠位置与辅助作业车辆GPS天线的相对位置为：(4)其中，表示预期停靠位置与辅助作业车辆GPS天线的水平距离，表示预期停靠位置与辅助作业车辆GPS天线的垂直距离，表示相机的安装位置与辅助作业车辆GPS天线的安装位置的水平距离，表示相机的安装位置与辅助作业车辆GPS天线的安装位置的垂直距离，表示预期停靠位置与相机的水平距离，表示预期停靠位置与相机的垂直距离。本专利技术提供的上述基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，在辅助作业车辆前方安装相机，对相机内外参数及畸变系数进行标定和微调，更新像素坐标系至世界坐标系的转换矩阵；利用HMI人机交互界面实时显示相机传输的实时画面，通过HMI人机交互界面选取矿用卡车的预期停靠位置，便于工作人员操作和精准调控，可以提高矿用卡车的装卸效率；根据更新后的转换矩阵，将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离，再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置；再结合辅助作业车辆实时发送的GPS信息，采用Vincenty椭球面计算公式，计算预期停靠位置的GPS坐标；这样，将预期停靠位置的像素坐标转换为GPS坐标，获取的预期停靠位置信息较为精确，可以为矿用卡车的精准停靠提供基础依据；将预期停靠位置的GPS坐标发送至矿用卡车，矿用卡车根据本车GPS坐标和预期停靠位置的GPS坐标自动规划停靠路线。本专利技术面向矿区自动驾驶车辆，所需的相机和GPS设备，大部分矿区自动驾驶车辆均配备，因此，不需要添加额外的传感器，一方面减少了车载处理设备的处理量，另一方面降低了成本。附图说明图1为本专利技术实施例1提供的一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法的流程图；图2为本专利技术实施例1中矿用卡车预期停靠位置选取示意图。具体实施方式下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本专利技术。本专利技术提供的一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，包括如下步骤：S1：将相机安装至辅助作业车辆的前方，相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确本文档来自技高网...

【技术保护点】
1.一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，其特征在于，包括如下步骤：/nS1：将相机安装至辅助作业车辆的前方，相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定；/nS2：测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离；/nS3：在相机前方放置棋盘格，采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数；/nS4：根据标定的径向畸变系数对相机采集的图像进行径向畸变矫正，根据标定的切向畸变系数对相机采集的图像进行切向畸变矫正；/nS5：在畸变矫正后的图像中选取多个数据点，每个数据点代表图像中的一个像素点，记录各数据点与相机真实地面投影的水平距离和垂直距离，保存各数据点的图片或视频，提取各数据点的像素坐标；/nS6：根据相机的安装高度、安装俯仰角、偏航角及标定的相机内参，确定像素坐标系至世界坐标系的转换矩阵，根据提取的各数据点的像素坐标，计算相机与各数据点的水平距离和垂直距离；/nS7：将计算出的相机与各数据点的水平距离和垂直距离，与记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较，微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参，更新像素坐标系至世界坐标系的转换矩阵；/nS8：辅助作业车辆通过HMI人机交互界面实时获取辅助作业车辆前面的画面，选取矿用卡车的预期停靠位置；/nS9：根据更新后的转换矩阵，将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离，再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置，结合辅助作业车辆实时发送的GPS信息，选取Vincenty椭球面计算公式，计算矿用卡车的预期停靠位置的GPS坐标；/nS10：将预期停靠位置的GPS坐标下发至矿用卡车，矿用卡车根据预期停靠位置的GPS坐标，规划停靠行驶路线。/n...

【技术特征摘要】
1.一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法，其特征在于，包括如下步骤：
S1：将相机安装至辅助作业车辆的前方，相机的安装高度、安装俯仰角及偏航角根据相机检测范围需覆盖的检测区域确定；
S2：测量相机的安装位置与辅助作业车辆GPS天线的安装位置之间的水平距离和垂直距离；
S3：在相机前方放置棋盘格，采用棋盘格标定法获取相机内参、径向畸变系数和切向畸变系数；
S4：根据标定的径向畸变系数对相机采集的图像进行径向畸变矫正，根据标定的切向畸变系数对相机采集的图像进行切向畸变矫正；
S5：在畸变矫正后的图像中选取多个数据点，每个数据点代表图像中的一个像素点，记录各数据点与相机真实地面投影的水平距离和垂直距离，保存各数据点的图片或视频，提取各数据点的像素坐标；
S6：根据相机的安装高度、安装俯仰角、偏航角及标定的相机内参，确定像素坐标系至世界坐标系的转换矩阵，根据提取的各数据点的像素坐标，计算相机与各数据点的水平距离和垂直距离；
S7：将计算出的相机与各数据点的水平距离和垂直距离，与记录的各数据点与相机真实地面投影的水平距离和垂直距离进行比较，微调相机的安装高度、安装俯仰角、偏航角及标定的相机内参，更新像素坐标系至世界坐标系的转换矩阵；
S8：辅助作业车辆通过HMI人机交互界面实时获取辅助作业车辆前面的画面，选取矿用卡车的预期停靠位置；
S9：根据更新后的转换矩阵，将选取的预期停靠位置的像素坐标转换为预期停靠位置与相机的水平距离和垂直距离，再根据测量的相机安装位置与辅助作业车辆GPS天线安装位置之间的水平距离和垂直距离，获取预期停靠位置与辅助作业车辆GPS天线的相对位置，结合辅助作业车辆实时发送的GPS信息，选取Vincenty椭球面计算公式，计算矿用卡车的预期停靠位置的GPS坐标；
S10：将预期停靠位置的GPS坐标下发至矿用卡车，矿用卡车根据预期停靠位置的GPS坐标，规划停靠行驶路线。


2.如权利要求1所述的基于视觉辅助的...

【专利技术属性】
技术研发人员：王章宇，刘蓬菲，黄立明，余贵珍，
申请(专利权)人：北京踏歌智行科技有限公司，
类型：发明
国别省市：北京;11