【技术实现步骤摘要】
本专利技术属于无人机应用，具体涉及一种基于双目视觉定位的无人机自主穿越门框控制方法及系统。
技术介绍
1、无人机目前在工业、农业、军事等领域都有广泛的应用。无人机在执行任务时经常需要经由面积有限的门框穿越室内外，由于门框边缘的存在，容易出现碰撞的情况，因此需要无人机有自动辨别和定位门框的功能。双目视觉是基于视差原理，利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息。通过在无人机上设置双目摄像机，利用双目摄像机获得门框的第一图象和第二图象，再根据视差原理以及产生的立体视觉信息可以直接恢复门框的三维空间坐标，进而可获得门框的深度值，基于所获取的深度值得到无人机与门框之间的距离，然后使无人机规避门框。当前常用的门框角点识别算法在由双目相机获取角点的过程中很容易由于角点像素坐标的微小偏差，将相机拍摄图像中角点的深度误识别为角点附近的背景深度，使角点的深度信息获取产生较大误差，影响后续的计算。
技术实现思路
1、本专利技术提供了一种无人机穿越室内外时利用双目相机对门框进行识别和定位，并实现自动穿越的控制方法及系统，通过对双目相机采集到的门框图像做背景剔除和深度定位，确定门框相对无人机的位置，自主计算穿越关键点来完成无人机穿越门框的自主飞行。
2、为了达到上述目的，本专利技术提供一种基于双目视觉定位的无人机自主穿越门框控制方法，包括以下步骤：
3、步骤1，使用双目相机拍摄含有门框的rgb场景图像，并进行直方图均衡化处
4、步骤2，hsv通道阈值筛选得到门框范围的二值化图像，并进行形态学处理；
5、步骤3，检测门框的角点中心点，计算穿越关键点；
6、步骤4，将穿越关键点的相机坐标转换到世界坐标系下；
7、步骤5，进行穿越门框障碍物的路径规划。
8、而且，所述步骤2中先将相机拍摄的门框rgb图像转换为hsv颜色空间，再对hsv图像进行h、s、v三通道的阈值筛选，即分别对h、s、v三个通道设置阈值范围，将符合阈值范围的像素点保留并标注为白色，将不在阈值范围的像素点标注为黑色。手动调节目标hsv三通道的六阈值数值，使得门框的形状可以从背景中筛选出来。经过hsv阈值筛选过后，图像变为黑白两色的仅显示门框范围的二值化图像。对hsv筛选后的二值化图像进行形态学处理，即先进行开运算再进行闭运算，开运算为先腐蚀再膨胀，闭运算为先膨胀后腐蚀，腐蚀操作能够消除噪点，同时抹去图像部分边界轮廓，使得图像的整体面积相对之前缩小，膨胀操作能够使目标图像范围增大，填补空洞，使得图像的整体面积相对之前扩大。
9、而且，所述步骤3中对形态学处理后的二值化图像进行轮廓检测，得到门框的内外轮廓，同时获得门框内外轮廓的八个角点像素位置，分别对比角点像素坐标位置与门框中心点像素坐标位置关系，区分左上、左下、右上、右下共四组八个角点，分别对每组角点求其像素坐标的平均值，得到对应位置每组角点连线中点的像素坐标，即角点中心点的像素坐标。像素坐标系的原点位于图像的左上角，x轴指向图像的水平方向，从左向右递增，y轴指向图像的垂直方向，从上向下递增。相机坐标系原点位置与无人机质心位置相同，随无人机移动而移动，坐标系的x轴指向无人机头的右方，y轴指向下方，z轴指向无人机机头方向。通过像素坐标系与相机坐标系之间的坐标转换，将角点中心点像素坐标转换至相机坐标系中，坐标转换公式如下：
10、
11、
12、
13、式中，xc、yc、zc分别表示角点中心点经坐标转换后在相机坐标系下的坐标值；d表示角点中心点在像素坐标系下相机测得的深度值；f为常数，代表以毫米为单位的深度图向以米为单位的实际距离的转换；xp、yp分别代表角点中心点的像素坐标；cx、cy分别代表相机光轴在图像中以像素为单位的偏移量；fx、fy分别代表相机的x、y方向的焦距。
14、根据相机坐标系中下方两个角点中心点坐标，计算出俯视视角下门框与相机坐标系的x轴夹角，记为α，即：
15、
16、式中，zbr表示门框右下角角点中心点在相机坐标系下的z坐标，zbl表示门框左下角角点中心点在相机坐标系下的z坐标，xbr表示门框右下角角点中心点在相机坐标系下的x坐标，xbl表示门框左下角角点中心点在相机坐标系下的x坐标。
17、利用四个角点中心点坐标求平均值，可得到门框中心点的坐标，计算通过门框中心点的门框平面法线上距离门框中心点dw长度的两点坐标，作为无人机穿越门框前后的悬停点，记作穿越关键点1、穿越关键点2，法线方程计算方式如下：
18、z＝zm(5)
19、y-ym＝tanα(x-xm)(6)
20、式中，α为俯视视角下门框与相机坐标系的x轴夹角，x、y、z表示通过门框中心点的门框平面法线上的任一点，xm、ym、zm表示门框中心点在相机坐标系下的坐标值，通过门框中心点坐标与夹角α计算出穿越关键点的位置，即：
21、x1＝xm-dwsinα(7)
22、y1＝ym(8)
23、z1＝zm+dwcosα(9)
24、x2＝xm+dwsinα(10)
25、y2＝ym(11)
26、z2＝zm-dwcosα(12)
27、式中，x1、y1、z1表示穿越关键点1在相机坐标系下的坐标值；x2、y2、z2表示穿越关键点2在相机坐标系下的坐标值；xm、ym、zm表示门框中心点在相机坐标系下的坐标值；dw表示穿越关键点距离门框中心点的距离，根据实际需要人工设置数值。
28、检验穿越关键点1、2的计算是否正确，设向量a为门框中心点指向穿越关键点1的向量，向量b为门框中心点指向相机坐标系原点的向量，a、b向量做数量积后，若结果大于0，说明两向量夹角小于90°，保持穿越关键点1、穿越关键点2的值不变；若结果小于0，则说两向量夹角大于90°，此时交换穿越关键点1、穿越关键点2的坐标值。
29、而且，所述步骤4中利用ros系统中的tf转换工具，建立机体坐标系与世界坐标系的转换关系。世界坐标系原点为无人机slam建图时所处位置，坐标系x轴指向无人机头的右方，y轴指向机头方向，z轴指向无人机上方。由于相机固定在无人机上，相机坐标系原点位置与机体坐标系原点位置距离偏差很小，因此将相机坐标系视为机体坐标系。在ros系统中发布和订阅机体坐标系与世界坐标系间的实时tf转换关系，利用tf转换工具将位于相机坐标系的穿越关键点1、穿越关键点2坐标转换为世界坐标系下的坐标值。
30、而且，所述步骤5中路径规划采用直接飞向无人机发布的飞行点的控制方式，在得到穿越关键点1、2的坐标后，设定第一目标点为当前无人机的坐标上方，第二和第三飞行目标点为转换后的穿越关键点1、2坐标，当无人机在第一目标点悬停稳定后向第二飞行目标点飞行，到达第二飞行目标点后继续等待无人机悬停稳定后，向第三飞行目标点飞行，本文档来自技高网...
【技术保护点】
1.一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤2中先将相机拍摄的门框RGB图像转换为HSV颜色空间，再对HSV图像进行H、S、V三通道的阈值筛选，即分别对H、S、V三个通道设置阈值范围，将符合阈值范围的像素点保留并标注为白色，将不在阈值范围的像素点标注为黑色；手动调节目标HSV三通道的六阈值数值，使得门框的形状能够从背景中筛选出来；经过HSV阈值筛选过后，图像变为黑白两色的仅显示门框范围的二值化图像。
3.如权利要求2所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤2中对HSV筛选后的二值化图像进行形态学处理，即先进行开运算再进行闭运算，开运算为先腐蚀再膨胀，闭运算为先膨胀后腐蚀，腐蚀操作能够消除噪点，同时抹去图像部分边界轮廓，使得图像的整体面积相对之前缩小，膨胀操作能够使目标图像范围增大，填补空洞，使得图像的整体面积相对之前扩大。
4.如权利要求1所述的一种基于双目视觉定位的无人机自主穿越门框控制
5.如权利要求4所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤3中利用四个角点中心点坐标求平均值，得到门框中心点的坐标，计算通过门框中心点的门框平面法线上距离门框中心点dw长度的两点坐标，作为无人机穿越门框前后的悬停点，记作穿越关键点1、穿越关键点2，法线方程计算方式如下：
6.如权利要求1所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤4中利用ROS系统中的tf转换工具，建立机体坐标系与世界坐标系的转换关系，世界坐标系原点为无人机slam建图时所处位置，坐标系x轴指向无人机头的右方，y轴指向机头方向，z轴指向无人机上方；由于相机固定在无人机上，相机坐标系原点位置与机体坐标系原点位置距离偏差很小，因此将相机坐标系视为机体坐标系；在ROS系统中发布和订阅机体坐标系与世界坐标系间的实时tf转换关系，利用tf转换工具将位于相机坐标系的穿越关键点1、穿越关键点2坐标转换为世界坐标系下的坐标值。
7.如权利要求1所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤5中路径规划采用直接飞向无人机发布的飞行点的控制方式，在得到穿越关键点1、2的坐标后，设定第一目标点为当前无人机的坐标上方，第二和第三飞行目标点为转换后的穿越关键点1、2坐标，当无人机在第一目标点悬停稳定后向第二飞行目标点飞行，到达第二飞行目标点后继续等待无人机悬停稳定后，向第三飞行目标点飞行，在此过程中完成无人机对门框的穿越。
8.如权利要求7所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤5中无人机悬停稳定判定由无人机的当前位置坐标与目标位置坐标的距离和时间共同表示，通过ROS系统中表示无人机位姿信息的topic实时获取无人机当前所在位置坐标，每当无人机获得飞行目标点的指令后，ROS系统开始计算无人机当前位置与目标位置的距离，当无人机当前位置与目标位置的距离小于阈值de后，计时器开始累计时间，每当无人机当前位置与目标位置的距离大于此阈值后，计时器时间归零，直至计时器时间累积到时间阈值t后，判定无人机悬停稳定度达标，无人机接收并执行飞向下一个目标点的指令。
9.一种基于双目视觉定位的无人机自主穿越门框控制系统，其特征在于，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的程序指令执行如权利要求1-8任一项所述的一种基于双目视觉定位的无人机自主穿越门框控制方法。
10.一种基于双目视觉定位的无人机自主穿越门框控制系统，其特征在于，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-8任一项所述的一种基于双目视觉定位的无人机自主穿越门框控制方法。
...【技术特征摘要】
1.一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤2中先将相机拍摄的门框rgb图像转换为hsv颜色空间，再对hsv图像进行h、s、v三通道的阈值筛选，即分别对h、s、v三个通道设置阈值范围，将符合阈值范围的像素点保留并标注为白色，将不在阈值范围的像素点标注为黑色；手动调节目标hsv三通道的六阈值数值，使得门框的形状能够从背景中筛选出来；经过hsv阈值筛选过后，图像变为黑白两色的仅显示门框范围的二值化图像。
3.如权利要求2所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤2中对hsv筛选后的二值化图像进行形态学处理，即先进行开运算再进行闭运算，开运算为先腐蚀再膨胀，闭运算为先膨胀后腐蚀，腐蚀操作能够消除噪点，同时抹去图像部分边界轮廓，使得图像的整体面积相对之前缩小，膨胀操作能够使目标图像范围增大，填补空洞，使得图像的整体面积相对之前扩大。
4.如权利要求1所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤3中对形态学处理后的二值化图像进行轮廓检测，得到门框的内外轮廓，同时获得门框内外轮廓的八个角点像素位置，分别对比角点像素坐标位置与门框中心点像素坐标位置关系，区分左上、左下、右上、右下共四组八个角点，分别对每组角点求其像素坐标的平均值，得到对应位置每组角点连线中点的像素坐标，即角点中心点的像素坐标；像素坐标系的原点位于图像的左上角，x轴指向图像的水平方向，从左向右递增，y轴指向图像的垂直方向，从上向下递增；
5.如权利要求4所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤3中利用四个角点中心点坐标求平均值，得到门框中心点的坐标，计算通过门框中心点的门框平面法线上距离门框中心点dw长度的两点坐标，作为无人机穿越门框前后的悬停点，记作穿越关键点1、穿越关键点2，法线方程计算方式如下：
6.如权利要求1所述的一种基于双目视觉定位的无人机自主穿越门框控制方法，其特征在于：步骤4中利用ros系统中的tf转换工具，建立机体坐标系...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。