【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及基于语义分割的跑道中线侧偏检测方法、装置、设备和介质。
技术介绍
1、无人机的起飞和着陆可以自主完成，但通常依赖gnss和地面差分站提供的精确定位信息。在没有地面差分站或gnss环境下，无人机可以通过前视机载相机的观测数据，识别分割跑道，并根据跑道分割结果估计飞机与跑道的相对位置，进而完成自主降落。跑道识别任务存在识别目标距离远、环境干扰大等问题，如浓雾、昼夜变化等。跑道识别分割的精度对无人机的安全着陆至关重要。
2、现有的跑道识别方法有基于霍夫变换检测跑道边线，可以比较准确的分割出跑道，但对图像质量要求较高，只能用于距离机场跑道较近的地方。
技术实现思路
1、有鉴于此，本专利技术的目的是提供基于语义分割的跑道中线侧偏检测方法、装置、设备和介质，以至少解决现有跑道识别技术存在的跑道识别不精确影响无人机的起飞和着陆安全的问题。
2、本专利技术通过以下技术手段解决上述技术问题：
3、第一方面，本专利技术提供了一种基于语义分割的跑道中线侧偏检测方法，包括：
4、通过包括机场跑道的训练数据集训练得到语义分割神经网络模型；
5、获取无人机拍摄到的目标图像；
6、根据语义分割神经网络模型的输入要求，对目标图像进行前处理；
7、将前处理后的目标图像输入语义分割神经网络模型，从目标图像中分割出跑道目标；
8、通过语义分割获取跑道目标对象的像素以及分类，对左右边线对象的像素
9、通过上述技术方案，采用包括机场跑道的训练数据集训练得到的语义分割神经网络模型，用于分割无人机飞行过程中的跑道目标，并对跑道目标进行分割、计算，拟合获得跑道两侧边线的斜率和截距，基于跑道两侧边线的斜率和截距计算确定跑道中线，精确的获取并分割出跑道目标的轮廓，进而可以结合实时飞行包发送过来的俯仰角、横滚角、航向角以及海拔高度的飞行参数计算相对于跑道测偏距，有利于无人机的起飞和着陆安全。本专利技术的基于语义分割的跑道中线侧偏检测方法在于根据视觉的位姿结算算法对目标的分割的精确性、有效性和正确性提供支持，在这个基础上计算和拟合的结果相较于传统使用霍夫检测的方式，提取和计算的结果更为精确。并且由于对模型的特化匹配和优化工作，使得检测和计算的速度更快，目标检测和语义分割更准确，目标计算更为安全可靠。
10、结合第一方面，在一些可选的实施方式中，所述通过包括机场跑道的训练数据集训练得到语义分割神经网络模型，包括：
11、获取机场跑道视频，对所述机场跑道视频进行预处理，得到包括无人机机场跑道的训练图片；
12、对训练图片中的跑道的左边线和右边线进行标注，得到训练数据集；
13、采用训练数据集训练得到语义分割神经网络模型。
14、结合第一方面，在一些可选的实施方式中，所述获取机场跑道视频，对所述机场跑道视频进行预处理，得到包括无人机机场跑道的训练图片，包括：
15、接收获取无人机拍摄的机场跑道视频；
16、按照规定的时间间隔对机场跑道视频进行截图，生成多张视频帧图片；
17、删除模糊且没有跑道的视频帧图片，得到包括无人机机场跑道的训练图片。
18、结合第一方面，在一些可选的实施方式中，所述根据语义分割神经网络模型的输入要求，对目标图像进行前处理，包括：
19、检查获取目标图像的格式和尺寸；
20、判断目标图像的格式是否符合语义分割神经网络模型的输入要求，若不符合则进行转换；
21、判断目标图像的尺寸是否符合语义分割神经网络模型的输入要求，若不符合则进行修改。
22、结合第一方面，在一些可选的实施方式中，通过语义分割获取跑道目标对象的像素以及分类，对左右边线对象的像素集合进行计算，通过逐行扫描每个对象的像素坐标，获取对象最左和最右的两个像素点，通过二分法初步对像素值进行划分，拟合得到跑道边线；对跑道两侧边线进行倾斜程度的矫正拟合结果，获取斜率和截距，包括：
23、通过语义分割获取跑道目标对象的像素以及分类，对左右边线对象的像素集合进行计算，通过逐行扫描每个对象的像素坐标，获取对象最左和最右的两个像素点；
24、采用二值化分别处理跑道的两侧边线、引导线和底边；
25、查找目标图像中的最大连通域轮廓；
26、采用最小二乘函数接口，分别带入边线、引导线点集合进行拟合，得到两侧边线的斜率和截距。
27、结合第一方面，在一些可选的实施方式中，所述基于跑道两侧边线的斜率和截距计算确定跑道中线，包括：
28、判断比较两侧边线的斜率是否相同；
29、根据两侧边线的斜率比较结果，确定跑道中线的位置。
30、结合第一方面，在一些可选的实施方式中，所述根据两侧边线的斜率比较结果，确定跑道中线的位置，操作如下：
31、如果两侧边线的斜率相同，跑道中线位于两侧边线的中间位置且平行于边线；
32、如果两侧边线的斜率不相同，通过延长两侧边线获取相交点和两边缘线的中间点，连接相交点和中间点确定出中线。
33、第二方面，本专利技术提供了一种基于语义分割的跑道中线侧偏检测装置，包括：
34、模型获取模块，用于通过包括机场跑道的训练数据集训练得到语义分割神经网络模型；
35、目标图像获取模块，用于获取无人机拍摄到的目标图像；
36、前处理模块，用于根据语义分割神经网络模型的输入要求，对目标图像进行前处理；
37、目标分割模块，用于将前处理后的目标图像输入语义分割神经网络模型，从目标图像中分割出跑道目标；
38、中线计算模块，用于通过语义分割获取跑道目标对象的像素以及分类，对左右边线对象的像素集合进行计算，通过逐行扫描每个对象的像素坐标，获取对象最左和最右的两个像素点，通过二分法初步对像素值进行划分，拟合得到跑道边线；对跑道两侧边线进行倾斜程度的矫正拟合结果，获取斜率和截距，基于跑道两侧边线的斜率和截距计算确定跑道中线。
39、第三方面，本专利技术提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现上述的基于语义分割的跑道中线侧偏检测方法。
40、第四方面，本专利技术提供了一种计算机可读存储介质，所述可读存储介质中包含有至少一段计算机程序，所述至少一段计算机程序被设置为运行时执行以实现上述的基于语义分割的跑道中线侧偏检测方法。
41、可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面的相关描述，在此不在赘述。...
【技术保护点】
1.基于语义分割的跑道中线侧偏检测方法，其特征在于，包括：
2.根据权利要求1所述的基于语义分割的跑道边线检测和中线计算方法，其特征在于，所述通过包括机场跑道的训练数据集训练得到语义分割神经网络模型，包括：
3.根据权利要求2所述的基于语义分割的跑道中线侧偏检测方法，其特征在于，所述获取机场跑道视频，对所述机场跑道视频进行预处理，得到包括无人机机场跑道的训练图片，对模型网络按照实际情况需要，进行特化和优化处理，包括：
4.根据权利要求1所述的基于语义分割的跑道中线侧偏检测方法，其特征在于，所述根据语义分割神经网络模型的输入要求，对目标图像进行前处理，包括：
5.根据权利要求1所述的基于语义分割的跑道中线侧偏检测方法，其特征在于，所述通过语义分割获取跑道目标对象的像素以及分类，对左右边线对象的像素集合进行计算，通过逐行扫描每个对象的像素坐标，获取对象最左和最右的两个像素点，通过二分法初步对像素值进行划分，拟合得到跑道边线；对跑道两侧边线进行倾斜程度的矫正拟合结果，获取斜率和截距，包括：
6.根据权利要求5所述的基于语义分割
7.根据权利要求6所述的基于语义分割的跑道中线侧偏检测方法，其特征在于，所述根据两侧边线的斜率比较结果，确定跑道中线的位置，操作如下：
8.基于语义分割的跑道中线侧偏检测装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1-7任一项所述的基于语义分割的跑道中线侧偏检测方法。
10.一种计算机可读存储介质，其特征在于，所述可读存储介质中包含有至少一段计算机程序，所述至少一段计算机程序被设置为运行时执行以实现如权利要求1-7任一项所述的基于语义分割的跑道中线侧偏检测方法。
...【技术特征摘要】
1.基于语义分割的跑道中线侧偏检测方法，其特征在于，包括：
2.根据权利要求1所述的基于语义分割的跑道边线检测和中线计算方法，其特征在于，所述通过包括机场跑道的训练数据集训练得到语义分割神经网络模型，包括：
3.根据权利要求2所述的基于语义分割的跑道中线侧偏检测方法，其特征在于，所述获取机场跑道视频，对所述机场跑道视频进行预处理，得到包括无人机机场跑道的训练图片，对模型网络按照实际情况需要，进行特化和优化处理，包括：
4.根据权利要求1所述的基于语义分割的跑道中线侧偏检测方法，其特征在于，所述根据语义分割神经网络模型的输入要求，对目标图像进行前处理，包括：
5.根据权利要求1所述的基于语义分割的跑道中线侧偏检测方法，其特征在于，所述通过语义分割获取跑道目标对象的像素以及分类，对左右边线对象的像素集合进行计算，通过逐行扫描每个对象的像素坐标，获取对象最左和最右的两个像素点，通过二分法初步对像素值进行划分，拟合...
【专利技术属性】
技术研发人员：王兰春，叶强，秦鹏，杨鑫杰，李建文，
申请(专利权)人：成都九天智飞科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。