一种地图生成方法、设备、飞行器及存储介质技术

一种地图生成方法、设备、飞行器及存储介质，其中，方法包括：获取飞行器上挂载的摄像装置拍摄的第一图像数据(S401)；基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义(S402)；根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据(S403)；使用所述包含语义的第一点云数据生成点云地图(S404)。通过这种方式，可自动生成并更新包含语义的点云地图，满足了语义识别的自动化和智能化需求，提高航拍应用的有效性和效率。

A map generation method, equipment, aircraft and storage medium

【技术实现步骤摘要】
【国外来华专利技术】一种地图生成方法、设备、飞行器及存储介质
本专利技术涉及控制
，尤其涉及一种地图生成方法、设备、飞行器及存储介质。
技术介绍
随着飞行器技术的发展，目前飞行器(如无人机)已经广泛地应用于执行各种类型的作业任务(例如航拍、农业植保、勘测等)，其中，以飞行器上的航拍技术的应用最为广泛。以挂载有拍摄装置的飞行器为例，传统的飞行器的航拍技术在拍摄过程中无法自动识别所拍摄图像中各对象的类别，需依靠人工来判断拍摄图像中各对象的类别，这在一定程度上限制了飞行器航拍的应用。因此如何更有效地提高航拍应用的有效性和效率成为研究的重点。
技术实现思路
本专利技术实施例提供了一种地图生成方法、设备、飞行器及存储介质，可自动生成并更新包含语义的点云地图，满足了语义识别的自动化和智能化需求，提高航拍应用的有效性和效率。第一方面，本专利技术实施例提供了一种地图生成方法，所述方法包括：获取飞行器上挂载的摄像装置拍摄的第一图像数据；基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；使用所述包含语义的第一点云数据生成点云地图。第二方面，本专利技术实施例提供了一种地图生成设备，包括存储器和处理器；所述存储器，用于存储程序指令；所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：获取飞行器上挂载的摄像装置拍摄的第一图像数据；基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；使用所述包含语义的第一点云数据生成点云地图。第三方面，本专利技术实施例提供了一种飞行器，包括：机身；设置于所述机身的动力系统，用于提供飞行动力；摄像装置，用于拍摄第一图像数据；处理器，用于获取飞行器上挂载的摄像装置拍摄的第一图像数据；基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；使用所述包含语义的第一点云数据生成点云地图。第四方面，本专利技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的地图生成方法。本专利技术实施例中，地图生成设备可以基于语义识别模型对从飞行器上挂载的摄像装置拍摄到的第一图像数据进行处理，以识别出所述第一图像数据中每个像素点所具有的语义，并根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，以及使用所述包含语义的第一点云数据生成点云地图，通过这种方式，满足了语义识别的自动化和智能化需求，提高了基于语义识别的航拍应用的有效性和效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种点云地图的界面示意图；图2.1是本专利技术实施例提供的一种正射影像的界面示意图；图2.2是本专利技术实施例提供的另一种点云地图的界面示意图；图2.3是本专利技术实施例提供的一种标记障碍物的点云地图的界面示意图；图3是本专利技术实施例提供的一种地图生成系统的工作场景示意图；图4是本专利技术实施例提供的一种地图生成方法的流程示意图；图5是本专利技术实施例提供的另一种地图生成方法的流程示意图；图6是本专利技术实施例提供的一种地图生成设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合附图，对本专利技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。在本专利技术实施例提供的地图生成方法可以由一种地图生成系统执行，所述地图生成系统包括地图生成设备和飞行器，所述地图生成设备和飞行器之间可以建立双向通信连接，以进行双向通信。在某些实施例中，所述地图生成设备可以设置在配置有负载(如拍摄装置、红外探测装置、测绘仪等)的飞行器(如无人机)上。在其他实施例中，所述地图生成设备还可以设置在其他可移动设备上，如能够自主移动的机器人、无人车、无人船等可移动设备。在某些实施例中，所述地图生成设备可以是飞行器的部件，即所述飞行器包括所述地图生成设备；在其他实施例中，所述地图生成设备还可以在空间上独立于飞行器。下面结合附图对应用于飞行器的地图生成方法的实施例进行举例说明。本专利技术实施例中，地图生成设备首先可以通过飞行器的摄像装置采集样本图像数据，并对所述样本图像数据对应的样本图像进行语义标注，得到包括语义标注信息的样本图像数据。所述地图生成设备可以根据预设的语义识别算法生成初始语义识别模型，并将所述包括语义标注信息的样本图像数据作为输入数据，输入该初始语义识别模型中进行训练，得到训练结果，其中，所述训练结果包括所述样本图像数据对应的位置数据、高度数据以及所述样本图像中每个像素点的语义。在某些实施例中，所述样本图像数据对应的位置数据包括所述样本图像的经度和纬度，所述样本图像数据对应的高度数据为所述样本图像的高度。在得到训练结果之后，所述地图生成设备可以将所述训练结果中样本图像中每个像素点的语义与所述样本图像的语义标注信息进行对比，如果不匹配，则调整所述初始语义识别模型中的参数，直至训练结果样本图像中每个像素点的语义与所述语义标注信息相匹配时，生成所述语义识别模型。在一些实施例中，所述样本图像数据可以包括彩色图像或正射影像；或者，所述样本图像可以包括彩色图像和所述彩色图像对应的景深数据；或者，所述样本图像可以包括正射影像和所述正射影像对应的景深数据。在某些实施例中，所述正射影像是一种经过几何纠正(比如使之拥有统一的比例尺)的航拍图像，与没有纠正过的航拍图像不同的是，正射影像量可用于测实际距离，因为它是通过几何纠正后得到的地球表面的真实描述，所述正射影像具有信息量丰富、直观、可量测的特性。在某些实施例中，所述彩色图像是根据RGB值确定的图像。在某些实施例中，所述景深数据反映所述摄像装置到被拍摄物的距离。在生成所述语义识别模型之后，所述地图生成设备可以在飞行器的飞行过程中本文档来自技高网...

【技术保护点】
1.一种地图生成方法，其特征在于，所述方法包括：/n获取飞行器上挂载的摄像装置拍摄的第一图像数据；/n基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；/n根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；/n使用所述包含语义的第一点云数据生成点云地图。/n

【技术特征摘要】
【国外来华专利技术】1.一种地图生成方法，其特征在于，所述方法包括：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。


3.根据权利要求2所述的方法，其特征在于，
所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。


4.根据权利要求3所述的方法，其特征在于，所述置信度为正浮点数据。


5.根据权利要求2所述的方法，其特征在于，使用所述第二点云数据更新所述点云地图，包括：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。


6.根据权利要求5所述的方法，其特征在于，比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，包括：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。


7.根据权利要求6所述的方法，其特征在于，
所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。


8.根据权利要求5所述的方法，其特征在于，所述使用所述第二点云数据更新所述点云地图，包括：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。


9.根据权利要求5所述的方法，其特征在于，使用所述第二点云数据更新所述点云地图，包括：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。


10.根据权利要求1所述的方法，其特征在于，
所述第一图像数据包括彩色图像；或者，
所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述第一图像数据包括正射影像；或者，
所述第一图像数据包括正射影像和所述正射影像对应的景深数据。


11.根据权利要求1所述的方法，其特征在于，所述基于语义识别模型处理所述第一图像数据之前，包括：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。


12.根据权利要求11所述的方法，其特征在于，所述基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型，包括：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。


13.根据权利要求2所述的方法，其特征在于，
所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。


14.根据权利要求13所述的方法，其特征在于，所述使用所述第二点云数据更新所述点云地图之后，还包括：
确定所述点云地图上各个图像区域对应的语义；
根据所述点云地图上各图像区域的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。


15.根据权利要求14所述的方法，其特征在于，所述根据所述点云地图上各图像区域的语义，规划飞行航线，包括：
根据所述点云地图上各图像区域的语义，确定所述点云地图上的障碍区域；
在规划航线时绕过所述障碍区域规划所述飞行航线。


16.根据权利要求15所述的方法，其特征在于，所述控制所述飞行器按照所述飞行航线飞行，包括：
在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
如果判断结果为是，则控制所述飞行器执行所述目标任务；
如果判断结果为否，则控制所述飞行器停止执行所述目标任务。


17.一种地图生成设备，其特征在于，所述设备包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，调用存储器中存储的程序指令，用于执行如下步骤：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。


18.根据权利要求17所述的设备，其特征在于，所述处理器还用于：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。


19.根据权利要求18所述的设备，其特征在于，
所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。


20.根据权利要求19所述的设备，其特征在于，所述置信度为正浮点数据。


21.根据权利要求18所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。


22.根据权利要求21所述的设备，其特征在于，所述处理器在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。


23.根据权利要求22所述的设备，其特征在于，
所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。


24.根据权利要求21所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。


25.根据权利要求21所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。


26.根据权利要求17所述的设备，其特征在于，
所述...

【专利技术属性】
技术研发人员：张明磊，马东东，李鑫超，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44