构建三维地图的方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及地图技术领域，公开了一种构建三维地图的方法、装置、电子设备及存储介质，该方法包括：计算第一道路图像中与第二道路图像中特征点相匹配的道路元素之间的转移矩阵；根据特征点相匹配的道路元素所对应的转移矩阵，将第一道路图像中的道路元素与第二道路图像中的道路元素进行语义关联；根据被语义关联的道路元素所对应多个特征点在第一道路图像中的位置信息和在第二道路图像中的位置信息，确定被语义关联的道路元素对应的三维空间信息；根据被语义关联的道路元素的三维空间信息和被语义关联的道路元素所属的元素类型，构建三维地图；本方案可以降低构建三维地图的成本，而且降低了对数据采集的要求。而且降低了对数据采集的要求。而且降低了对数据采集的要求。

【技术实现步骤摘要】
构建三维地图的方法、装置、电子设备及存储介质


[0001]本申请涉及地图
，更具体地，涉及一种构建三维地图的方法、装置、电子设备及存储介质。

技术介绍

[0002]通过计算机视觉技术构建三维地图是地图相关业务中的一个非常重要的任务，在道路生产自动化、高精地图构建、自动驾驶等等中有着广泛的应用。相关技术中，一般是通过大量的道路图像匹配和激光雷达采集的到点云数据来构建三维地图，该种方法由于需要利用到激光雷达采集到的点云数据，对数据采集的要求较高，而且，需要对道路图像和点云数据进行处理，因此，数据处理量较大。如果地图更新的频率较高，则三维地图构建的数据处理量对应加大。总结来说，按照图像匹配和激光雷达配合的方式，构建三维地图的成本较高。

技术实现思路

[0003]鉴于上述问题，本申请实施例提出了一种构建三维地图的方法、装置、电子设备及存储介质，以解决相关技术中三维地图构建成本高的问题。
[0004]根据本申请实施例的一个方面，提供了一种构建三维地图的方法，该方法包括：计算第一道路图像中与第二道路图像中特征点相匹配的道路元素之间的转移矩阵；第一道路图像和所述第二道路图像是在间隔距离不超过距离阈值的两个采集点所采集到的不同的道路图像；根据特征点相匹配的道路元素所对应的转移矩阵，将所述第一道路图像中的道路元素与所述第二道路图像中的道路元素进行语义关联，其中，被语义关联的两道路元素表示空间中的同一道路元素；根据被语义关联的道路元素所对应多个特征点在第一道路图像中的位置信息和在第二道路图像中的位置信息，确定被语义关联的道路元素对应的三维空间信息；根据所述被语义关联的道路元素的三维空间信息和所述被语义关联的道路元素所属的元素类型，构建三维地图。
[0005]根据本申请实施例的一个方面，提供了一种构建三维地图的装置，该装置包括：转移矩阵确定模块，用于计算第一道路图像中与第二道路图像中特征点相匹配的道路元素之间的转移矩阵；第一道路图像和所述第二道路图像是在间隔距离不超过距离阈值的两个采集点所采集到的不同的道路图像；语义关联模块，用于根据特征点相匹配的道路元素所对应的转移矩阵，将所述第一道路图像中的道路元素与所述第二道路图像中的道路元素进行语义关联，其中，被语义关联的两道路元素表示空间中的同一道路元素；三维空间信息确定模块，用于根据被语义关联的道路元素对应的多个特征点在第一道路图像中的位置信息和在第二道路图像中的位置信息，确定被语义关联的道路元素对应的三维空间信息；地图构建模块，用于根据所述被语义关联的道路元素的三维空间信息和所述被语义关联的道路元素所属的元素类型，构建三维地图
[0006]根据本申请实施例的一个方面，提供了一种电子设备，包括：处理器；存储器，所述
存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上的构建三维地图的方法。
[0007]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现如上构建三维地图的方法。
[0008]根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上的构建三维地图的方法。
[0009]在本申请的方案中，在对第一道路图像和第二道路图像进行特征点匹配后，计算第一道路图像中与第二道路图像中特征点相匹配的道路元素之间的转移矩阵，并根据转移矩阵来将不同道路图像中的道路元素进行语义关联，之后，根据语义关联的道路元素在两道路图像中的位置信息来确定道路元素的三维空间信息，并进而根据道路元素的三维空间信息来构建三维地图。在该过程中实现了利用针对道路环境在两个视角下采集到的道路图像来进行三维地图构建，而不涉及利用激光雷达来进行点云数据采集，从而，消除了三维地图构建对激光雷达设备的依赖，降低了构建三维地图的成本。而且，本方案可以在道路进行更新时，可以即使基于更新后的道路图像进行三维地图更新。
[0010]此外，在本申请的方案中，在对两张道路图像进行特征点提取的基础上，不仅将不同道路图像中的特征点进行特征点匹配，而且基于转移矩阵来进一步将两张道路图像中的道路元素进行语义关联，相较于仅根据特征点匹配来将道路元素进行关联的方式，本方案中参考的信息更多，从而可以保证对道路元素所进行语义关联的准确性，保证所确定道路元素的三维空间信息的准确性，进而保证所生成三维地图的准确性。
附图说明
[0011]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]图1是根据本申请一实施例示出本申请的应用场景的示意图。
[0013]图2是根据本申请的一实施例示出的构建三维地图的方法的流程图。
[0014]图3A示例性示出了一图像中的像素点通过单应矩阵进行变换的示意图.
[0015]图3B示例性像素点和对极线的映射关系的示意图。
[0016]图4示例性示出了对道路图像中的多个道路元素进行聚组的示意图。
[0017]图5是根据本申请一实施例示出的对聚合组进行膨胀的示意图。
[0018]图6是图2对应实施例中的步骤220在一实施例中的流程图。
[0019]图7是图2对应实施例中的步骤220在另一实施例中的流程图。
[0020]图8示出了小孔成像的原理图。
[0021]图9示例性示出了从第一采集点向第一道路图像所对应的道路轨迹进行投影的示意图。
[0022]图10是根据本申请一实施例示出的将十字路口进行划分的示意图。
[0023]图11是根据本申请另一实施例示出的构建三维地图的方法的流程图。
[0024]图12是根据本申请一实施例示出的一道路图像中的道路元素的示意图。
[0025]图13是根据本申请一实施例示出的对道路图像中的特征点进行过滤的示意图。
[0026]图14是根据本申请一具体实施例示出的构建三维地图的方法的流程图。
[0027]图15是根据本申请一实施例示出的多任务解析网络的结构示意图。
[0028]图16是根据本申请一实施例示出的构建三维地图的装置的框图。
[0029]图17示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0030]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
[0031]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种构建三维地图的方法，其特征在于，所述方法包括：计算第一道路图像中与第二道路图像中特征点相匹配的道路元素之间的转移矩阵；所述第一道路图像和所述第二道路图像是在间隔距离不超过距离阈值的两个采集点所采集到的不同的道路图像；根据特征点相匹配的道路元素所对应的转移矩阵，将所述第一道路图像中的道路元素与所述第二道路图像中的道路元素进行语义关联，其中，被语义关联的两道路元素表示空间中的同一道路元素；根据被语义关联的道路元素所对应多个特征点在第一道路图像中的位置信息和在第二道路图像中的位置信息，确定被语义关联的道路元素对应的三维空间信息；根据所述被语义关联的道路元素的三维空间信息和所述被语义关联的道路元素所属的元素类型，构建三维地图。2.根据权利要求1所述的方法，其特征在于，所述根据特征点相匹配的道路元素所对应的转移矩阵，将所述第一道路图像中的道路元素与所述第二道路图像中的道路元素进行语义关联，包括：对于所述第一道路图像中的第一道路元素，根据所述第一道路元素所对应第一检测框的位置信息和所述第一道路元素所对应的转移矩阵，确定所述第一检测框在第二道路图像中对应的预测框；若所述预测框内存在一个属于目标元素类型的第二道路元素所对应的第二检测框，则将所述第一道路图像中的第一道路元素与所述第二道路图像中的第二道路元素进行语义关联；其中，所述第一道路元素所属的元素类型为所述目标元素类型。3.根据权利要求1所述的方法，其特征在于，所述根据特征点相匹配的道路元素所对应的转移矩阵，将所述第一道路图像中的道路元素与所述第二道路图像中的道路元素进行语义关联，包括：对于所述第一道路图像中的第一道路元素，根据所述第一道路元素所对应第一检测框的位置信息和所述第一道路元素所对应的转移矩阵，确定所述第一检测框在第二道路图像中对应的预测框；在所述第二道路图像中对所述预测框进行膨胀处理；若膨胀处理后的预测框内存在一个属于目标元素类型的第二道路元素所对应的第二检测框，则将所述第一道路图像中的第一道路元素与所述第二道路图像中的第二道路元素进行语义关联。4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：若所述第一道路图像中存在未被语义关联的第三道路元素，根据所述第三道路元素在所述第一道路图像中的局部特征信息和所述第一道路图像中已语义关联的至少一个第四道路元素相对于所述第三道路元素的方位信息，确定所述第三道路元素在所述第一道路图像中的全局特征信息；根据未被语义关联的第五道路元素在候选道路图像中的局部特征信息和所述候选道路图像中已语义关联的第六道路元素相对于所述第五道路元素的方位信息，确定所述第五道路元素在所述候选道路图像中的全局特征信息；所述第五道路元素所属的元素类型与所述第三道路元素所属的元素类型相同；
根据所述第三道路元素在所述第一道路图像中的全局特征信息和所述第五道路元素在所述候选道路图像中的全局特征信息，计算所述第三道路元素与所述第五道路元素的相似度；若所述相似度超过相似度阈值，则将所述第一道路图像中的第三道路元素与所述候选道路图像中的第五道路元素进行语义关联。5.根据权利要求1所述的方法，其特征在于，所述根据被语义关联的道路元素对应的多个特征点在第一道路图像中的位置信息和在第二道路图像中的位置信息，确定被语义关联的道路元素对应的三维空间信息，包括：根据被语义关联的道路元素对应的多个特征点在第一道路图像中的位置信息和在第二道路图像中的位置信息，确定相对姿态信息；根据所述相对姿态信息，确定所述被语义关联的道路元素在第一道路图像所对应第一相机坐标系中的第一相对位置信息，和所述被语义关联的道路元素在第二道路图像所对应第二相机坐标系中的第二相对位置信息；根据所述第一道路图像所对应拍摄位置与所述第二道路图像所对应拍摄位置之间的间隔距离、所述第一相对位置信息和所述第二相对位置信息，确定所述被语义关联的道路元素对应的三维空间信息。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一道路图像所对应拍摄位置与所述第二道路图像所对应拍摄位置之间的间隔距离、所述第一相对位置信息和所述第二相对位置信息，确定所述被语义关联的道路元素对应的三维空间信息之前，所述方法还包括：确定所述第一道路图像所关联的第一采集点在所述第一道路图像所对应的道路轨迹上的第一投影位置，将所述第一投影位置作为所述第一道路图像对应的拍摄位置；确定所述第二道路图像所关联的第二定位点在所述第二道路图像所对应的道路轨迹上的第二投影位置，将所述第二投影位置作为所述第二道路图像对应的拍摄位置；基于所述第一投影位置和所述第二投影位置，确定所述第一道路图像所对应拍摄位置与所述第二道路图像所对应拍摄位置之间...

【专利技术属性】
技术研发人员：谭川奇，
申请(专利权)人：腾讯云计算北京有限责任公司，
类型：发明
国别省市：