道路元素的提取方法、装置、电子设备、存储介质及车辆制造方法及图纸

本公开提供了道路元素的提取方法、装置、电子设备、存储介质及车辆，涉及人工智能技术领域，具体涉及图像处理、计算机视觉和深度学习等领域，尤其涉及智能交通、智慧城市等技术领域。具体实现方案为：获取目标道路的多个视角的道路图像，得到图像组；对图像组进行特征提取，得到第一特征图；基于第一特征图生成鸟瞰图视角的第二特征图；从第一特征图中，提取出多个目标位置点的特征信息，得到待融合特征图；将待融合特征图和第二特征图进行融合处理，得到目标特征图；基于目标特征图，确定目标道路上的道路元素。将第一特征图和第二特征图进行融合，得到具有较好表达能力的目标特征图，据此进行道路元素提取，能够准确提取出道路元素。路元素。路元素。

【技术实现步骤摘要】
道路元素的提取方法、装置、电子设备、存储介质及车辆


[0001]本公开涉及人工智能
，具体涉及图像处理、计算机视觉和深度学习等领域，尤其涉及智能交通、智慧城市等


技术介绍

[0002]自动驾驶是人类专利技术汽车以来的颠覆性创新。随着人工智能、自动驾驶技术的成熟，自动驾驶的影响不只体现在汽车工业。自动驾驶对社会发展、出行体系也都存在巨大影响。
[0003]自动驾驶需要感知车辆周围的环境。其中提取道路元素是感知道路环节的重要环节。道路元素一般包括车道线、行人、车辆等。
[0004]自动驾驶过程中提取道路元素有利于准确的进行驾驶控制，因此，如何能够准确的提取道路元素至今仍是需要解决的问题。

技术实现思路

[0005]本公开提供了一种道路元素的提取方法、装置、电子设备、存储介质及车辆。
[0006]根据本公开的一方面，提供了一种道路元素的提取方法，包括：
[0007]获取目标道路的多个视角的道路图像，得到图像组；
[0008]对图像组进行特征提取，得到第一特征图；
[0009]基于第一特征图生成鸟瞰图视角的第二特征图；
[0010]从第一特征图中，提取出多个目标位置点的特征信息，得到待融合特征图；
[0011]将待融合特征图和第二特征图进行融合处理，得到目标特征图；
[0012]基于目标特征图，确定目标道路上的道路元素。
[0013]根据本公开的另一方面，提供了一种道路元素的提取装置，包括：
[0014]获取模块，用于获取目标道路的多个视角的道路图像，得到图像组；
[0015]特征提取模块，用于对图像组进行特征提取，得到第一特征图；
[0016]转换模块，用于基于第一特征图生成鸟瞰图视角的第二特征图；
[0017]提取模块，用于从第一特征图中，提取出多个目标位置点的特征信息，得到待融合特征图；
[0018]融合模块，用于将待融合特征图和第二特征图进行融合处理，得到目标特征图；
[0019]提取模块，用于基于目标特征图，确定目标道路上的道路元素。
[0020]根据本公开的另一方面，提供了一种电子设备，包括：
[0021]至少一个处理器；以及
[0022]与该至少一个处理器通信连接的存储器；其中，
[0023]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的道路元素的提取方法。
[0024]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的道路元素的提取方法。
[0025]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的道路元素的提取方法。
[0026]根据本公开的另一方面，提供一种车辆，包括能够执行道路元素的提取方法的电子设备。
[0027]本公开中，从多个视角的道路图像中提取出第一特征图，然后将第一特征图转换到鸟瞰图视角得到第二特征图，为了提升特征表达能力，本公开中将第一特征图和第二特征图进行融合，得到具有较好表达能力的目标特征图，由此基于目标特征图进行道路元素提取，能够准确的提取出道路元素。
[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0030]图1是根据本公开一实施例的道路元素的提取方法的应用场景示意图；
[0031]图2是根据本公开一实施例的道路元素的提取方法的流程示意图；
[0032]图3是根据本公开一实施例的感知的目标可视范围的示意图；
[0033]图4是根据本公开一实施例的道路元素的提取方法的流程示意图；
[0034]图5是根据本公开一实施例的鸟瞰图视角的对目标可视范围进行划分的示意图；
[0035]图6是根据本公开一实施例的将第一特征图和鸟瞰图视角的特征图进行融合的示意图；
[0036]图7是根据本公开一实施例的道路元素的提取方法的流程示意图；
[0037]图8是根据本公开一实施例的道路元素的提取方法的流程示意图；
[0038]图9是根据本公开一实施例的道路元素的提取网络模型的框架图；
[0039]图10是根据本公开一实施例的道路元素的提取方法的流程示意图；
[0040]图11是根据本公开一实施例的道路元素的提取方法的流程示意图；
[0041]图12a是根据本公开一实施例的道路元素的提取网络模型的框架图；
[0042]图12b是基于提取的道路元素构建的鸟瞰图的示意图；
[0043]图13是根据本公开一实施例的道路元素的提取装置的结构示意图；
[0044]图14是根据本公开一实施例的道路元素的提取装置的另一结构示意图；
[0045]图15是用来实现本公开实施例的道路元素的提取方法的电子设备的框图。
具体实施方式
[0046]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0047]本公开中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定
的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0048]本公开实施例中提供了一种道路元素的提取方法，以期望能够准确的提取道路元素，为自动驾驶提供重要的辅助信息。如图1所示为该方法的应用场景示意图。该方法中，车辆101周围可安装多个图像采集装置。例如图1所示，车辆101中共安装有四种类型的单目相机，包括长距相机1个、中距相机4个、短距相机7个以及鱼眼相机4个。当然图1所示出的相机类型以及数量仅用于说明本公开实施例，并不对本公开实施例进行限定。
[0049]基于这些图像采集装置，针对道路，能够采集到多个视角的道路图像。其中每个视角可由一个图像采集装置提供。
[0050]在能够得到多个视角的道路图像的基础上，可由车辆101对多个视角的道路图像进行分析处理，提取出道路元素，也可以由车辆101将采集的道路图像发送给云端服务器102，由云端服务器102提取出道路元素，然后发送给车辆101。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种道路元素的提取方法，包括：获取目标道路的多个视角的道路图像，得到图像组；对所述图像组进行特征提取，得到第一特征图；基于所述第一特征图生成鸟瞰图视角的第二特征图；从所述第一特征图中，提取出多个目标位置点的特征信息，得到待融合特征图；将所述待融合特征图和所述第二特征图进行融合处理，得到目标特征图；基于所述目标特征图，确定所述目标道路上的道路元素。2.根据权利要求1所述的方法，其中，所述从所述第一特征图中，提取出多个目标位置点的特征信息，得到待融合特征图，包括：基于所述多个视角决定的目标可视范围，确定所述多个目标位置点；从所述第一特征图中，提取出所述多个目标位置点各自的特征值；基于所述多个目标位置点各自的特征值，生成所述待融合特征图。3.根据权利要求2所述的方法，其中，所述基于所述多个视角决定的目标可视范围，确定所述多个目标位置点，包括：将所述多个视角决定的目标可视范围划分为多个格子；将所述第二特征图中每个位置点分别确定为一个待融合位置点；从所述目标可视范围内为每个待融合位置点选择至少一个格子作为目标位置点，得到所述多个目标位置点。4.根据权利要求2或3所述的方法，其中，所述基于所述多个目标位置点各自的特征值，生成所述待融合特征图，包括：针对所述第二特征图中各待融合位置点分别执行：在所述待融合位置点对应多个目标位置点的情况下，将所述第一特征图中所述待融合位置点对应的所述多个目标位置点的特征值进行加权处理，得到所述待融合位置点对应的待融合特征值；基于各待融合位置点对应的待融合特征值，生成所述待融合特征图。5.根据权利要求2
‑
4中任一项所述的方法，其中，所述从所述第一特征图中，提取出所述多个目标位置点各自的特征值，包括：将所述多个目标位置点映射到所述图像组的道路图像上，得到多个图像点；从所述第一特征图中获取所述多个图像点各自的特征值，得到所述多个目标位置点各自的特征值。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述基于所述第一特征图生成鸟瞰图视角的第二特征图，包括：生成所述图像组中各道路图像的第一位置编码；以及，针对采集所述多个视角的道路图像的多个图像采集装置，生成第二位置编码；将所述第一特征图、所述第一位置编码和所述第二位置编码进行融合处理，得到第一查询向量；并，将所述第一特征图分别作为第一键向量和第一值向量；对所述第一查询向量、所述第一键向量和所述第一值向量进行编码处理，得到编码特征；基于所述编码特征，确定所述第二特征图。
7.根据权利要求6所述的方法，其中，所述基于所述编码特征，确定所述第二特征图，包括：将所述编码特征输入解码器，得到所述第二特征图。8.根据权利要求7所述的方法，所述解码器包括多个解码块，每个解码块包括自注意力模块和交叉注意力模块，其中，所述将所述编码特征输入解码器，得到所述第二特征图，包括：针对每个解码块执行以下操作，以得到最后一个解码块输出的解码特征：在所述解码块为第一个解码块的情况下，基于所述多个视角决定的目标可视范围，构建所述解码块中所述自注意力模块所需的第二查询向量、第二键向量和第二值向量；在所述解码块为第一个解码块之后的解码块的情况下，基于所述解码块的上一解码块输出的解码特征，构建所述解码块中所述自注意力模块所需的第二查询向量、第二键向量和第二值向量；将所述第二查询向量、所述第二键向量和所述第二值向量输入所述解码块的自注意力模块，得到交叉特征；基于所述交叉特征和所述编码特征构建所述解码块的交叉注意力模块所需的第三查询向量、第三键向量和第三值向量；将所述第三查询向量、所述第三键向量和所述第三值向量输入所述解码块的交叉注意力模块，得到所述解码块输出的解码特征；在得到最后一个解码块输出的解码特征的情况下，将所述最后一个解码块输出的解码特征进行上采样，得到所述第二特征图。9.根据权利要求8所述的方法，其中，所述基于所述多个视角决定的目标可视范围，构建所述解码块中所述交叉注意力模块所需的第二查询向量、第二键向量和第二值向量，包括：将划分了多个格子的所述目标可视范围内的每个格子分别进行位置编码，得到第三位置编码；以及，对每个格子的特征值进行初始化，得到初始化鸟瞰图；将所述初始化鸟瞰图和所述第三位置编码之间的融合特征作为所述自注意力模块的所述第二查询向量，将所述初始化鸟瞰图分别作为所述自注意力模块的所述第二键向量和所述第二值向量。10.根据权利要求8所述的方法，其中，所述基于所述交叉特征和所述编码特征构建所述解码块的交叉注意力模块所需的第三查询向量、第三键向量和第三值向量，包括：将多模态位置编码和所述编码特征之间的融合特征作为所述交叉注意力模块的所述第三键向量；其中，所述多模态特征是对所述第一位置编码和所述第二位置编码进行融合处理得到的；将所述自注意力模块输出的交叉特征和所述第三位置编码之间的融合特征作为所述交叉注意力模块的所述第三查询向量；将所述编码特征作为所述交叉注意力模块的所述第三值向量。11.根据权利要求1
‑
10中任一项所述的方法，所述第一特征图中包括多个尺度的第一子特征图，所述待融合特征图中包括多个目标尺度的待融合特征子图，其中，所述从所述第
一特征图中，提取出多个目标位置点的特征信息，得到待融合特征图，包括：从每个目标尺度的第一子特征图中分别提取出所述多个目标位置点的特征信息，得到各目标尺度的待融合特征子图。12.根据权利要求11所述的方法，其中，所述将所述待融合特征图和所述第二特征图进行融合处理，得到目标特征图，包括：将最小目标尺度的待融合特征子图和所述第二特征图进行融合处理，得到第一中间特征图；循环执行如下操作，直至不存在剩余待融合特征子图的情况下，得到最终输出的第一中间特征图：存在剩余待融合特征子图的情况下，将所述第一中间特征图进行上采样，得到第二中间特征图；从剩余待融合特征子图中选择最小目标尺度的待融合特征子图和所述第二中间特征图进行融合处理，得到新的第一中间特征图；将最终输出的第一中间特征图上采样至指定尺度，得到所述目标特征图。13.一种道路元素的提取装置，包括：获取模块，用于获取目标道路的多个视角的道路图像，得到图像组；特征提取模块，用于对所述图像组进行特征提取，得到第一特征图；转换模块，用于基于所述第一特征图生成鸟瞰图视角的第二特征图；提取模块，用于从所述第一特征图中，提取出多个目标位置点的特征信息，得到待融合特征图；融合模块，用于将所述待融合特征图和所述第二特征图进行融合处理，得到目标特征图；提取模块，用于基于所述目标特征图，确定所述目标道路上...

【专利技术属性】
技术研发人员：叶晓青，龚石，李莹莹，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：