【技术实现步骤摘要】
本申请涉及图像处理，具体涉及一种鸟瞰特征融合方法、装置、电子设备及存储介质。
技术介绍
1、随着汽车智能化和网联化的快速发展，自动驾驶或者辅助驾驶在学术界和工业界被广泛普及，对多模态多摄像头的数据进行感知、理解、预测也就变得越来越重要。其中视觉摄像头由于成本低廉、应用广泛，感知距离更是具有举足轻重的地位。感知是一系列上下游任务的基础，因此如何对多个摄像头采集的内容进行高效、精准地视觉感知是汽车行业研究和关注的重点之一。
2、目前，相关技术大都通过单帧二维图像特征转换融合得到融合鸟瞰特征，但没有考虑时序信息，具有很大的随机性和局限性，进而导致感知算法的准确性不高和稳定性不足，不利于后续任务的执行。
技术实现思路
1、鉴于以上所述现有技术的缺点，本申请提供一种鸟瞰特征融合方法、装置、电子设备及存储介质，以解决上述相关技术在融合鸟瞰特征时没有考虑时序信息，导致感知算法的准确性不高和连续性不足的技术问题。
2、本申请提供的一种鸟瞰特征融合方法，包括：获取车辆图像数据和目标感知任务，所述车辆图像数据包括不同视角的视角图像序列；对每一视角图像序列中的各帧图像进行特征提取，得到每一视角图像序列对应的每一视角图像特征序列，并对每一视角图像特征序列中的各图像特征进行鸟瞰视角转换，得到每一视角图像特征序列对应的每一视角鸟瞰特征序列；按照时序将每一视角鸟瞰特征序列中的各鸟瞰特征进行时空特征对齐处理，得到每一视角对齐后的多时序鸟瞰特征；对全部视角对齐后的多时序鸟瞰特征进行特征融合处
3、于本申请的一实施例中，对每一视角图像序列中的各帧图像进行特征提取，得到每一视角图像序列对应的每一视角图像特征序列，包括：对各帧图像进行预处理；通过预设神经网络对预处理后的各帧图像进行特征提取，得到各帧图像对应的不同尺寸的特征层；通过特征金字塔网络对各帧图像对应的不同尺寸的特征层进行强化处理，得到各帧图像对应的强化特征层，以根据每一视角图像序列中的各帧图像对应的强化特征层生成每一视角图像特征序列。
4、于本申请的一实施例中，通过特征金字塔网络对各帧图像对应的不同尺寸的特征层进行强化处理，得到各帧图像对应的强化特征层，包括：从各帧图像对应的不同尺寸的特征层中确定各帧图像对应的第一特征层和各帧图像对应的第二特征层；对各帧图像对应的第一特征层进行降维操作，得到各帧图像对应的处理后的第一特征层，并对各帧图像对应的第二特征层进行上采样操作，得到各帧图像对应的处理后的第二特征层；对各帧图像对应的处理后的第一特征层和各帧图像对应的处理后的第二特征层进行加法操作，以得到各帧图像对应的强化特征层。
5、于本申请的一实施例中，对每一视角图像特征序列中的各图像特征进行鸟瞰视角转换，得到每一视角图像特征序列对应的每一视角鸟瞰特征序列，包括：获取每一视角的图像采集装置的内外参数，每一视角图像序列由每一视角的图像采集装置采集得到；基于每一视角的图像采集装置的内外参数和预设图像深度确定每一视角对应的图像空间-鸟瞰视角空间的映射关系；利用每一视角对应的图像空间-鸟瞰视角空间的映射关系将每一视角图像特征序列中的各图像特征映射到鸟瞰视角空间，得到各图像特征对应的鸟瞰特征，以根据每一视角图像特征序列中的各图像特征对应的鸟瞰特征生成每一视角鸟瞰特征序列。
6、于本申请的一实施例中，按照时序将一视角鸟瞰特征序列中的各鸟瞰特征进行时空特征对齐处理，包括：将所述视角鸟瞰特征序列中的至少前两帧鸟瞰特征作为前序鸟瞰特征，将所述前序鸟瞰特征的后一帧鸟瞰特征作为当前鸟瞰特征，利用自我运动算法将所述前序鸟瞰特征转换到所述当前鸟瞰特征的坐标系，并通过插值计算将所述前序鸟瞰特征映射到所述当前鸟瞰特征；将所述当前鸟瞰特征作为新的前序鸟瞰特征，将所述新的前序鸟瞰特征的后一帧鸟瞰特征作为新的当前鸟瞰特征，利用自我运动算法将所述新的前序鸟瞰特征转换到所述新的当前鸟瞰特征的坐标系，并通过插值计算将所述新的前序鸟瞰特征映射到所述新的当前鸟瞰特征，以得到所述视角对齐后的多时序鸟瞰特征。
7、于本申请的一实施例中，对全部视角对齐后的多时序鸟瞰特征进行特征融合处理，得到融合鸟瞰特征，以根据所述目标感知任务对所述融合鸟瞰特征进行解码，包括：将全部视角对齐后的多时序鸟瞰特征在通道维度进行拼接，得到初始融合鸟瞰特征；通过编码模块对所述初始融合鸟瞰特征进行编码，得到所述融合鸟瞰特征；根据所述目标感知任务匹配对应的目标解码模块，以通过所述目标解码模块对所述融合鸟瞰特征进行解码。
8、于本申请的一实施例中，所述目标感知任务包括目标检测任务、语义分割任务和轨迹预测任务中至少之一。
9、于本申请的一实施例中，还提供一种鸟瞰特征融合装置，包括：获取模块，用于获取车辆图像数据和目标感知任务，所述车辆图像数据包括不同视角的视角图像序列；特征提取模块，用于对每一视角图像序列中的各帧图像进行特征提取，得到每一视角图像序列对应的每一视角图像特征序列；特征转换模块，用于对每一视角图像特征序列中的各图像特征进行鸟瞰视角转换，得到每一视角图像特征序列对应的每一视角鸟瞰特征序列；对齐处理模块，用于按照时序将每一视角鸟瞰特征序列中的各鸟瞰特征进行时空特征对齐处理，得到每一视角对齐后的多时序鸟瞰特征；融合处理模块，用于对全部视角对齐后的多时序鸟瞰特征进行特征融合处理，得到融合鸟瞰特征，以根据所述目标感知任务对所述融合鸟瞰特征进行解码。
10、于本申请的一实施例中，还提供一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的鸟瞰特征融合方法。
11、于本申请的一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上所述的鸟瞰特征融合方法。
12、本专利技术的有益效果：本专利技术提供一种鸟瞰特征融合方法、装置、电子设备及存储介质，该鸟瞰特征融合方法通过将不同视角的图像特征转换到鸟瞰视角，得到不同视角的鸟瞰特征，并按照时序对各视角的鸟瞰特征进行时空对齐处理，再将各视角对齐后的多时序鸟瞰特征进行鸟瞰特征融合，能够弥补单帧感知的局限性，增加感受野，提高感知算法的准确性和增强感知算法的稳定性，为后续任务的执行提供良好的依据，改善目标检测帧间跳变和目标遮挡问题，更加准确地判断目标运动速度，同时也对目标预测和跟踪有重要作用。
13、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
本文档来自技高网...【技术保护点】
1.一种鸟瞰特征融合方法，其特征在于，所述鸟瞰特征融合方法包括：
2.根据权利要求1所述的鸟瞰特征融合方法，其特征在于，对每一视角图像序列中的各帧图像进行特征提取，得到每一视角图像序列对应的每一视角图像特征序列，包括：
3.根据权利要求2所述的鸟瞰特征融合方法，其特征在于，通过特征金字塔网络对各帧图像对应的不同尺寸的特征层进行强化处理，得到各帧图像对应的强化特征层，包括：
4.根据权利要求1所述的鸟瞰特征融合方法，其特征在于，对每一视角图像特征序列中的各图像特征进行鸟瞰视角转换，得到每一视角图像特征序列对应的每一视角鸟瞰特征序列，包括：
5.根据权利要求1-4中任一项所述的鸟瞰特征融合方法，其特征在于，按照时序将一视角鸟瞰特征序列中的各鸟瞰特征进行时空特征对齐处理，包括：
6.根据权利要求1-4中任一项所述的鸟瞰特征融合方法，其特征在于，对全部视角对齐后的多时序鸟瞰特征进行特征融合处理，得到融合鸟瞰特征，以根据所述目标感知任务对所述融合鸟瞰特征进行解码，包括：
7.根据权利要求1-4中任一项所述的鸟瞰特征融合
8.一种鸟瞰特征融合装置，其特征在于，所述鸟瞰特征融合装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7中任一项所述的鸟瞰特征融合方法。
...【技术特征摘要】
1.一种鸟瞰特征融合方法，其特征在于，所述鸟瞰特征融合方法包括：
2.根据权利要求1所述的鸟瞰特征融合方法，其特征在于，对每一视角图像序列中的各帧图像进行特征提取，得到每一视角图像序列对应的每一视角图像特征序列，包括：
3.根据权利要求2所述的鸟瞰特征融合方法，其特征在于，通过特征金字塔网络对各帧图像对应的不同尺寸的特征层进行强化处理，得到各帧图像对应的强化特征层，包括：
4.根据权利要求1所述的鸟瞰特征融合方法，其特征在于，对每一视角图像特征序列中的各图像特征进行鸟瞰视角转换，得到每一视角图像特征序列对应的每一视角鸟瞰特征序列，包括：
5.根据权利要求1-4中任一项所述的鸟瞰特征融合方法，其特征在于，按照时序将一视角鸟瞰特征序列中的各鸟瞰特征...
【专利技术属性】
技术研发人员：章秀秀，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。