【技术实现步骤摘要】
本专利技术涉及汽车全景影像拼接，尤其涉及一种端到端的全景影像拼接方法、电子设备及存储介质。
技术介绍
1、自动驾驶领域中，全景影像技术是利用汽车上的多个摄像头传感器采集车辆四周的图像信息，然后通过图像拼接技术将这些图像信息组合起来，形成一幅360度的全景图像。该技术主要的难点在于：(1)由于鱼眼相机的原因，造成拼接图像存在畸变和拉伸问题；(2)由于深度信息缺失，造成拼接区域会出现错位、重影等问题。
2、中国专利《一种基于深度估计的环视拼接方法》(公开号：cn115861063a)提出了一种基于深度估计的环视拼接方法，主要通过对各个摄像头的鸟瞰图进行深度估计，再对重叠区域匹配，该方法能够一定程度解决相邻相机重叠区域会出现失真，拼接效果较差的问题。但是实际场景中，鱼眼相机的内参并不完全准确，鸟瞰图本身的图片本身无法完全消除畸变，对鸟瞰图进行特征提取会有细微偏差，网络鲁棒性会受到一定影响；同时，需要对两两图片进行神经网络推理，在自动驾驶域控制器上需要消耗更多的算力，而且最后还需要蛮力匹配获得准确的匹配点，实时性会降低。
3、中国专利《基于车辆视觉传感器的环视拼接方法及相关设备》(公开号：cn115731104a)提出了一种基于车辆视觉传感器的环视拼接方法及相关设备，主要通过深度学习的特征模型输出多个俯视特征图，将多个所述俯视图像拼接为环视图像，其优点在于深度学习提取特征能力强，适用于更多的场景；该方法需要经过一个cnn卷积神经网络和一个transformer自注意力模型模型，网络复杂且参数过多，相应的需要更多的
4、综上所述，现有的全景影像拼接技术，在解决重叠区域的错位和重影问题都引入了深度学习，但是这些技术不仅仅本身算法复杂，额外需要一些转换过程，造成整个流程繁琐冗余，还涉及更多算力资源，实时性较低。
技术实现思路
1、鉴于以上现有技术的缺陷，本专利技术提供一种端到端的全景影像拼接方法、电子设备及存储介质，以解决网络结构复杂、算力消耗过多、实时性低的技术问题。
2、为实现上述目的及其它相关目的，本专利技术提供了一种端到端的全景影像拼接方法，包括如下步骤：获取车辆多路摄像头拍摄的图片；对多张所述图片进行处理，以得到相机数据；输入所述相机数据、预设的参数数据和权重数据至训练好的全景影像拼接模型中，生成全景影像图，所述参数数据为所述图片和所述全景影像图的坐标映射关系，所述权重数据为所述图片在所述全景影像图的权重。
3、于本专利技术一实施例中，所述预设的参数数据通过如下步骤获得：根据多路所述摄像头的内参和外参，获取世界坐标到摄像头坐标的逆映射关系；根据所述逆映射关系，计算世界坐标与多路摄像头拍摄的图片的像素位置之间的对应关系；根据所述对应关系，得到所述参数数据。
4、于本专利技术一实施例中，所述根据所述逆映射关系，计算世界坐标与多路摄像头拍摄的图片的像素位置之间的对应关系的步骤包括：针对每个所述摄像头拍摄范围内的世界坐标，根据所述逆映射关系，计算与所述摄像头拍摄的图片的像素位置之间的第一对应关系；针对超出所述摄像头拍摄范围的世界坐标，其对应的像素位置均标记为(0,0)，得到与所述摄像头拍摄的图片的像素位置之间的第二对应关系；将所述第一对应关系和所述第二对应关系进行组合，得到映射表矩阵，以表示世界坐标与与多路摄像头拍摄的图片的像素位置之间的对应关系；其中所述映射表矩阵是与所述摄像头相对应的。
5、于本专利技术一实施例中，所述根据所述对应关系，得到所述参数数据的步骤包括：组合多个所述映射表矩阵并进行归一化，得到所述参数数据。
6、于本专利技术一实施例中，所述预设的权重数据通过如下步骤获得：根据多路所述摄像头的位置关系，将待生成的所述全景影像图划分为多个区域；根据所述区域和所述摄像头的拍摄范围之间的关系，得到所述权重数据。
7、于本专利技术一实施例中，所述根据多路所述摄像头的位置关系，将待生成的所述全景影像图划分为多个区域的步骤包括：根据多路所述摄像头的位置关系和所述车辆，确定待生成的所述全景影像图的图像尺寸；依据所述图像尺寸，根据多路所述摄像头的位置关系和所述车辆，将待生成的所述全景影像图划分为多个区域。
8、于本专利技术一实施例中，所述依据所述图像尺寸，根据多路所述摄像头的位置关系和所述车辆，将待生成的所述全景影像图划分为多个区域的步骤包括：依据所述图像尺寸，将待生成的所述全景影像图中与所述车辆相对应的区域，设置为车辆区域；根据多路所述摄像头的拍摄范围，将待生成的所述全景影像图中，只有一个摄像头的拍摄范围覆盖的区域，设置为非重叠区域；根据多路所述摄像头的拍摄范围，将待生成的所述全景影像图中，至少有两个摄像头的拍摄范围覆盖的区域，设置为重叠区域。
9、于本专利技术一实施例中，所述根据所述区域和所述摄像头的拍摄范围之间的关系，得到所述权重数据的步骤包括：当所述区域为车辆区域时，位于所述车辆区域的所有像素点的权重数据均为0；当所述区域为非重叠区域时，位于所述非重叠区域的所有像素点的权重数据与该区域对应的摄像头相关，且数值相等；当所述区域为重叠区域时，位于所述重叠区域的所有像素点的权重数据与像素点的具体位置、以及该区域对应的多个摄像头的贡献度相关。
10、为实现上述目的及其它相关目的，本专利技术还提供了一种电子设备，包括处理器、存储器和通信总线；所述通信总线用于将所述处理器和存储器连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述中任一项实施例提供的方法。
11、为实现上述目的及其它相关目的，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使计算机执行如上述任一项实施例提供的方法。
12、本专利技术的有益效果：本专利技术提出的一种端到端的全景影像拼接方法、电子设备及存储介质，该方法通过采用端到端的方式，不需要中间的转换变化，同时不需要蛮力匹配，直接输入相机数据、参数数据和权重数据到拼接模型，就可以得到一张全景拼接视图；该方法中模型的参数少，推理时间少，不需要非常多的gpu算力，实时性较高，非常适合嵌入式平台。
本文档来自技高网...【技术保护点】
1.一种端到端的全景影像拼接方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的端到端的全景影像拼接方法，其特征在于，所述预设的参数数据通过如下步骤获得：
3.根据权利要求2所述的端到端的全景影像拼接方法，其特征在于，所述根据所述逆映射关系，计算世界坐标与多路摄像头拍摄的图片的像素位置之间的对应关系的步骤包括：
4.根据权利要求3所述的端到端的全景影像拼接方法，其特征在于，所述根据所述对应关系，得到所述参数数据的步骤包括：
5.根据权利要求1所述的端到端的全景影像拼接方法，其特征在于，所述预设的权重数据通过如下步骤获得：
6.根据权利要求5所述的端到端的全景影像拼接方法，其特征在于，所述根据多路所述摄像头的位置关系，将待生成的所述全景影像图划分为多个区域的步骤包括：
7.根据权利要求6所述的端到端的全景影像拼接方法，其特征在于，所述依据所述图像尺寸，根据多路所述摄像头的位置关系和所述车辆，将待生成的所述全景影像图划分为多个区域的步骤包括：依据所述图像尺寸，
8.根据权利要求7所述的端到端的全
9.一种电子设备，其特征在于，包括处理器、存储器和通信总线；所述通信总线用于将所述处理器和存储器连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1～8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1～8任一项所述的方法。
...【技术特征摘要】
1.一种端到端的全景影像拼接方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的端到端的全景影像拼接方法，其特征在于，所述预设的参数数据通过如下步骤获得：
3.根据权利要求2所述的端到端的全景影像拼接方法，其特征在于，所述根据所述逆映射关系，计算世界坐标与多路摄像头拍摄的图片的像素位置之间的对应关系的步骤包括：
4.根据权利要求3所述的端到端的全景影像拼接方法，其特征在于，所述根据所述对应关系，得到所述参数数据的步骤包括：
5.根据权利要求1所述的端到端的全景影像拼接方法，其特征在于，所述预设的权重数据通过如下步骤获得：
6.根据权利要求5所述的端到端的全景影像拼接方法，其特征在于，所述根据多路所述摄像头的位置关系，将待生成的所述全景影像图划分为多个...
【专利技术属性】
技术研发人员：胡伟龙，刘杨，畅同飞，
申请(专利权)人：浙江吉利控股集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。