图像拼接装置、方法、智能设备、机器人和存储介质制造方法及图纸

本申请涉及一种图像拼接方法、装置、智能设备、机器人和存储介质。方法包括：获取由不同相机采集的待处理图像；在每一张待处理图像中选取多个关键点，关键点与世界坐标系的多个目标点一一对应，根据关键点和目标点计算变换矩阵；利用变换矩阵，将每一张待处理图像转换成鸟瞰图；将每一张鸟瞰图投影到世界坐标系中的预设位置进行拼接，得到拼接图。最终得到的拼接图无拼接边缘，成像质量更好。成像质量更好。成像质量更好。

【技术实现步骤摘要】
图像拼接装置、方法、智能设备、机器人和存储介质


[0001]本申请涉及计算机视觉领域，特别是涉及一种图像拼接装置、方法、智能设备、机器人和存储介质。

技术介绍

[0002]随着科技的发展，机器人产业越来越成熟，机器人在各种领域发挥了很大的作用，其中机器人可以作为送餐机器人应用于服务行业。在高峰时期，送餐机器人的送餐效率至关重要，而如果送餐机器人不存在视野盲区，那么在运行过程中，就可以实时规避障碍物，从而大大提升在高峰期时间的送餐效率。因此，环视感知对于高峰期时段提升送餐机器人送餐效率意义重大。
[0003]在传统的技术方案中，实现环视图像拼接是先将图像做IPM逆透视变换，再将它们拼接起来，形成环视拼接图，但是这样的拼接效果不好，拼接好的图像不可避免的存在明显的拼接边缘。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种图像拼接装置、方法、智能设备、机器人和存储介质。
[0005]一种图像拼接装置，包括存储器、处理器及不同相机，所述图像拼接装置具有不同的图像采集区域，所述不同相机位于所述不同的图像采集区域中，所述存储器中存储有可在所述处理器上运行的计算机可读指令，所述处理器用于执行所述计算机可读指令时实现如下步骤：
[0006]获取由所述不同相机在同一时刻采集的待处理图像；
[0007]在每一待处理图像中选取多个关键点，所述多个关键点与世界坐标系的多个目标点一一对应，根据所述关键点和所述目标点计算得到变换矩阵；
[0008]通过所述变换矩阵，将每一待处理图像转换成初始鸟瞰图，并将每一所述图像采集区域内采集的初始鸟瞰图转换成待处理鸟瞰图；
[0009]将每一所述待处理鸟瞰图投影到世界坐标系中的预设位置进行拼接而得到拼接图。
[0010]在其中一个实施例中，其中一个图像采集区域具有拍摄远景的相机和近景的相机，所述待处理图像包括由近景相机拍摄的近景图像和远景相机拍摄的远景图像；
[0011]通过所述变换矩阵，将每一待处理图像转换成初始鸟瞰图，并将每一所述图像采集区域内采集的初始鸟瞰图转换成待处理鸟瞰图，包括：
[0012]通过所述变换矩阵，将所述远景图像和所述近景图像分别转换为初始远景鸟瞰图和初始近景鸟瞰图；
[0013]在所述初始远景鸟瞰图和所述初始近景鸟瞰图中，分别根据所述初始远景鸟瞰图和所述初始近景鸟瞰图的清晰度选择远景鸟瞰图像块和近景鸟瞰图像块；
[0014]将所述远景鸟瞰图像块和所述近景鸟瞰图像块拼接得到所述待处理鸟瞰图。
[0015]在其中一个实施例中，所述处理器用于执行所述计算机可读指令还实现如下步骤：在分别根据所述初始远景鸟瞰图和所述初始近景鸟瞰图的清晰度选择远景鸟瞰图像块和近景鸟瞰图像块之前，根据所述初始远景鸟瞰图的像素确定所述初始远景鸟瞰图的清晰度，根据所述初始近景鸟瞰图的像素确定所述初始近景鸟瞰图的清晰度。
[0016]在其中一个实施例中，所述处理器用于执行所述计算机可读指令还实现如下步骤：获取由不同相机采集的待处理图像之后，对每一张所述待处理图像进行去畸变操作。
[0017]在其中一个实施例中，所述在每一张所述待处理图像中选取多个关键点具体包括：
[0018]响应于关键点选取指令，在每一张所述待处理图像中选取所述关键点选取指令指定的多个关键点；
[0019]或者，自动检测每一张所述待处理图像中的多个关键点。
[0020]在其中一个实施例中，所述将每一张所述鸟瞰图投影到世界坐标系中的预设位置进行拼接，得到拼接图之后还包括：
[0021]当所述拼接图中存在重叠区域时，对所述拼接图的重叠区域内的像素值进行加权，得到加权像素值；
[0022]计算所述加权像素值的平均值。
[0023]一种智能设备，所述设备包括：
[0024]图像获取模块，用于获取由不同相机在同一时刻采集的待处理图像；
[0025]计算模块，用于在每一待处理图像中选取多个关键点，所述多个关键点与世界坐标系的多个目标点一一对应，根据所述关键点和所述目标点计算得到变换矩阵；
[0026]变换模块，用于通过所述变换矩阵，将每一待处理图像转换成初始鸟瞰图，并将每一所述图像采集区域内采集的初始鸟瞰图转换成待处理鸟瞰图；
[0027]投影模块，用于将每一所述待处理鸟瞰图投影到世界坐标系中的预设位置进行拼接而得到拼接图。
[0028]一种机器人，所述机器人包括如上述所述的图像拼接装置。
[0029]一种图像拼接方法，所述方法包括：
[0030]获取由不同相机在同一时刻采集的待处理图像；
[0031]在每一张所述待处理图像中选取多个关键点，所述多个关键点与世界坐标系的多个目标点一一对应，根据所述关键点和所述目标点计算得到变换矩阵；
[0032]通过所述变换矩阵，将每一待处理图像转换成初始鸟瞰图，并将每一所述图像采集区域内采集的初始鸟瞰图转换成待处理鸟瞰图；
[0033]将每一所述待处理鸟瞰图投影到世界坐标系中的预设位置进行拼接而得到拼接图。
[0034]一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现图像拼接方法，所述图像拼接方法为上述所述的图像拼接方法。
[0035]上述图像拼接装置、方法、智能设备、机器人和存储介质，获取由不同相机在同一时刻采集的待处理图像；在每一待处理图像中选取多个关键点，多个关键点与世界坐标系的多个目标点一一对应，根据关键点和目标点计算得到变换矩阵；通过变换矩阵，将每一张
Bus，通用串行总线)或者网络等通讯连接方式进行连接，本申请在此不做限制。
[0050]在一个实施例中，如图2所示，提供了一种图像拼接装置，包括存储器、处理器以及不同相机，图像拼接装置具有不同的图像采集区域，不同相机位于不同的图像采集区域中，存储器中存储有可在所述处理器上运行的计算机可读指令，处理器执行计算机可读指令时，包括以下步骤：
[0051]S202，获取由不同相机在同一时刻采集的待处理图像。
[0052]其中，不同相机安装于图像拼接装置上，并位于图像拼接装置的不同图像采集区域中，用于采集图像拼接装置周围的图像。每个图像采集区域的相机可以为远景或近景相机，或者每个图像采集区域同时具有近景相机和远景相机。需要说明的是，每个图像采集区域的相机数量可以不同，可以根据需要设置一个、两个或多个相机。
[0053]在一个实施例中，相机可以为鱼眼相机。例如，在图像拼接装置的一个图像采集区域上安装一个小焦距、大视野的鱼眼相机，用于拍摄近景图像；并且，在图像拼接装置的同一个图像采集区域上安装一个大焦距、小视野的鱼眼相机，用于拍摄远景图像。
[0054]在一个实施例中，S202具体可以包括：待处理图像可以包括近景图像和远景图像；图像拼接装置获取不同相机分别拍摄远景和近景所得的远景图像和近景图像。
[0055]例如，当图像采集区域具有近景相机和远景相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像拼接装置，包括存储器、处理器及不同相机，所述图像拼接装置具有不同的图像采集区域，所述不同相机位于所述不同的图像采集区域中，所述存储器中存储有可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器用于执行所述计算机可读指令时实现如下步骤：获取由所述不同相机在同一时刻采集的待处理图像；在每一待处理图像中选取多个关键点，所述多个关键点与世界坐标系的多个目标点一一对应，根据所述关键点和所述目标点计算得到变换矩阵；通过所述变换矩阵，将每一待处理图像转换成初始鸟瞰图，并将每一所述图像采集区域内采集的初始鸟瞰图转换成待处理鸟瞰图；将每一所述待处理鸟瞰图投影到世界坐标系中的预设位置进行拼接而得到拼接图。2.根据权利要求1所述的图像拼接装置，其特征在于，其中一个图像采集区域具有拍摄远景的相机和近景的相机，所述待处理图像包括由近景相机拍摄的近景图像和远景相机拍摄的远景图像；通过所述变换矩阵，将每一待处理图像转换成初始鸟瞰图，并将每一所述图像采集区域内采集的初始鸟瞰图转换成待处理鸟瞰图，包括：通过所述变换矩阵，将所述远景图像和所述近景图像分别转换为初始远景鸟瞰图和初始近景鸟瞰图；在所述初始远景鸟瞰图和所述初始近景鸟瞰图中，分别根据所述初始远景鸟瞰图和所述初始近景鸟瞰图的清晰度选择远景鸟瞰图像块和近景鸟瞰图像块；将所述远景鸟瞰图像块和所述近景鸟瞰图像块拼接得到所述待处理鸟瞰图。3.根据权利要求2所述的图像拼接装置，其特征在于，所述处理器用于执行所述计算机可读指令还实现如下步骤：在分别根据所述初始远景鸟瞰图和所述初始近景鸟瞰图的清晰度选择远景鸟瞰图像块和近景鸟瞰图像块之前，根据所述初始远景鸟瞰图的像素确定所述初始远景鸟瞰图的清晰度，根据所述初始近景鸟瞰图的像素确定所述初始近景鸟瞰图的清晰度。4.根据权利要求1所述的图像拼接装置，其特征在于，所述处理器用于执行所述计算机可读指令还实现如下步骤：获取由不同相机采集的待处理图像之后，对每一...

【专利技术属性】
技术研发人员：张鹏，刘勇，刘运航，何科君，陈美文，武金龙，
申请(专利权)人：深圳市普渡科技有限公司，
类型：发明
国别省市：