【技术实现步骤摘要】
本公开涉及图像处理中的深度补全，尤其涉及一种用于提高机器人环境感知能力的图像处理方法、装置、电子设备、非暂态计算机可读存储介质以及计算机程序产品。
技术介绍
1、随着与机器人相关的技术发展，机器人有望可以替代人类执行任务。其中，某一类型(例如，具备在超视距之外自主感知并绘制未知环境三维地图能力)机器人可完成一些较为危险的任务(比如，在可能塌方的地下矿洞或建筑物里侦测不稳定结构)。在上述背景下，机器人执行任务时所需的一项重要数据就是深度信息(即，深度信息是机器人在黑暗环境中自主定位、感知和建图的重要数据支撑)。
2、目前相关技术中，主要借助激光雷达(light detection and ranging,lidar)和相机采集所述深度信息，然而，机器人在地下黑暗环境中会面临相机感知退化的挑战。现有技术中，大多通过给机器人搭载多种不同类型的昂贵的lidar来应对这一挑战，但这又使得机器人系统受到成本、复杂度和可达性的限制。此外，仅lidar扫描的稀疏深度信息不仅难以捕捉到细小的几何缺陷，还使得机器人在复杂、未知环境中的导航面临碰撞的风险。
3、因此，需要提供一种新的方案以克服上述问题。
技术实现思路
1、本公开提供一种用于提高机器人环境感知能力的图像处理方法、装置、电子设备、非暂态计算机可读存储介质以及计算机程序产品，用以解决现有技术中的缺陷。
2、本公开提供一种用于提高机器人环境感知能力的图像处理方法，包括：
3、获取与所述机器人关联的
4、本公开还提供一种用于提高机器人环境感知能力的图像处理装置，包括：
5、数据获取模块，被配置为：获取与所述机器人关联的传感器采集的关于同一目标环境区域的初始深度图像以及初始点云数据，并对所述初始点云数据进行预处理，得到点云深度图像；其中，所述传感器包括激光雷达以及深度相机，所述深度相机能够采集所述目标环境区域的深度信息；数据处理模块，被配置为：将所述初始深度图像和所述点云深度图像输入预先训练的深度学习模型，得到所述预先训练的深度学习模型输出的关于所述同一目标环境区域的融合图像；其中，所述融合图像中包含所述初始深度图像以及初始点云数据中的深度信息；其中，所述预先训练的深度学习模型为利用样本深度图像和样本点云深度图像训练得到；所述预先训练的深度学习模型包括深度图像融合网络。
6、本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于提高机器人环境感知能力的图像处理方法。
7、本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于提高机器人环境感知能力的图像处理方法。
8、本公开还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述用于提高机器人环境感知能力的图像处理方法。
9、如上所述，利用本公开上述实施例提供的用于提高机器人环境感知能力的图像处理方法，利用lidar和rgb-d相机的异质深度信息进行环境感知，然后利用预先训练深度图像融合网络对异质深度信息进行融合处理，即可预测得到关于所述同一目标环境区域的准确、稠密的融合图像，从而可为机器人的下一步工作(例如，导航)提供有效数据支撑，进而可以在一定程度上降低机器人在复杂、未知环境中的导航面临碰撞的风险。
10、此外，本方案由于采用rgb-d相机与激光雷达结合的数据获取方式，相比现有技术中“给机器人搭载多种不同类型的昂贵的lidar”的方案，可以在一定程度上降低机器人系统的成本、复杂度，提升机器人在狭小环境下的可通达性。
本文档来自技高网...【技术保护点】
1.一种用于提高机器人环境感知能力的图像处理方法，包括：
2.根据权利要求1所述的图像处理方法，其特征在于，所述深度图像融合网络包含稀疏卷积单元、空洞卷积单元和深度测量置信度滤波单元。
3.根据权利要求1所述的图像处理方法，其特征在于，对所述点云数据进行预处理，包括：
4.根据权利要求1所述的图像处理方法，其特征在于，预先训练的深度学习模型的训练过程，包括：
5.根据权利要求4所述的图像处理方法，其特征在于，利用所述综合损失函数值，对所述待训练的深度图像融合网络进行训练，直至满足预设训练完成条件，包括：
6.根据权利要求4所述的图像处理方法，其特征在于，基于预设视图合成规则，将对应目标时刻的初始融合图像、以及对应下一时刻的初始融合图像进行视图合成，得到目标时刻的模拟共视图，包括：
7.根据权利要求4所述的图像处理方法，其特征在于，基于目标时刻的模拟共视图，计算深度一致性损失函数值、以及平滑损失函数值，包括：
8.根据权利要求4所述的图像处理方法，其特征在于，利用所述验证图像以及所述更新图像，计算验
9.根据权利要求4所述的图像处理方法，其特征在于，基于所述深度一致性损失函数值、平滑损失函数以及验证损失函数值，确定综合损失函数值，包括：
10.一种用于提高机器人环境感知能力的图像处理装置，包括：
...【技术特征摘要】
1.一种用于提高机器人环境感知能力的图像处理方法，包括：
2.根据权利要求1所述的图像处理方法，其特征在于，所述深度图像融合网络包含稀疏卷积单元、空洞卷积单元和深度测量置信度滤波单元。
3.根据权利要求1所述的图像处理方法，其特征在于，对所述点云数据进行预处理，包括：
4.根据权利要求1所述的图像处理方法，其特征在于，预先训练的深度学习模型的训练过程，包括：
5.根据权利要求4所述的图像处理方法，其特征在于，利用所述综合损失函数值，对所述待训练的深度图像融合网络进行训练，直至满足预设训练完成条件，包括：
6.根据权利要求4所述的图像处理方法，其特征在于，...
【专利技术属性】
技术研发人员：眭海刚，苟国华，李涵，王轩昊，张浩，江纬承，叶洋，徐丙立，曾湧，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。