图像修复方法、电子设备及计算机程序产品技术

本申请提供了一种图像修复方法、电子设备及计算机程序产品，属于图像处理技术领域。所述方法包括：获取待修复的行驶图像；调用图像修复模型，对行驶图像中的道路要素进行修复，得到修复图像，图像修复模型用于对行驶图像中S个道路要素进行修复，图像修复模型基于标注有S个道路要素标签的样本行驶图像训练得到。本申请所调用的图像修复模型能够对行驶图像中的多个道路要素进行修复，修复后的图像更清晰。晰。晰。

【技术实现步骤摘要】
图像修复方法、电子设备及计算机程序产品


[0001]本申请涉及图像处理
，特别涉及一种图像修复方法、电子设备及计算机程序产品。

技术介绍

[0002]高精地图具有精度高、道路要素丰富、更新频次高等特点，已成为自动驾驶中必不可少的工具。借助高精地图，智能汽车能够精准地到达目的地。高精地图的图像主要来源于众包数据库，该众包数据库基于车辆在行驶过程中采集到的道路数据、车道数据及道路周边设施数据等构建。
[0003]然而，受到路边树木、行人的遮挡或者因车辆的高速行驶，导致车辆在行驶过程中采集到的行驶图像较为模糊，基于该行驶图像进行语义分割难度较大，常常出现分割失败或者分割不完整的情况，导致基于分割结果构建的高精地图显示效果较差。

技术实现思路

[0004]本申请实施例提供了一种图像修复方法、电子设备及计算机程序产品，能够对行驶图像中的多个道路要素进行修复，修复后的图像更清晰。所述技术方案如下：第一方面，提供了一种图像修复方法，所述方法包括：获取待修复的行驶图像；调用图像修复模型，对所述行驶图像中的道路要素进行修复，得到修复图像；其中，所述图像修复模型用于对图像中S个道路要素进行修复，所述图像修复模型是基于标注有S个道路要素标签的样本行驶图像训练得到的，S大于等于2。
[0005]第二方面，提供了一种电子设备，所述电子设备包括存储器及处理器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现第一方面所述的图像修复方法。
[0006]第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序被处理器执行时能够实现第一方面所述的图像修复方法。
[0007]第四方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时能够实现如第一方面所述的图像修复方法。
[0008]本申请实施例提供的技术方案带来的有益效果是：所调用的图像修复模型能够对行驶图像中的多个道路要素进行修复，当调用该图像修复模型对行驶图像进行修复，能够精准复现车辆行驶过程中所行驶道路的道路要素，修复后的图像更加清晰。
[0009]另外，在基于该修复图像进行图像处理（如语义分割）时，由于对图像中的道路要素进行了修复，使得降低了语义分割难度，避免分割失败或分割不完整的情况发生，提高了分割精度及完整性，进一步提升了基于分割结果所构建的高精地图的显示效果。
附图说明
[0010]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1是本申请实施例提供的一种图像修复模型的训练方法及图像修复方法所涉及的实施环境；图2是本申请实施例提供的一种生成器的网络结构图；图3是本申请实施例提供的一种判别器的网络结构图；图4是本申请实施例提供的一种图像修复模型的训练方法的流程图；图5是本申请实施例提供的另一种图像修复模型的训练方法的流程图；图6是本申请实施例提供的一种基于C
‑
GAN的模型训练过程的示意图；图7是本申请实施例提供的一种图像修复方法的流程图；图8是本申请实施例提供的一种图像修复过程的示意图；图9是本申请实施例提供的一种图像修复装置的结构示意图；图10示出了本申请一个示例性实施例提供的一种电子设备的结构框图。
具体实施方式
[0012]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0013]可以理解，本申请实施例所使用的术语“每个”、“多个”及“任一”等，多个包括两个或两个以上，每个是指对应的多个中的每一个，任一是指对应的多个中的任意一个。举例来说，多个词语包括10个词语，而每个词语是指这10个词语中的每一个词语，任一词语是指10个词语中的任意一个词语。
[0014]本申请所涉及的信息（包括但不限于用户设备信息、用户个人信息等）、数据（包括但不限于用于分析的数据、存储的数据、展示的数据等）以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0015]随着智能交通和自动驾驶的飞速发展，传统导航电子地图无论是在内容方面，还是在精度及完整性等方面，均无法满足自动驾驶的应用需求。为实现自动驾驶，高精度地图被广泛使用。高精地图的精度较高，能够实现地图匹配、辅助环境感知及路径规划等功能。高精地图的高精体现在以下几方面：高精度：相对精度和绝对精度在一米之内，甚至相对精度在20厘米，而传统导航电子地图的精度只有十米左右；高丰富：高精地图不仅能够展示用户所在的位置，而且能够展示道路类型、曲率、车道线位置等道路信息，以及路边基础设施、障碍物、交通标识等环境对象信息；高更新频率：高精地图更新的内容包括实时交通限流、红绿灯状态信息等动态信息，也包括静态信息的更新，例如，道路的变更、维修、限速调整等。
[0016]高精地图中的图像主要来源于众包数据库，而众包数据库中的图像主要由众包车
辆在行驶过程中采集。受到路边树木、行人的遮挡或者因车辆的高速行驶影响，众包车辆采集的图像中车牌号、路标、路面文字、箭头、边界线等可能较为模糊，为了满足高精地图的精度需求，需要对采集的图像进行修复。
[0017]目前，相关技术主要基于GAN网络，采用无监督学习方法，对图像修复模型进行训练。无监督学习方法，因缺乏标注结果的参照，导致训练的图像修复模型的精度较低。
[0018]为提高修复图像的完整性和精度，本申请实施例提供了一种图像修复模型的训练方法，该方法采用有监督或半监督的学习方法进行模型训练，使得训练的图像修复模型能够对行驶图像中多个道路要素进行修复，修复图像更为完整，且精度较高。
[0019]本申请实施例中的行驶图像可以为在摩托车、车辆、飞机、轮船等载具行驶过程中通过载具上的图像传感器采集到的图像。
[0020]本申请实施例中道路要素包括：道路类型（road_type）、路标（road_sign）、车牌号（car_plate）、红绿灯(traffic_light)、行人（human）、路面文字、箭头、边界线中的部分或全部。
[0021]图1示出了本申请实施例提供的一种图像修复模型的训练方法所涉及的实施环境，参见图1，该实施环境包括：电子设备101。
[0022]其中，电子设备101可以为服务器，例如，可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像修复方法，其特征在于，所述方法包括：获取待修复的行驶图像；调用图像修复模型，对所述行驶图像中的道路要素进行修复，得到修复图像；其中，所述图像修复模型用于对图像中S个道路要素进行修复，所述图像修复模型是基于标注有S个道路要素标签的样本行驶图像训练得到的，S大于等于2。2.根据权利要求1所述的方法，其特征在于，所述图像修复模型包括已训练的生成器和已训练的判别器，所述调用图像修复模型，对所述行驶图像中的道路要素进行修复，包括：调用D次所述已训练的生成器，对所述行驶图像进行处理，得到D个候选图像，其中，D大于等于2；将D个所述候选图像进行融合，得到融合图像；调用所述已训练的判别器，对所述融合图像进行识别，得到所述融合图像为真图像的概率值；当所述融合图像为真图像的概率值在预设概率值区间，将所述融合图像作为所述修复图像。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：判断所述修复图像是否符合修复条件；当所述修复图像符合所述修复条件，输出所述修复图像。4.根据权利要求3所述的方法，其特征在于，所述判断所述修复图像是否符合修复条件，包括：从所述行驶图像上，获取第一目标图像区域，所述第一目标图像区域为所述行驶图像中任一完整的图像区域；从所述修复图像上，获取第二目标图像区域，所述第二目标图像区域为所述修复图像上与所述第一目标图像区域位置相同的图像区域；基于所述第一目标图像区域和所述第二目标图像区域，判断所述修复图像是否符合所述修复条件。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一目标图像区域和所述第二目标图像区域，判断所述修复图像是否符合所述修复条件，包括：计算所述第一目标图像区域和所述第二目标图像区域上每一位置上像素点之间的欧氏距离；基于所述第一目标图像区域和所述第二目标图像区域上各个位置上像素点之间的欧式距离，计算均方根误差；当所述均方根误差小于预设阈值，确定所述修复图像符合预设条件。6.根据权利要求3所述的方法，其特征在于，所述方法还包括：当所述修复图像不符合所述修复条件，调整所述已训练的生成器的模型参数，直至满足训练截止条件；将满足所述训练截止条件时得到的修复图像作为最终的修复结果。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述图像修复模型的训练过程包括：获取待训练的图像修复模型，所述待训练的图像修复模型包括生成器和判别器；
获取M个第一样本行驶图像，所述第一样本行驶图像标注有S个道路要素标签，其中，M大于等于2；调用所述生成器，对M个所述第一样本行驶图像进行处理，得到M个第一合成行驶图像，M个所述第一样本行驶图像和对应的第一合成行驶图像组成M个第一图像对；调用所述判别器，对每个所述第一图像对中的第一样本行驶图像及第一合成行驶图像进行识别，得到第一识别结果和第二识别结果，所述第一识别结果包括第一样本行驶图像包含S个道路要素的概率值及所述第一样本行驶图像为真图像的概率值，所述第二识别结果包括第一合成行驶图像包含S个道路要素的概率值及所述第一合成行驶图像为真图像的概率值；基于M个所述第一图像对对应的第一识别结果和第二识别结果，对所述生成器和所述判别器的模型参数进行调整，得到所述图像修复模型。8.根据权利要求7所述的方法，其特征在于，所述基于M个所述第一图像对对应的第一识别结果和第二识别结果，对所...

【专利技术属性】
技术研发人员：李霞，
申请(专利权)人：北京集度科技有限公司，
类型：发明
国别省市：