一种图像稳像方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种图像稳像方法、装置、电子设备及存储介质，涉及人工智能领域，尤其涉及计算机视觉、智能交通、车路协同等技术领域。具体实现方案为：对感知设备的当前图像前景检测，得到当前图像中各障碍物的信息；针对每一障碍物，在当前图像的各预设稳像框中确定对应的目标稳像框；基于障碍物的信息确定该障碍物是否遮挡其对应的目标稳像框；未遮挡时计算其对应的目标稳像框与基准图像中相应稳像框的偏移量，得到该障碍物对应的目标稳像框的稳像偏移量；在至少一个障碍物对应的目标稳像框的稳像偏移量不超过预设阈值时，基于至少一个障碍物对应的目标稳像框的稳像偏移量以及各障碍物的信息，确定各障碍物的新位置，实现了感知设备的稳像。知设备的稳像。知设备的稳像。

【技术实现步骤摘要】
一种图像稳像方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能领域，尤其涉及计算机视觉、智能交通、车路协同等
，具体涉及一种图像稳像方法、装置、电子设备及存储介质。

技术介绍

[0002]路侧感知是车路协同的核心，通过在路边架设相机等感知设备来捕获数据进行分析，感知设备在线运行时如果发生轻微或较大的位移，则会导致感知设备所捕获的对象与该对象的初始标定位置发生相对变化，因此需要对感知设备所捕获的对象进行稳像，以纠正感知设备所捕获对象发生的位置偏移。

技术实现思路

[0003]本公开提供了一种图像稳像方法、装置、电子设备及存储介质。
[0004]根据本公开的一方面，提供了一种图像稳像方法，包括：
[0005]对感知设备所获取的当前图像进行前景检测，得到所述当前图像中包含的各障碍物的信息；
[0006]针对每一障碍物，在所述当前图像的各预设稳像框中，确定该障碍物对应的目标稳像框；
[0007]基于该障碍物的信息，确定该障碍物是否遮挡该障碍物对应的目标稳像框；
[0008]在该障碍物未遮挡该障碍物对应的目标稳像框的情况下，计算该障碍物对应的目标稳像框与基准图像中相应稳像框之间的偏移量，得到该障碍物对应的目标稳像框的稳像偏移量；
[0009]在存在至少一个障碍物对应的目标稳像框的稳像偏移量，不超过预设偏移量阈值的情况下，基于所述至少一个障碍物对应的目标稳像框的稳像偏移量以及各所述障碍物的信息，确定各所述障碍物的新位置。
[0010]根据本公开的另一方面，提供了一种图像稳像装置，包括：
[0011]前景检测模块，用于对感知设备所获取的当前图像进行前景检测，得到所述当前图像中包含的各障碍物的信息；
[0012]稳像框确定模块，用于针对每一障碍物，在所述当前图像的各预设稳像框中，确定该障碍物对应的目标稳像框；
[0013]前景遮挡确定模块，用于基于该障碍物的信息，确定该障碍物是否遮挡该障碍物对应的目标稳像框；
[0014]稳像偏移量计算模块，用于在该障碍物未遮挡该障碍物对应的目标稳像框的情况下，计算该障碍物对应的目标稳像框与基准图像中相应稳像框之间的偏移量，得到该障碍物对应的目标稳像框的稳像偏移量；
[0015]位置确定模块，用于在存在至少一个障碍物对应的目标稳像框的稳像偏移量，不超过预设偏移量阈值的情况下，基于所述至少一个障碍物对应的目标稳像框的稳像偏移量
以及各所述障碍物的信息，确定各所述障碍物的新位置。
[0016]根据本公开的另一方面，提供了一种电子设备，包括：
[0017]至少一个处理器；以及
[0018]与所述至少一个处理器通信连接的存储器；其中，
[0019]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一项所述的图像稳像方法。
[0020]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开中任一项所述的图像稳像方法。
[0021]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中任一项所述的图像稳像方法。
[0022]本公开实施例中，实现了感知设备的稳像。
[0023]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0024]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0025]图1是根据本公开的图像稳像方法的一种示意图；
[0026]图2是根据本公开的稳像偏移量确定方式的示意图；
[0027]图3是根据本公开的图像稳像方法的一种整体框架示意图；
[0028]图4根据本公开的图像稳像方法的另一种示意图；
[0029]图5是根据本公开的图像稳像方法的另一种整体框架示意图；
[0030]图6是根据本公开的图像稳像装置的一种示意图；
[0031]图7是用来实现本公开实施例的图像稳像方法的电子设备的框图。
具体实施方式
[0032]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0033]一种路侧感知对象识别场景中，在路侧感知设备完成安装后，识别对象相较于路侧感知设备的摄像头而言位置相对不变，因此，可以预先采集一帧该感知设备的摄像头拍摄的包含识别对象的图像，采用手工标注的方式标注识别对象的位置，完成感知设备的参数标定。其中，识别对象比如可以是信号灯、路侧建筑物等，感知设备比如可以是路侧相机等。
[0034]然而，在实际场景中，路侧感知设备在完成安装和参数标定后，可能会因为一些因素导致感知设备的位姿发生改变，这些因素比如感知设备安装应力释放、重力低头、大车经过或者大风天气导致的感知设备振动等。而在感知设备的位姿发生改变后，之前标注的参数就不能够准确的描述感知设备的位姿，使得感知设备的感知精度下降。
[0035]相关技术中，采用人工现场重新标定，重新对感知设备进行安装的方式，解决感知
设备的位姿发生改变所带来的问题。
[0036]为实现感知设备的稳像，本公开实施例提供的图像稳像方法，对感知设备所获取的当前图像进行前景检测，以得到当前图像中包含的各障碍物的信息，针对每一障碍物，在当前图像的各预设稳像框中，确定该障碍物对应的目标稳像框，基于该障碍物的信息，确定该障碍物是否遮挡该障碍物对应的目标稳像框，在该障碍物未遮挡该障碍物对应的目标稳像框的情况下，计算该障碍物对应的目标稳像框与基准图像中相应稳像框之间的偏移量，得到该障碍物对应的目标稳像框的稳像偏移量，在存在至少一个障碍物对应的目标稳像框的稳像偏移量，不超过预设偏移量阈值的情况下，基于至少一个障碍物对应的目标稳像框的稳像偏移量以及各障碍物的信息，确定各障碍物的新位置。
[0037]本公开实施例中，能够对感知设备所获取的当前图像进行前景检测，得到当前图像中包含的各障碍物的信息，进一步遍历每一障碍物，在当前图像的各预设稳像框中，确定每一障碍物对应的目标稳像框，并判断各障碍物是否遮挡其对应的目标稳像框，在未遮挡的情况下，进一步计算障碍物对应的目标稳像框与基准图像中相应稳像框之间的偏移量，得到各障碍物对应的目标稳像框的稳像偏移量，在存在至少一个障碍物对应的目标稳像框的稳像偏移量不超过预设偏移量阈值的情况下，基于至少一个障碍物对应的目标稳像框的稳像偏移量以及各障碍物的信息，确定各障碍物的新位置，实现了感知设备发生较小位移场景本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像稳像方法，包括：对感知设备所获取的当前图像进行前景检测，得到所述当前图像中包含的各障碍物的信息；针对每一障碍物，在所述当前图像的各预设稳像框中，确定该障碍物对应的目标稳像框；基于该障碍物的信息，确定该障碍物是否遮挡该障碍物对应的目标稳像框；在该障碍物未遮挡该障碍物对应的目标稳像框的情况下，计算该障碍物对应的目标稳像框与基准图像中相应稳像框之间的偏移量，得到该障碍物对应的目标稳像框的稳像偏移量；在存在至少一个障碍物对应的目标稳像框的稳像偏移量，不超过预设偏移量阈值的情况下，基于所述至少一个障碍物对应的目标稳像框的稳像偏移量以及各所述障碍物的信息，确定各所述障碍物的新位置。2.根据权利要求1所述的方法，还包括：在所述当前图像各所述障碍物对应的目标稳像框的稳像偏移量，均超过所述预设偏移量阈值的情况下，将所述当前图像加入到图像列表中；在所述图像列表中图像的数量满足预设外参标定条件的情况下，重新确定感知设备的外参标定值。3.根据权利要求1所述的方法，所述计算该障碍物对应的目标稳像框与基准图像中相应稳像框之间的偏移量，得到该障碍物对应的目标稳像框的稳像偏移量，包括：计算该障碍物对应的目标稳像框与所述基准图像中相应稳像框之间的偏移量，得到目标偏移量；计算所述当前图像与所述基准图像之间的相似度；在所述相似度满足预设条件的情况下，将所述目标偏移量确定为该障碍物对应的目标稳像框的稳像偏移量，以及将所述目标偏移量加入到历史偏移量列表中；在所述相似度不满足预设条件的情况下，从所述历史偏移量列表中获取各历史偏移量，并将各所述历史偏移量的均值确定为该障碍物对应的目标稳像框的稳像偏移量。4.根据权利要求1所述的方法，还包括：在该障碍物遮挡该障碍物对应的目标稳像框的情况下，从历史偏移量列表中获取各历史偏移量，并将各所述历史偏移量的均值确定为该障碍物对应的目标稳像框的稳像偏移量。5.根据权利要求1所述的方法，所述障碍物的信息为所述障碍物的位置信息，所述基于所述至少一个障碍物对应的目标稳像框的稳像偏移量以及各所述障碍物的信息，确定各所述障碍物的新位置，包括：计算所述基准图像的稳像框到所述当前图像相应稳像框的单应矩阵或者插值矩阵；基于各所述障碍物的位置信息，以及所述单应矩阵或者所述插值矩阵，确定各所述障碍物的新位置。6.根据权利要求1所述的方法，还包括：在所述当前图像各所述障碍物对应的目标稳像框的稳像偏移量，均超过所述预设偏移量阈值的情况下，进行感知设备位移报警。
7.根据权利要求2所述的方法，所述重新确定感知设备的外参标定值，包括：获取所述图像列表中预设数量张关键帧图像；针对每一关键帧图像，计算该关键帧图像的稳像框与所述基准图像相应稳像框的偏移量，得到该关键帧图像的稳像框的偏移量；基于各关键帧图像的稳像框的偏移量，确定是否需要重新确定所述感知设备的外参标定值；在确定需要重新确定所述感知设备的外参标定值时，从所述关键帧图像中选择目标关键帧图像；基于所述目标关键帧图像，以及预先确定的参考映射表，重新确定感知设备的外参标定值。8.根据权利要求7所述的方法，所述计算该关键帧图像的稳像框与所述基准图像相应稳像框的偏移量，得到该关键帧图像的稳像框的偏移量，包括：利用金字塔特征跟踪算法，计算该关键帧图像的稳像框与所述基准图像相应稳像框的偏移量，得到该关键帧图像的稳像框的第一偏移量；利用特征点匹配方法，计算该关键帧图像的稳像框与所述基准图像相应稳像框的偏移量，得到该关键帧图像的稳像框的第二偏移量；利用车道线匹配方法，计算该关键帧图像的稳像框与所述基准图像相应稳像框的偏移量，得到该关键帧图像的稳像框的第三偏移量；所述基于各关键帧图像的稳像框的偏移量，确定是否需要重新确定所述感知设备的外参标定值，包括：基于利用金字塔特征跟踪算法计算得到的各关键帧图像的稳像框的第一偏移量、利用特征点匹配方法计算得到的各关键帧图像的稳像框的第二偏移量，以及利用车道线匹配方法计算得到的各关键帧图像的稳像框的第三偏移量，确定是否需要重新确定所述感知设备的外参标定值。9.根据权利要求7所述的方法，通过以下步骤获取所述参考映射表：对目标对象进行多感知设备拍摄，获取不同感知设备视角、位置以及朝向下的多张目标对象的图像，其中，每个所述感知设备视角、位置以及朝向对应于所述多感知设备中的一个感知设备；基于不同感知设备视角、位置以及朝向下的多张目标对象的图像，以及该图像的像素点坐标，生成所述参考映射表。10.根据权利要求1所述的方法，还包括：间隔预设时长，计算所述感知设备输出的目标图像的稳像框与所述基准图像相应稳像框的偏移量，得到目标图像的稳像框的偏移量；在所述目标图像的稳像框的偏移量超过所述预设偏移量阈值的情况下，重新确定所述感知设备的外参标定值。11.根据权利要求7
‑
10任一所述的方法，还包括：对重新确定的感知设备的外参标定值进行参数完整性校验，生成所述感知设备的参数；将所生成的所述感知设备的参数，更新至所述感知设备中。
12.一种图像稳像装置，包括：前景检测模块，用于对感知设备所获取的当前图像进行前景检测，得到所述当前图像中包含的各障碍物的信息；稳像框确定模块，用于针对每一障碍物，在所述当前图像的各预设稳像框中，确定该障碍物对应的目标稳像框；前景遮挡确定模块，用于基于该障碍物的信息，确定该障碍物是否遮挡该障碍物对应的目标稳像框；稳像偏移量计算模块，用于在该障碍物未遮挡该障碍物对应的目标稳像框的情况下，计算该障碍物对应的...

【专利技术属性】
技术研发人员：程周，彭伟，谭业辉，
申请(专利权)人：阿波罗智行科技广州有限公司，
类型：发明
国别省市：