图像增强方法、感知方法、智能设备及其控制方法、介质技术

技术编号：41465373 阅读：2 留言：0更新日期：2024-05-30 14:21

本申请涉及自动驾驶技术领域，具体提供一种图像增强方法、感知方法、智能设备及其控制方法、介质，旨在解决在不能改变图像像素的几何位置的情况下对图像进行几何变换的问题。为此目的，本申请提供的方法包括获取智能设备上相机采集的目标图像，目标图像用于感知智能设备所在地面上的地面元素；将目标图像的像素由像素坐标系投影至地面上以形成第一投影图像；对第一投影图像进行几何变换以形成第二投影图像；将第二投影图像的像素由地面投影至像素坐标系以形成增强图像。第二投影图像投影至像素坐标系相当于改变了目标图像的像素值，由于第二投影图像是几何变换得到的，因此，通过改变目标图像上像素的像素值，相当于实现了对目标图像的几何变换。

全部详细技术资料下载

【技术实现步骤摘要】

本申请涉及自动驾驶，具体涉及一种图像增强方法、感知方法、智能设备及其控制方法、介质。

技术介绍

1、在对车辆进行自动驾驶控制时通常会利用bev(bird's eye view)模型对车辆周围的环境进行感知，以确定车辆周围的障碍物、停车位等目标信息，再根据感知结果控制车辆自动行驶。

2、bev模型的输入为多个不同视角的相机采集的2d图像，bev模型可以利用这些2d图像获取bev视角下的bev特征，再根据bev特征进行环境感知。为了提高bev模型的环境感知能力，在训练bev模型时通常会对多个不同视角的相机采集的2d图像进行图像增强，再利用经过图像增强的2d图像训练bev模型。由于bev模型是同时从不同相机采集的2d图像上提取bev特征，因此，这几个相机是相互约束的，在进行图像增强时只能改变图像像素的像素值，不能改变图像像素的几何位置，这样会显著降低图像增强的多样性，进而降低了bev模型进行环境感知的泛化能力。例如，只能改变图像的颜色或在图像上增加噪声，并不能对图像进行旋转、平移、错切等几何变换。

3、相应地，本领域需要一种新的技术方案来解决上述问题。

技术实现思路

1、为了克服上述缺陷，提出了本申请，以解决或至少部分地解决在不能改变图像像素的几何位置的情况下如何对图像进行几何变换的技术问题。

2、在第一方面，提供一种图像增强方法，所述方法包括：

3、获取智能设备上相机采集的目标图像，所述目标图像用于感知所述智能设备所在地面上的地面元素；</p>

4、将所述目标图像的像素由所述目标图像的像素坐标系，投影至所述地面上，以形成所述目标图像的第一投影图像；

5、对所述第一投影图像进行几何变换，以形成第二投影图像；

6、将所述第二投影图像的像素由所述地面，投影至所述目标图像的像素坐标系，以形成所述目标图像的增强图像。

7、在上述图像增强方法的一个技术方案中，所述目标图像包含所述智能设备所在地面的地面元素，所述将所述目标图像的像素由所述目标图像的像素坐标系，投影至所述地面上，包括：

8、获取所述目标图像中所述地面元素在设备坐标系中的高度，所述设备坐标系为所述智能设备的三维坐标系；

9、根据所述地面元素的高度，获取所述地面的地面高度；

10、根据所述地面高度，获取在所述设备坐标系中所述地面对应的平面；

11、将所述目标图像的像素由所述像素坐标系投影至所述平面上。

12、在上述图像增强方法的一个技术方案中，所述地面元素为所述智能设备的停放区域，所述停放区域包括多个角点，所述获取所述目标图像中所述地面元素在设备坐标系中的高度，包括：

13、获取所述停放区域的各所述角点在所述设备坐标系中的第一高度；

14、获取所述停放区域所有角点的第一高度的平均值；

15、根据所述平均值，获取所述停放区域在所述设备坐标系中的高度。

16、在上述图像增强方法的一个技术方案中，所述智能设备包括接地部件，在所述获取所述停放区域所有角点的第一高度的平均值之前，所述方法还包括：

17、获取所述接地部件在所述设备坐标系中的第二高度；

18、针对各所述角点，获取所述角点的第一高度与所述第二高度之间的差值；若所述差值大于预设值，则去除所述角点的第一高度。

19、在上述图像增强方法的一个技术方案中，所述方法还包括：

20、在将所述目标图像的像素由所述目标图像的像素坐标系，投影至所述地面上时，从所述目标图像的像素中获取投影至相机负轴的负轴像素，所述相机负轴为所述相机的相机坐标系中的负轴；

21、将所述负轴像素在所述第一投影图像中对应的像素设置为黑色。

22、在上述图像增强方法的一个技术方案中，所述对所述第一投影图像进行几何变换，包括：对所述第一投影图像进行一种几何变换或多种不同的几何变换。

23、在第二方面，提供一种地面元素感知方法，所述方法包括：

24、获取智能设备上具有不同视角的多个相机采集的实际图像；

25、采用bev模型并根据所述实际图像，感知所述智能设备所在地面上的地面元素；

26、其中，所述bev模型通过以下方式训练得到：

27、获取所述多个相机采集的样本图像；

28、在每一次迭代训练时，采用上述第一方面提供的图像增强方法，获取所述样本图像的增强图像，以及

29、根据所述样本图像及其增强图像，训练所述bev模型。

30、在上述地面元素感知方法的一个技术方案中，所述地面元素感知方法还包括：

31、设定多种不同的几何变换和每种几何变换的触发概率；

32、在每一次迭代训练时，根据所述几何变换的触发概率，对所述几何变换进行随机触发，并获取被触发的几何变换；

33、采用所述图像增强方法并根据所述被触发的几何变换，获取所述样本图像的增强图像。

34、在第三方面，提供一种智能设备的控制方法，所述控制方法包括：

35、获取所述智能设备上具有不同视角的多个相机采集的实际图像；

36、采用上述第二方面提供的地面元素感知方法并根据所述实际图像，感知所述智能设备所在地面上的停放区域；

37、控制所述智能设备自动泊入所述停放区域内。

38、在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述图像增强或地面元素感知或智能设备控制方法的技术方案中任一项技术方案所述的方法。

39、在第五方面，提供一种智能设备，该智能设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述图像增强或地面元素感知或智能设备控制方法的技术方案中任一项技术方案所述的方法。

40、方案1.一种图像增强方法，其特征在于，所述方法包括：

41、获取智能设备上相机采集的目标图像，所述目标图像用于感知所述智能设备所在地面上的地面元素；

42、将所述目标图像的像素由所述目标图像的像素坐标系，投影至所述地面上，以形成所述目标图像的第一投影图像；

43、对所述第一投影图像进行几何变换，以形成第二投影图像；

44、将所述第二投影图像的像素由所述地面，投影至所述目标图像的像素坐标系，以形成所述目标图像的增强图像。

45、方案2.根据方案1所述的方法，其特征在于，所述目标图像包含所述智能设备所在地面的地面元素，所述将所述目标图像的像素由所述目标图像的像素坐标系，投影至所述地面上，包括：

46、获取所述目标图像中所述地面元素在设备坐标系中的高度，所述设备坐标系为所述智能设备的三维坐标系；

47、根据所述地面元本文档来自技高网...

【技术保护点】

1.一种图像增强方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述目标图像包含所述智能设备所在地面的地面元素，所述将所述目标图像的像素由所述目标图像的像素坐标系，投影至所述地面上，包括：

3.根据权利要求2所述的方法，其特征在于，所述地面元素为所述智能设备的停放区域，所述停放区域包括多个角点，所述获取所述目标图像中所述地面元素在设备坐标系中的高度，包括：

4.根据权利要求3所述的方法，其特征在于，所述智能设备包括接地部件，在所述获取所述停放区域所有角点的第一高度的平均值之前，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述第一投影图像进行几何变换，包括：

7.一种地面元素感知方法，其特征在于，所述方法包括：

8.根据权利要求7所述的地面元素感知方法，其特征在于，所述地面元素感知方法还包括：

9.一种智能设备的控制方法，其特征在于，所述控制方法包括：

10.一种智能设备，其特征在于，包括：

...

【技术特征摘要】

1.一种图像增强方法，其特征在于，所述方法包括：

4.根据权利要求3所述的方法，其特征在于，所述智能设备包括接地部件，在所述获取所述停放...

【专利技术属性】
技术研发人员：商世博，
申请(专利权)人：安徽蔚来智驾科技有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人