用于估计深度信息的方法和系统技术方案

本发明专利技术涉及一种在车辆

【技术实现步骤摘要】
【国外来华专利技术】用于估计深度信息的方法和系统


[0001]本专利技术涉及用于借助人工神经网络确定关于车辆的成像传感器所提供的图像信息的深度信息的方法和系统
。

技术介绍

[0002]原则上已知借助成像传感器来三维地检测车辆的周围环境
。
此外，也可以将立体摄像机用于
3D
环境检测
。
为了计算距离信息，将两个摄像头所提供的图像信息相关联并借助三角测量确定图像点距车辆的距离
。
[0003]用于立体摄像系统的摄像头例如集成至车辆的前区中
。
在此情况下，安装位置通常是挡风玻璃区域或散热格栅
。
为了在夜间产生足够的亮度以进行图像分析，通常会使用车辆的前照灯
。
[0004]当前
3D
环境检测的问题在于，立体摄像系统的摄像头所获得的图像信息中的不均匀照亮的图像区域使得深度信息的确定更为困难，因为在这些不均匀照亮的区域中，无法通过立体摄像系统获得距离信息
。
如果因不同的安装位置而在前照灯与摄像头之间产生由视差而引起的阴影，则特别适用上述情形
。

技术实现思路

[0005]有鉴于此，本专利技术的目的是提出一种确定关于图像信息的深度信息的方法，所述方法能够有所改进地确定深度信息
。
[0006]本专利技术用以达成上述目的的解决方案在于具有独立权利要求1的特征的方法
。
优选的实施方式是从属权利要求的主题
。
用于确定关于图像信息的深度信息的系统是并列权利要求
15
的主题
。
[0007]根据第一方面，本专利技术涉及一种在车辆中借助人工神经网络确定关于图像信息的深度信息的方法
。
所述神经网络优选地为卷积神经网络
(CNN)。
[0008]所述方法包括以下步骤：
[0009]首先，提供至少一个发射器以及至少一个第一和第二接收传感器
。
所述发射器可以适于发射人类可见光谱范围内的电磁辐射
。
作为替代方案，发射器可以发射红外光谱范围内的频率范围为约
24GHz
或约
77GHz
的电磁辐射
(
发射器为雷达发射器
)
或激光辐射
(
发射器为激光雷达发射器
)。
所述第一和第二接收传感器以彼此间隔开的方式布置
。
这些接收传感器适配发射器类型，即这些接收传感器适于接收至少一个发射器所发射的电磁辐射的反射分量
。
这些接收传感器特别是可以适于接收可见光谱范围或红外光谱范围内的频率范围为约
24GHz
或约
77GHz
的电磁辐射
(
雷达接收器
)
或激光辐射
(
激光雷达接收器
)。
[0010]随后，通过所述发射器发射电磁辐射并且通过所述第一和第二接收传感器接收所述发射器所发射的电磁辐射的反射分量
。
基于所接收的反射分量，第一接收传感器生成第一图像信息，第二接收传感器生成第二图像信息
。
[0011]随后，对第一和第二图像信息进行比较，以便确定第一和第二图像信息中的至少
一个不均匀照亮的图像区域，所述至少一个不均匀照亮的图像区域基于接收传感器的间隔布局通过视差而产生
。
如果第一和第二接收传感器并非位于发射器
、
特别是大灯的投影中心，则不均匀照亮的图像区域也可能通过相应接收传感器与其所对应的发射器之间的视差而产生
。
因此，换句话说，与在第二图像信息中相比在第一图像信息中更亮或更暗的至少一个图像区域被确定为“不均匀照亮的图像区域”。
[0012]然后，对所述至少一个不均匀照亮的图像区域的几何信息进行分析并基于所述至少一个不均匀照亮的图像区域的几何信息的分析结果，通过人工神经网络来估计深度信息
。
即对不均匀照亮的图像区域的大小或延伸度进行分析，因为这样就能借助神经网络得出关于物体的三维设计方案
(
例如物体的特定区域与车辆的距离小于另一区域
)
或处于车辆的环境区域中的两个物体之间的距离的结论
。
[0013]所提出的方法的技术优势在于，即使在无法借助三角测量确定深度的不均匀照亮的区域，也可以通过神经网络根据不均匀照亮的图像区域的几何信息得出关于不均匀照亮的图像区域中和
/
或不均匀照亮的区域周围的一个或多个物体的间距的结论
。
这样就能更精确且相对于干扰因素更稳健地进行三维环境检测
。
[0014]根据一个实施例，所述不均匀照亮的图像区域产生于第一物体与第二物体之间的过渡区域中，这两个物体距第一和第二接收传感器的距离不同
。
因此，所估计的深度信息是深度差信息，其包含关于第一和第二物体与车辆之间的距离差的信息
。
这样就能更好地分离前景物体和背景物体
。
在此，前景物体是与背景物体相比更靠近车辆的物体
。
[0015]此外，不均匀照亮的图像区域可以与单个物体相关，其中图像区域的不均匀照明基于单个物体的三维设计方案而产生
。
因此，可以改进对物体三维表面形状的确定
。
[0016]根据一个实施例，所述发射器为发射波长范围在
380nm
到
800nm
之间的可见光的至少一个大灯，所述第一和第二接收传感器分别为摄像头
。
这样就能将位于车辆上的前照灯和在可见光谱范围内工作的摄像头用作检测传感机构
。
[0017]第一和第二接收传感器优选地形成立体摄像系统
。
在此情况下，将这些接收传感器所提供的图像信息相互关联并根据这些接收传感器的安装位置确定图像信息的各个像点距车辆的距离
。
这样就能获得关于两个接收传感器所检测的图像区域的深度信息
。
[0018]根据一个实施例，设有至少两个形式为车辆前照灯的发射器，并且接收传感器分别对应于一个前照灯，使得待检测物体与前照灯之间的视线基本上平行于待检测物体与前照灯所对应的接收传感器之间的视线
。“基本上平行”在此特别是指角度小于
10
°
。
接收传感器特别是可以非常靠近其所对应的大灯的投影中心，例如距离小于
20cm。
因此，大灯的照明区域与接收传感器的检测区域基本相同，安装情况基本上无视差，从而均匀地照亮接收传感器的检测区域，而不会因接收传感器所对应的大灯而产生的照明阴影
。
[0019]根据一个实施例，所述第一和第二接收传感器集成至车辆的前照灯中
。
这样一来，大灯的照明区域与接收传感器的检测区域基本相本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种在车辆
(1)
中借助人工神经网络
(2)
确定关于图像信息的深度信息的方法，所述方法包括以下步骤：
‑
提供至少一个发射器
(3、3
’
)
以及至少一个第一和一个第二接收传感器
(4、5)
，其中第一和第二接收传感器
(4、5)
以彼此间隔开的方式布置
(S10)
；
‑
通过所述发射器
(3、3
’
)
发射电磁辐射
(S11)
；
‑
通过所述第一和第二接收传感器
(4、5)
接收所述发射器
(3、3
’
)
发射的电磁辐射的反射分量并基于所接收的反射分量，通过第一接收传感器
(4)
生成第一图像信息
(B1)
，通过第二接收传感器
(5)
生成第二图像信息
(B2)(S12)
；
‑
对第一和第二图像信息
(B1、B2)
进行比较，以确定所述第一和第二图像信息中的至少一个不均匀照亮的图像区域
(D1、D2)
，所述至少一个不均匀照亮的图像区域基于接收传感器
(4、5)
的间隔布局通过视差而产生
(S13)
；
‑
对所述至少一个不均匀照亮的图像区域
(D1、D2)
的几何信息进行分析并基于所述至少一个不均匀照亮的图像区域的几何信息的分析结果，通过所述人工神经网络
(2)
来估计深度信息
(S14)。2.
根据权利要求1所述的方法，其特征在于，所述不均匀照亮的图像区域
(D1、D2)
产生于第一物体
(O1)
与第二物体
(O2)
之间的过渡区域中，所述第一物体与第二物体距所述第一和第二接收传感器
(4、5)
的距离不同，且所估计的深度信息是深度差信息，其包含关于所述第一和第二物体
(O1、O2)
与所述车辆
(1)
之间的距离差的信息
。3.
根据权利要求1或2所述的方法，其特征在于，所述发射器
(3、3
’
)
为发射波长范围在
380nm
到
800nm
之间的可见光的至少一个大灯，所述第一和第二接收传感器
(4、5)
分别为摄像头
。4.
根据前述权利要求中任一项所述的方法，其特征在于，所述第一和第二接收传感器
(4、5)
形成立体摄像系统
。5.
根据前述权利要求中任一项所述的方法，其特征在于，设有至少两个形式为所述车辆
(1)
的前照灯的发射器
(3、3
’
)
，并且接收传感器
(4、5)
分别对应于前照灯
(3、3
’
)
，使得待检测物体
(O1、O2)
与所述前照灯之间的视线基本上平行于所述待检测物体
(O1、O2)
与所述前照灯所对应的接收传感器
(4、5)
之间的视线
。6.
根据前述权利要求中任一项所述的方法，其特征在于，所述第一和第二接收传感器
(4、5)
集成至所述车辆
(1)
的前照灯中
。7.
根据前述权利要求中任一项所述的方法，其特征在于，所述人工神经网络
(2)
根据在水平方向上测得的所述不均匀照亮的图像区域
(D1、D2)
的宽度
(b)
对深度进行估计
。8.
根据前述权利要求中任一项所述的方法，其特征在于，所述人工神经网...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：大众汽车股份有限公司，
类型：发明
国别省市：