本发明专利技术涉及无人驾驶环境感知技术领域，公开了一种具有雷达功能的摄像装置，其包括激光光源、光调制器、扩束修整器、成像镜头、数字感光单元、协调器和3D图像处理器；成像镜头与扩束修整器同步视场，成像镜头一方面用于拍摄视频，另一方面用于拍摄激光照射目标物后的反射光，而数字感光单元一方面用于记录视频信息，另一方面用于记录反射光信息，相当于在原有的摄像头上增加了雷达功能，或者说将摄像头与雷达在硬件层面上合二为一，并通过协调器使摄像和雷达能够同步协调工作，因此解决了现有技术中摄像信息和雷达信息融合时的校准参数会随时间变化而“飘移”等问题。等问题。等问题。
【技术实现步骤摘要】
一种具有雷达功能的摄像装置
[0001]本专利技术涉及无人驾驶环境感知
，特别是涉及一种具有雷达功能的摄像装置。
技术介绍
[0002]未来包括汽车在内的自动驾驶应用，涉及到很多自动化方面的技术，在众多技术当中，实现机车对环境的感知当属最为关键的技术之一，这涉及对环境3D位置信息的感知和彩色图像信息的感知。目前，存在用激光雷达和摄像头两条路线实现对环境3D感知的分歧，且在业内争论多年。因为，目前主流的激光雷达(如机械式雷达)与摄像头各有所长，就定位而言，激光雷达能估计3D空间中物体的精确位置和移动速度，但测量速度慢、设备昂贵，而用单目摄像头进行定位并不准确，因为它需要从2D到3D进行转换，因此使用摄像头进行3D精确定位非常困难。双目摄像头虽然较单目摄像头定位较为准确，但增加了较大的计算资源开销，而且暂时无法达到激光雷达的定位精度。
[0003]于是，现有技术产生了摄像头视频与雷达环境3D位置信息的融合感知的技术，精准输出具有3D信息的RGB＿D视频信息。目前的摄像头视频与雷达环境3D位置信息的融合技术，属于“后融合技术”，即先由摄像头和雷达分别取得视频信息和3D信息(即雷达点云)，再通过各种(计算)方法将这两种信息进行合并生成RGB＿D信息，但是，现有的融合感知技术还存在以下不足：
[0004]摄像头和雷达的融合需要摄像头和雷达之间的精确参数校准，其中包括各自的内部参数和摄像头与雷达之间的外部参数，但在实际上很难做到保证参数的校准一直准确，即使事先对摄像头和雷达进行了完美的校准，在实际使用中，在机车机械振动、热量等因素的影响下，其校准参数也会随时间变化而“飘移”，由于大多数“后融合技术”的融合方法对校准误差极为敏感，因此参数“飘移”会严重削弱这种融合的性能和可靠性。
技术实现思路
[0005]本专利技术的目的是：提供一种具有雷达功能的摄像装置，以解决上述现有技术中的融合感知技术存在的不足。
[0006]为了实现上述目的，本专利技术提供了一种具有雷达功能的摄像装置，其包括激光光源、光调制器、扩束修整器、成像镜头、数字感光单元、协调器和3D图像处理器；
[0007]所述光调制器用于将激光光源发出的光调制为相应的调制光；
[0008]所述扩束修整器用于对所述调制光进行扩束、修整后照射到视场范围内；
[0009]所述成像镜头用于汇聚目标物的影像，成像镜头与扩束修整器同步视场，所述目标物位于所述视场范围内；
[0010]所述数字感光单元用于记录目标物上的激光反射光信息及自然光反射光信息；
[0011]所述协调器分别与光调制器、数字感光单元、扩束修整器及成像镜头电连接；
[0012]所述3D图像处理器用于接收数字感光单元发送的视频信息及激光反射光信息，并
根据激光反射光信息计算目标物的位置信息，将位置信息与视频信息融合为3D彩色视频信息。
[0013]进一步的，上述摄像装置还包括设于所述光调制器与扩束修整器之间的前滤波器、以及设于所述成像镜头与数字感光单元之间的后滤波器。
[0014]进一步的，所述数字感光单元上设有像素感光点和雷达感光点。
[0015]进一步的，所述视频信息与激光反射光信息的时序为同步或倍频关系。
[0016]进一步的，上述摄像装置还包括分光器，所述分光器用于将经光调制器调制后的调制光分为传输至扩束修整器的发射主光束和传输至数字感光单元的本振光；
[0017]该装置具有激光全息工作模式，在该装置处于激光全息工作模式工作时，反射光与本振光在数字感光单元的感光面汇聚形成干涉条纹，该干涉条纹与来自成像镜头的RGB图像信息叠加；所述数字感光单元隔帧记录纯RGB图像信息和RGB+干涉条纹信息；所述3D图像处理器隔帧获取数字感光单元的图像信息和RGB+干涉条纹信息，并对其进行差值计算提取干涉条纹信息；所述3D图像处理器通过干涉条纹信息计算得出全息图像，再依全息图像信息计算出位置信息，并与RGB视频信息合并为3D视频信息RGB＿D。
[0018]进一步的，上述摄像装置具有间接TOF雷达工作模式，在该装置处于间接TOF雷达工作模式时，脉冲激光反射光周期性地、交替地在数字感光单元(9)曝光，所述数字感光单元(9)也周期性地交替记录脉冲激光反射光信息及视频信息，所述3D图像处理器(11)根据像素的前后帧曝光量进行差值计算间接得到激光脉冲的延迟时间，进而求得各像素点与其对应的目标物之间的距离位置信息，并与RGB视频信息合并为3D视频信息RGB＿D。
[0019]进一步的，上述摄像装置具有直接TOF雷达工作模式，在该装置处于直接TOF雷达工作模式时，与各个像素对应的雷达感光点及其相应的预处理电路用于处理脉冲激光反射光信息，计算出激光脉冲的延迟时间，进而求得目标物各点的距离信息，并与RGB视频信息合并为3D视频信息RGB＿D。
[0020]进一步的，上述摄像装置还包括分光器，所述分光器用于将经光调制器调制后的调制光分为传输至扩束修整器的探测光和传输至数字感光单元上的单独参考光感光点的参考光；所述单独的参考光感光点用于感应参考光并将其转化为参考电信号；
[0021]该装置具有FMCW雷达工作模式，在该装置处于FMCW雷达工作模式时，所述雷达感光点及其相应的预处理电路用于处理激光反射光信息，所述3D图像处理器根据参考电信号及反射光信息计算目标物的位置信息及速度信息，并与RGB视频信息合并为3D视频信息RGB＿D。
[0022]进一步的，所述3D彩色视频信息包括具有多个字段的格式化的附加信息，该附加信息用于记录与3D视频摄录相关的信息，该附加信息包括：
[0023]所述摄像装置所处位置的卫星定位信息、卫星系统名称、摄像装置的移动速度、主光轴方向、视频相对于主光轴的视域上下及左右角度、焦距、感光值ISO、光圈、脉冲信息、天气信息、摄像装置的硬件信息、软件版本号、生产商、所有者、拍摄日期时间。
[0024]进一步的，上述摄像装置还包括控制器，该控制器用于根据所检测到的周围干扰激光的时序而重新规划出避开干扰的最佳方案，实时改变自己的激光脉冲和视频曝光时序。
[0025]上述技术方案所提供的一种具有雷达功能的摄像装置，与现有技术相比，其有益
效果在于：
[0026]1、成像镜头与扩束修整器同步视场，成像镜头用于汇聚目标物影像，而数字感光单元一方面用于记录视频信息，另一方面用于记录激光反射光信息，相当于在原有的摄像头上增加了雷达功能，或者说将摄像头与雷达在硬件层面上合二为一，并通过协调器使摄像和雷达能够同步协调工作，因此解决了现有技术中摄像头和雷达的校准参数会随时间变化而“飘移”的问题。
[0027]2、该装置使摄像与雷达在硬件层面上合二为一，体积小、成本低、功能强、适应性强。
[0028]3、因为摄像与雷达在硬件层面上合二为一，数字感光单元发送的2D的视频信息和雷达的反射光信息在时序、空间上能够高度重叠、高度融合，3D图像处理器能够输出高精度的3D彩色视频信息本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种具有雷达功能的摄像装置，其特征在于，包括激光光源(1)、光调制器(2)、扩束修整器(5)、成像镜头(7)、数字感光单元(9)、协调器(10)和3D图像处理器(11)；所述光调制器(2)用于将激光光源(1)发出的光调制为相应的调制光；所述扩束修整器(5)用于对所述调制光进行扩束、修整后照射到视场范围内；所述成像镜头(7)用于汇聚目标物(6)的影像，成像镜头(7)与扩束修整器(5)同步视场，所述目标物(6)位于所述视场范围内；所述数字感光单元(9)用于记录目标物(6)上的激光反射光信息及自然光反射光信息；所述协调器(10)分别与光调制器(2)、数字感光单元(9)、扩束修整器(5)及成像镜头(7)电连接；所述3D图像处理器(11)用于接收数字感光单元(9)发送的视频信息及激光反射光信息，并根据激光反射光信息计算目标物(6)的位置信息，将位置信息与视频信息融合为3D彩色视频信息。2.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，还包括设于所述光调制器(2)与扩束修整器(5)之间的前滤波器(4)、以及设于所述成像镜头(7)与数字感光单元(9)之间的后滤波器(8)。3.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，所述数字感光单元(9)上设有像素感光点和雷达感光点。4.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，所述视频信息与激光反射光信息的时序为同步或倍频关系。5.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，还包括分光器(3)，所述分光器(3)用于将经光调制器(2)调制后的调制光分为传输至扩束修整器(5)的发射主光束和传输至数字感光单元(9)的本振光；该装置具有激光全息工作模式，在该装置处于激光全息工作模式工作时，反射光与本振光在数字感光单元(9)的感光面汇聚形成干涉条纹，该干涉条纹与来自成像镜头(7)的RGB图像信息叠加；所述数字感光单元(9)隔帧记录纯RGB图像信息和RGB+干涉条纹信息；所述3D图像处理器(11)隔帧获取数字感光单元(9)的图像信息和RGB+干涉条纹信息，并对其进行差值计算提取干涉条纹信息；所述3D图像处理器(11)通过干涉条纹信息计算得出全息图像，再依全息图像信息计算出位置信息，并与RGB视频信息合并为3D视频信息RGB＿D。...
【专利技术属性】
技术研发人员：黄钰淇，
申请(专利权)人：黄初镇，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。