基于三维的行车环境成像方法及装置制造方法及图纸

本公开涉及基于三维的行车环境成像方法及装置。该方法包括：检测鱼眼相机获取的畸变图中的特征点，并根据特征点对应的坐标对鱼眼相机进行标定，得到畸变图对应的校正图；根据鱼眼相机的相关参数确定第一矩阵；根据第一矩阵以及特征点在校正图中的坐标确定第二矩阵；根据第二矩阵对校正图进行透视投影变换，得到校正图在虚拟成像面上对应的虚拟成像图，并确定特征点在虚拟成像面上的坐标；建立三维行车环境模型；获取虚拟成像图的纹理；根据第一矩阵将虚拟成像图的纹理贴在三维行车环境模型上。本公开能够使车身周围立面场景显示真实，立体感强，且平面贴图与立面贴图过渡自然。

【技术实现步骤摘要】
基于三维的行车环境成像方法及装置
本公开涉及全景成像
，尤其涉及一种基于三维的行车环境成像方法及装置。
技术介绍
随着人们生活水平的不断提高，汽车已成为最重要的出行工具之一。汽车保有量的飞速增长，使行车安全问题越来越受到人们的关注。道路上事故频发，严重影响人们的日常生活，甚至危害人们的生命安全。因此，汽车安全辅助驾驶系统应运而生，其中，视觉辅助驾驶系统的应用最广。全景辅助驾驶系统是视觉辅助驾驶系统中能够有效地提高行车安全的车载辅助设备之一。目前汽车市场上流行的全景环视系统是利用二维重投影技术，将摄像头获取的图像向二维平面上投射。该类系统只能将从车上方拍摄得到的俯视图显示出来，当车辆周围存在三维物体时，其投影视角在俯视图中会出现变形，给驾驶员造成视觉上的疑惑。例如，当车辆周围存在行人时，在二维俯视画面中会呈现为点状以及影子的平面图像。上述的二维重投影技术，是两个平面之间的透视投影变换，实现了畸变校正图到俯视投影图变换，但无法保留场景中视平线以上(立面物体)的信息。三维图像技术能够很好地解决上述问题。基于三维图像技术，利用安装在车辆周围的多个摄像头，通过摄像头获取车辆周围的图像，将这些图像在三维模型上重新成像，能使车辆周围的三维物体显示出来。例如，可以通过建立3D(3dimensions，三维)模型，将矫正图像投影到3D模型的不同区域，再显示全景3D画面。该方法虽然改善了2D(2dimensions，二维)投影的拉伸问题，但在全景图像中，平面与立面的结合区域有较明显的折痕感，过渡较不自然。
技术实现思路
有鉴于此，本公开提出了一种基于三维的行车环境成像方法及装置，以解决三维全景图像的平面与里面的结合区域过渡不自然的问题。根据本公开的一方面，提供了一种基于三维的行车环境成像方法，包括：检测鱼眼相机获取的畸变图中的特征点，并根据所述特征点对应的坐标对所述鱼眼相机进行标定，得到所述畸变图对应的校正图；根据所述鱼眼相机的相关参数确定第一矩阵；根据所述第一矩阵以及所述特征点在校正图中的坐标确定第二矩阵；根据所述第二矩阵对所述校正图进行透视投影变换，得到所述校正图在虚拟成像面上对应的虚拟成像图，并确定所述特征点在所述虚拟成像面上的坐标；建立三维行车环境模型；获取所述虚拟成像图的纹理；根据所述第一矩阵将所述虚拟成像图的纹理贴在所述三维行车环境模型上。在一种可能的实现方式中，检测鱼眼相机获取的畸变图中的特征点，并根据所述特征点对应的坐标对所述鱼眼相机进行标定，得到所述畸变图对应的校正图，包括：检测所述鱼眼相机获取的畸变图中的第一组特征点；对所述畸变图进行投影处理，得到所述畸变图对应的投影图；检测所述投影图中的第二组特征点；对所述投影图进行反投影处理，得到所述畸变图，并确定所述第一组特征点和所述第二组特征点在所述畸变图的图像坐标系中的坐标；根据所述第一组特征点和所述第二组特征点的位置确定所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系；根据所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系，以及所述目标点在世界坐标系中的坐标，确定所述第一组特征点和所述第二组特征点在世界坐标系中对应的坐标；根据所述第一组特征点和所述第二组特征点在所述图像坐标系中的坐标以及在所述世界坐标系中对应的坐标，对所述鱼眼相机进行标定，并得到所述畸变图对应的校正图。在一种可能的实现方式中，根据所述鱼眼相机的参数确定第一矩阵，包括：根据所述鱼眼相机在世界坐标系中的坐标以及所述鱼眼相机的视角、朝向确定第一矩阵。在一种可能的实现方式中，根据所述第一矩阵将所述虚拟成像图的纹理贴在所述三维行车环境模型上，包括：将所述虚拟成像图划分为多个子图；根据所述第一矩阵将所述多个子图的纹理贴在所述三维行车环境模型上。在一种可能的实现方式中，所述三维行车环境模型为船状模型、碗状模型、柱状模型或者半球状模型。在一种可能的实现方式中，所述方法还包括：建立三维汽车模型；将所述三维汽车模型显示在所述三维行车环境模型中。在一种可能的实现方式中，根据所述第一矩阵将所述多个子图的纹理贴在所述三维行车环境模型上，包括：在相邻的子图之间存在重叠区域的情况下，对重叠区域进行融合处理。根据本公开的另一方面，提供了一种基于三维的行车环境成像装置，包括：校正图确定模块，用于检测鱼眼相机获取的畸变图中的特征点，并根据所述特征点对应的坐标对所述鱼眼相机进行标定，得到所述畸变图对应的校正图；第一矩阵确定模块，用于根据所述鱼眼相机的相关参数确定第一矩阵；第二矩阵确定模块，用于根据所述第一矩阵以及所述特征点在校正图中的坐标确定第二矩阵；虚拟成像图确定模块，用于根据所述第二矩阵对所述校正图进行透视投影变换，得到所述校正图在虚拟成像面上对应的虚拟成像图，并确定所述特征点在所述虚拟成像面上的坐标；三维行车环境模型建立模块，用于建立三维行车环境模型；纹理获取模块，用于获取所述虚拟成像图的纹理；纹理贴图模块，用于根据所述第一矩阵将所述虚拟成像图的纹理贴在所述三维行车环境模型上。在一种可能的实现方式中，所述校正图确定模块包括：第一组特征点检测子模块，用于检测所述鱼眼相机获取的畸变图中的第一组特征点；投影子模块，用于对所述畸变图进行投影处理，得到所述畸变图对应的投影图；第二组特征点检测子模块，用于检测所述投影图中的第二组特征点；反投影子模块，用于对所述投影图进行反投影处理，得到所述畸变图，并确定所述第一组特征点和所述第二组特征点在所述畸变图的图像坐标系中的坐标；对应关系确定子模块，用于根据所述第一组特征点和所述第二组特征点的位置确定所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系；坐标确定子模块，用于根据所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系，以及所述目标点在世界坐标系中的坐标，确定所述第一组特征点和所述第二组特征点在世界坐标系中对应的坐标；标定与校正子模块，用于根据所述第一组特征点和所述第二组特征点在所述图像坐标系中的坐标以及在所述世界坐标系中对应的坐标，对所述鱼眼相机进行标定，并得到所述畸变图对应的校正图。在一种可能的实现方式中，所述第一矩阵确定模块用于：根据所述鱼眼相机在世界坐标系中的坐标以及所述鱼眼相机的视角、朝向确定第一矩阵。在一种可能的实现方式中，所述纹理贴图模块包括：子图划分子模块，用于将所述虚拟成像图划分为多个子图；纹理贴图子模块，用于根据所述第一矩阵将所述多个子图的纹理贴在所述三维行车环境模型上。在一种可能的实现方式中，所述三维行车环境模型为船状模型、碗状模型、柱状模型或者半球状模型。在一种可能的实现方式中，所述装置还包括：三维汽车模型建立模块，用于建立三维汽车模型；三维汽车模型显示模块，用于将所述三维汽车模型显示在所述三维行车环境模型中。在一种可能的实现方式中，所述纹理贴图子模块包括：融合处理子模块，用于在相邻的子图之间存在重叠区域的情况下，对重叠区域进行融合处理。根据本公开的另一方面，提供了一种基于三维的行车环境成像装置，包括：存储器，用于存储处理器可执行指令；和处理器，配置为通过执行所述指令来执行基于三维的行车环境成像方法的步骤。根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，当所述存储介质中的指令由终端和/或本文档来自技高网...

【技术保护点】
一种基于三维的行车环境成像方法，其特征在于，包括：检测鱼眼相机获取的畸变图中的特征点，并根据所述特征点对应的坐标对所述鱼眼相机进行标定，得到所述畸变图对应的校正图；根据所述鱼眼相机的相关参数确定第一矩阵；根据所述第一矩阵以及所述特征点在校正图中的坐标确定第二矩阵；根据所述第二矩阵对所述校正图进行透视投影变换，得到所述校正图在虚拟成像面上对应的虚拟成像图，并确定所述特征点在所述虚拟成像面上的坐标；建立三维行车环境模型；获取所述虚拟成像图的纹理；根据所述第一矩阵将所述虚拟成像图的纹理贴在所述三维行车环境模型上。

【技术特征摘要】
1.一种基于三维的行车环境成像方法，其特征在于，包括：检测鱼眼相机获取的畸变图中的特征点，并根据所述特征点对应的坐标对所述鱼眼相机进行标定，得到所述畸变图对应的校正图；根据所述鱼眼相机的相关参数确定第一矩阵；根据所述第一矩阵以及所述特征点在校正图中的坐标确定第二矩阵；根据所述第二矩阵对所述校正图进行透视投影变换，得到所述校正图在虚拟成像面上对应的虚拟成像图，并确定所述特征点在所述虚拟成像面上的坐标；建立三维行车环境模型；获取所述虚拟成像图的纹理；根据所述第一矩阵将所述虚拟成像图的纹理贴在所述三维行车环境模型上。2.根据权利要求1所述的方法，其特征在于，检测鱼眼相机获取的畸变图中的特征点，并根据所述特征点对应的坐标对所述鱼眼相机进行标定，得到所述畸变图对应的校正图，包括：检测所述鱼眼相机获取的畸变图中的第一组特征点；对所述畸变图进行投影处理，得到所述畸变图对应的投影图；检测所述投影图中的第二组特征点；对所述投影图进行反投影处理，得到所述畸变图，并确定所述第一组特征点和所述第二组特征点在所述畸变图的图像坐标系中的坐标；根据所述第一组特征点和所述第二组特征点的位置确定所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系；根据所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系，以及所述目标点在世界坐标系中的坐标，确定所述第一组特征点和所述第二组特征点在世界坐标系中对应的坐标；根据所述第一组特征点和所述第二组特征点在所述图像坐标系中的坐标以及在所述世界坐标系中对应的坐标，对所述鱼眼相机进行标定，并得到所述畸变图对应的校正图。3.根据权利要求1所述的方法，其特征在于，根据所述鱼眼相机的参数确定第一矩阵，包括：根据所述鱼眼相机在世界坐标系中的坐标以及所述鱼眼相机的视角、朝向确定第一矩阵。4.根据权利要求1所述的方法，其特征在于，根据所述第一矩阵将所述虚拟成像图的纹理贴在所述三维行车环境模型上，包括：将所述虚拟成像图划分为多个子图；根据所述第一矩阵将所述多个子图的纹理贴在所述三维行车环境模型上。5.根据权利要求1所述的方法，其特征在于，所述三维行车环境模型为船状模型、碗状模型、柱状模型或者半球状模型。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：建立三维汽车模型；将所述三维汽车模型显示在所述三维行车环境模型中。7.根据权利要求4所述的方法，其特征在于，根据所述第一矩阵将所述多个子图的纹理贴在所述三维行车环境模型上，包括：在相邻的子图之间存在重叠区域的情况下，对重叠区域进行融合处理。8.一种基于三维的行车环境成像装置，其特征在于，包括：校正图确定模块，用于检测鱼眼相机获取的畸变图中的特征点，并根据所述特征点对应的坐标对所述鱼眼相机进行标定，得到所述畸变图对应的校正图；第一矩阵确...

【专利技术属性】
技术研发人员：林春雨，韦世奎，马珂，高奕，林鸿运，邓伟平，李雅茹，黄奇，钟洪波，
申请(专利权)人：北京鑫洋泉电子科技有限公司，北京交通大学，
类型：发明
国别省市：北京,11