通路检测方法、相关装置及计算机可读存储介质制造方法及图纸

本申请涉及计算机视觉技术领域，尤其涉及一种通路检测方法、相关装置及计算机可读存储介质，该通路检测方法，包括：根据获取的图像信息建立道路的三维点云；在三维点云中检测所述道路的地面信息；根据所述道路的地面信息确定预警区；检测所述预警区的通行状况，根据所述通行状况确定所述道路的通路检测结果。能够适用于复杂环境的通路检测，提高用户体验，同时通过三维点云能够提供更多的路况信息。

【技术实现步骤摘要】
【国外来华专利技术】通路检测方法、相关装置及计算机可读存储介质
本申请涉及计算机视觉
，尤其涉及一种通路检测方法、相关装置及计算机可读存储介质。
技术介绍
在导盲、机器人、自动驾驶等领域，通路检测是一项极其重要的技术。现有的通路检测是基于视觉对车辆或机器人行进中的道路进行检测，以提高车辆或机器人行驶的安全性。专利技术人在研究现有技术的过程中发现，传统的通路检测通常是在图像中设定一个二维检测区域，通过判断该区域中是否存在障碍来确定该区域是否可以通行。但是由于图像存在透视投影特性，若图像检测区域为矩形检测区域，在真实世界对应的是相机前方的扇形区域，在对获取到的图像进行检测时会将可通行宽度两侧的物体当作障碍，从而形成误报；若图像检测区域为梯形检测区域，在真实世界虽然可以一定程度的矫正扇形区的影响，但是梯形检测区域的尺寸和位置设置极其不便，且需要随镜头焦距、相机姿态等的变化而变化。另外，传统的通路检测通常只是对正前方的障碍进行粗略预警，无法提供更为详尽的路况信息，使得后续决策和用户体验都极为不便。
技术实现思路
本申请部分实施例所要解决的技术问题在于提供一种通路检测方法、相关装置及计算机可读存储介质，用以解决上述技术问题。本申请的一个实施例提供了一种通路检测方法，包括：根据获取的图像信息建立道路的三维点云；在三维点云中检测道路的地面信息；根据道路的地面信息确定预警区；检测该预警区的通行状况，根据通行状况确定道路的通路检测结果。本申请的一个实施例还提供了一种通路检测装置，包括：建立模块、第一检测模块、确定模块和第二检测模块；建立模块，用于根据获取的图像信息建立道路的三维点云；第一检测模块，用于在三维点云中检测道路的地面信息；确定模块，用于根据道路的地面信息确定预警区；第二检测模块，用于检测预警区的通行状况，根据通行状况确定道路的通路检测结果。本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的通路检测方法。本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述的通路检测方法。相对于现有技术而言，通过建立道路的三维点云，基于道路的三维点云确定预警区，避免了由于二维图像设置的预警区不合理，导致的检测道路不准确的问题，并且在三维云中检测道路的地面信息，进而确定预警区以及预警区的通行状况，能够保证通路检测结果的可靠性，使得能够适用于复杂环境的通路检测，提高用户体验，同时通过三维点云能够提供更多的路况信息。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是本申请第一实施例中通路检测方法的流程图；图2是本申请第一实施例中像素坐标系和相机坐标系的关系图；图3是本申请第一实施例中相机坐标系和世界坐标的关系图；图4是本申请第二实施例中通路检测方法的流程图；图5是本申请第二实施例中另一通路检测方法的流程图；图6是本申请第三实施例中的通路检测装置的结构图；图7是本申请第四实施例中电子设备的结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请部分实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。然而，本领域的普通技术人员可以理解，在本申请的各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。本申请的第一实施例涉及一种通路检测方法，如图1所示，包括如下步骤：步骤101：根据获取的图像信息建立道路的三维点云。具体地说，三维点云是目标物体表面特征的海量点集合，建立三维点云能够在空间中确定道路信息，应用中可以采用多种方式建立三维点云,本实施例并不限制建立三维点云采用的具体实现方式。一个具体的实现中，可以通过深度图建立三维点云。建立三维点云的具体过程包括：获取深度图和相机的姿态角，姿态角是拍摄该深度图时相机的姿态角；根据该深度图和预设的归一化尺度计算尺度归一化因子；根据该深度图和尺度归一化因子计算尺度归一化后的深度图；根据尺度归一化后的深度图构建相机坐标系下的三维点云；根据相机坐标系下的三维点云和相机的姿态角，构建世界坐标系下的三维点云。需要说明的是，深度图的获取方法有很多种，包括但不限于：激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法，此处并不限制深度图的获取方法。具体地说，利用公式1计算尺度归一化因子的，公式1表示如下：S＝Norm/max(W，H)(1)其中，S表示尺度归一化因子，W表示深度图的宽度，H表示深度图的高度，Norm表示预设的归一化尺度。Norm是预先设置的已知量，在具体应用中，如需要对连续帧的深度图进行处理建立三维点云，则对每一帧深度图的处理过程中使用的归一化尺度保持不变。利用公式2计算尺度归一化后的深度图，公式2表示如下：其中，WS表示尺度归一化后的深度图的宽度，HS表示尺度归一化后的深度图的高度。根据WS和HS可确定出尺度归一化后的深度图。具体地说，根据公式3及归一化后的深度图构建相机坐标系下的三维点云，该相机坐标系下的三维点云表示为P(Xc,Yc,Zc)，由于深度图中每个像素都含有相机到拍摄物体的距离值，则通过公式3将深度图中的像素坐标转换为相机坐标系的坐标，并构成相机坐标系下的三维点云，公式3表示如下：其中，u和v是任意点P在归一化后的深度图中的坐标值，Xc,Yc,Zc是点P在相机坐标系中的坐标值，M3×4是相机的内参矩阵，Zc为点P在尺度归一化后的深度图中的深度值，也就是相机到拍摄物体的距离值，为已知量。根据相机坐标系与世界坐标系之间的坐标转换关系，将相机坐标系中的三维点云P(Xc,Yc,Zc)转化为世界坐标系下的三维点云P(Xw,Yw,Zw)，该转换关系用公式4表示：其中，Xw、Yw和Zw是三维点云中任意点P在世界坐标系中的坐标值，Xc、Yc和Zc是点P在相机坐标系下的坐标值，α是相机在世界坐标系中与Xw轴的夹角，β是相机在世界坐标系中与Yw轴的夹角，γ是相机在世界坐标系中与Zw轴的夹角。其中，假设图像坐标系为o1-xy，则相机坐标系Oc-XcYcZc和像素坐标系o-uv的关系如图2所示，相机坐标系Oc-XcYcZc和世界坐标Ow-XwYwZw的关系如图3所示。其中，如图2中，以深度图左上角为原点建立的以像素为单位的直角坐标系o-uv作为像素坐标系，横坐标u表示像素点所在的像素列数，纵坐标v表示像素点所在的像素行数。将相机光轴与深度图平面的交点定义为图像坐标系o1-xy的原点o1，且x轴与u轴平行，y轴与v轴平行。相机坐标系Oc-XcYcZc以相机光心Oc为坐标原点，Xc轴和Yc轴分别与图像坐标系中的x轴和y轴平行，Zc轴为相机的光轴，和图像平面垂直并交于o1点。其中，如图3中，世界坐标系Ow-XwYwZw的原点Ow与相机坐标系的原点Oc重合，均为相机光心，选本文档来自技高网...

【技术保护点】
1.一种通路检测方法，其中，包括：根据获取的图像信息建立道路的三维点云；在所述三维点云中检测所述道路的地面信息；根据所述道路的地面信息确定预警区；检测所述预警区的通行状况，根据所述通行状况确定所述道路的通路检测结果。

【技术特征摘要】
【国外来华专利技术】1.一种通路检测方法，其中，包括：根据获取的图像信息建立道路的三维点云；在所述三维点云中检测所述道路的地面信息；根据所述道路的地面信息确定预警区；检测所述预警区的通行状况，根据所述通行状况确定所述道路的通路检测结果。2.根据权利要求1所述的通路检测方法，其中，所述在所述三维点云中检测所述道路的地面信息，具体包括：检测所述三维点云中的地面高度；确定所述地面高度上的障碍物信息；将所述地面高度和所述障碍物信息作为所述地面信息。3.根据权利要求2所述的通路检测方法，其中，所述根据所述道路的地面信息确定预警区，具体包括：构建预警区的空间坐标；根据所述地面高度确定所述预警区在所述空间坐标下的高度位置；根据所述障碍物信息确定所述预警区在所述空间坐标下的宽度和距离。4.根据权利要求2或3所述的通路检测方法，其中，所述根据所述道路的地面信息确定预警区之后，所述检测所述预警区的通行状况之前，所述通路检测方法还包括：根据所述地面高度调整所述预警区的位置。5.根据权利要求1-4任一项所述的通路检测方法，其中，所述根据所述通行状况确定所述道路的通路检测结果，具体包括：判断所述通行状况指示所述道路是否为可通行；若是，则确定所述预警区规划的通行路线，并根据所述通行路线确定所述道路的检测结果；否则，确定所述道路的检测结果为不可通行。6.根据权利要求2或3所述的通路检测方法，其中，所述检测所述三维点云中的地面高度，具体包括：对所述三维点云进行高度方向的自动阈值分割，获得第一地面区域；对所述三维点云进行距离方向的固定阈值分割，获得第二地面区域；根据所述第一地面区域和所述第二地面区域确定初始地面区域；计算所述初始地面区域的倾角；根据所述倾角确定所述地面区域的地面高度。7.根据权利要求1-6任一项所述的通路检测方法，其中，所述图像信息包括：深度图和相机的姿态角。8.根据权利要求7所述的通路检测方法，其中...

【专利技术属性】
技术研发人员：李业，廉士国，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44