用于采矿机器的视觉驾驶辅助系统技术方案

一种用于采矿机器的视觉驾驶辅助系统，包括位于校准位置的至少一个立体摄像机，以用于获取立体图像。所述采矿机器包括两个主体部分。然后，所获取的立体图像用于生成环境和所述采矿机器的所述主体部分的三维模型。该三维模型可以用于为所述采矿机器的驾驶员生成视图，或者同样用于自主驾驶布置中。或者同样用于自主驾驶布置中。或者同样用于自主驾驶布置中。

【技术实现步骤摘要】
【国外来华专利技术】用于采矿机器的视觉驾驶辅助系统


[0001]本公开涉及采矿机器。特别地是，本公开涉及采矿机器的视觉驾驶辅助系统。

技术介绍

[0002]采矿机器通常是在狭小的采矿坑道或巷道中操作的大型机器。这些机器具有各种不同的任务，包括例如采石、钻凿和运输。它们通常由人驾驶。驾驶员可以位于采矿机器的驾驶室中，或者使用遥控器来控制采矿机器。当驾驶室的视野有限时，使用遥控器尤其有益。采矿机器通常包括一个以上的主体部分。因此，通常有牵引车或牵引主体部件和至少一个挂车。也有可能的是，主体部件相互联接，但是具有它们自己的动力传动系。
[0003]一种常用的解决方案是提供一个或多个摄像机，以便像在客车中一样提供驾驶辅助。这些摄像机通常是在小且坚固耐用的包装中的普通的二维摄像机单元。这些摄像机通常定位成使得它们不易损坏。例如，这可以通过提供保护盖或将摄像机放置到空腔或类似的保护形式来实现。摄像机可以用于覆盖盲点或形成360度摄像机视图，以显示客车周围环境。这些摄像机带来的一个问题是视图必须从图像中拉伸，并且这会导致图像失真。当涉及两个或更多主体部件并且采矿机器在狭窄的采矿坑道中行驶时，视图中的这些失真可能特别成问题。

技术实现思路

[0004]在以下公开中，公开了一种用于采矿机器的视觉驾驶辅助系统。视觉驾驶辅助系统包括位于校准位置的至少一个立体摄像机，用于获取立体图像。采矿机器包括两个主体部分。然后，所获取的立体图像用于生成环境和采矿机器的主体部分的三维模型。该三维模型可以用于为采矿机器的驾驶员生成视图，或者同样用于自主驾驶布置中。
[0005]在一个方面，公开了一种采矿机器。采矿机器包括被配置用以显示周围环境的摄像机装置，该采矿机器包括：主体，该主体包括第一主体部分、第二主体部分以及在第一主体部分和第二主体部分之间的铰接部；至少一个立体摄像机，该至少一个立体摄像机被配置用以获取向前方向上的一个或多个立体图像；处理电路，该处理电路被配置用以基于所获取的立体图像和采矿机器的尺寸来生成采矿坑道的三维模型。生成采矿坑道的三维模型是有益的，因为它可以用于在困难的环境中控制采矿机器。该模型可以由人或自主操作系统使用。
[0006]在实施方式中，处理电路被进一步配置用以将所生成的三维模型传输到用户界面。将三维模型或模型的渲染传送到用户界面是有益的，这使得控制采矿机器的人可以从所有角度观察采矿机器。用户界面可以在采矿机器中、在采矿机器附近的遥控器中或者在控制室中。这通过确保采矿机器的安全移动以及通过管理和降低碰撞风险来增加采矿机器的安全性。
[0007]在实施方式中，处理电路被配置用以使用多个从不同位置获取的图像来生成采矿坑道的三维模型，其中采矿机器已经移动以到达所述不同位置。从不同位置获取图像是有
益的，以便为完整的采矿坑道以及从第一位置不可见的部分构建所述模型。这样，例如，处于机器下面的坑底可以包含在模型中，尽管当前在摄像机中不可见。这在系统中形成了短期记忆的元素。
[0008]在实施方式中，采矿机器进一步包括一个或多个附加立体摄像机，其中每个立体摄像机相对于其它立体摄像机处于校准位置。使用几个彼此相互校准的立体摄像机是有益的，这样可以增加模型的精确度和覆盖。
[0009]在实施方式中，采矿机器包括在不同主体部分中的立体摄像机。具有在不同主体部分中的立体摄像机是有益的，因为主体部分可以沿着不同的路径移动。
[0010]在实施方式中，立体摄像机被配置用以获取不同方位的立体图像。在不同方位上获取图像是有益的，以便增加模型的覆盖。
[0011]在实施方式中，处理电路被配置用以使用从至少一个立体摄像机对获取的不同方位的多个立体图像来生成采矿坑道的三维模型。使用在不同方向获取的几个图像是有益的，以便增加模型的精确度。
[0012]在实施方式中，处理电路被配置用以确定第一主体部分和第二主体部分之间的铰接角度。确定主体部分之间的铰接角度是有益的，因为当接头的角度和长度已知时，可以计算出第二主体部分和第二主体部分中的摄像机的位置。
[0013]在实施方式中，处理电路被配置用以基于所确定的铰接角度来计算立体摄像机的新位置。计算第二主体部分中的立体摄像机的位置是有益的，以便可以组合由不同主体部分中的立体摄像机获取的图像。
[0014]在实施方式中，处理电路被配置用以为每个主体部分生成单独的三维模型并从所述单独的三维模型计算铰接角度。当单独的测量设备不可用时，计算主体部分之间的角度是有益的。
[0015]在实施方式中，采矿机器进一步包括铰接角度指示器。使用能够精确测量铰接角度的铰接角度指示器是有益的。
[0016]在实施方式中，采矿机器进一步包括至少一个二维摄像机或热感摄像机。使用附加成像设备是有益的，以支持一个或多个立体摄像机生成精确的三维模型，并通过向模型添加附加信息(例如颜色、可替代纹理或温度)来使模型更具信息量。
[0017]在实施方式中，处理电路被配置用以识别三维模型中的物体。识别模型中的物体是有益的，以便信息可以用于控制(特别是在采矿机器自主操作的情况下)。知道物体是否移动或是静止以及是否有可能驶近或者是否需要更多空间是有益的。此外，有时识别诸如充电器等基础设施是有益的。
[0018]在实施方式中，处理电路被进一步配置用以：生成第二三维模型；比较第一三维模型和第二三维模型；以及测量第一三维模型和第二三维模型之间的变化。测量早期生成的三维模型的变化是有益的，以便可以检测到采矿坑道是否已经改变。该信息可以用于控制其它采矿机器。
[0019]在实施方式中，处理电路被进一步配置用以：确定由立体摄像机获取的图像的曝光是否正确；以及在不正确曝光的情况下，指示立体摄像机获取第二立体图像，其中使用不同的曝光和/或照明设置来获取第二立体图像。检测所获取的图像的曝光是否正确是有益的。当曝光正确时，图像中的细节更清晰。
附图说明
[0020]所包括的附图是为了提供对用于采矿机器的视觉驾驶辅助系统的进一步理解并构成本说明书的一部分，所述附图示出了示例并与描述一起帮助解释用于采矿机器的视觉驾驶辅助系统的原理。在附图中：
[0021]图1是具有视觉驾驶辅助系统的采矿机器的示例的框图；
[0022]图2是用于采矿机器的视觉驾驶辅助系统的方法的示例；以及
[0023]图3是用于采矿机器的视觉驾驶辅助系统的方法的示例。
具体实施方式
[0024]现在将详细参考附图中示出的示例。
[0025]图1公开了具有视觉驾驶辅助系统的采矿机器的示例。在图1的示例中，该采矿机器包括第一主体部分100和第二主体部分105。在图1的示例中，该采矿机器在采矿坑道中在第一主体部分100的方向上前进。在图1的示例中，采矿机器由人108远程控制。采矿机器可以具有可用于控制采矿机器的驾驶室。在图1的示例中，控制由具有远程控制器的人108完成，该远程控制器被配置用以与采矿机器的通信接口150通信。远程控制器可以是任何合适的计算设备，例如平板电脑或本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种采矿机器，包括被配置用以显示周围环境的摄像机装置，所述采矿机器包括：主体，所述主体包括第一主体部分、第二主体部分以及在所述第一主体部分和所述第二主体部分之间的铰接部；至少一个立体摄像机，所述至少一个立体摄像机被配置用以获取向前方向上的一个或多个立体图像；处理电路，所述处理电路被配置用以基于所获取的立体图像和所述采矿机器的尺寸来生成采矿坑道的三维模型。2.根据权利要求1所述的采矿机器，其中，所述处理电路进一步被配置用以将所生成的三维模型传输至用户界面。3.根据权利要求1或2所述的采矿机器，其中，所述处理电路被配置用以使用多个从不同位置获取的图像来生成所述采矿隧道的所述三维模型，其中所述采矿机器已经移动以到达所述不同位置。4.根据权利要求1
‑
3中任一项所述的采矿机器，进一步包括一个或多个附加立体摄像机，其中每个立体摄像机相对于其它立体摄像机处于校准位置。5.根据权利要求1
‑
4中任一项所述的采矿机器，其中，所述机器包括位于不同主体部分中的立体摄像机。6.根据权利要求5所述的采矿机器，其中，所述立体摄像机被配置用以在不同方位获取立体图像。7.根据权利要求6所述的采矿机器，其中，所述处理电路被配置用以使用从至少一个立体摄像机对获取的不同方位的多个立体图像来生成所述采矿隧道的所述三维模型。8.根据权利要求1
‑

【专利技术属性】
技术研发人员：尤西，
申请(专利权)人：山特维克矿山工程机械有限公司，
类型：发明
国别省市：