作业车辆合成全景视觉系统技术方案

一种在作业车辆上使用的合成全景视觉系统，该系统包括显示装置、车载相机阵列和控制器。车载相机阵列依次包括第一车辆相机和第二车辆相机，第一车辆相机和第二车辆相机具有部分重叠的视场，并且被定位成分别从不同的有利位置捕获作业车辆的外部环境的第一相机馈送和第二相机馈送。在合成全景视觉系统的操作期间，控制器分别从第一相机和第二相机接收第一相机馈送和第二相机馈送；至少根据第一相机馈送和第二相机馈送生成作业车辆的外部环境的合成全景图像；以及然后将合成全景图像呈现在显示装置上，以供作业车辆的操作员查看。

【技术实现步骤摘要】
作业车辆合成全景视觉系统
本公开涉及一种作业车辆视觉系统的实施例，该作业车辆视觉系统根据由车载相机阵列捕获的多个相机馈送生成作业车辆的周围环境的合成全景图像。
技术介绍
在建筑、农业、林业、矿业和其它工业中使用的作业车辆通常在具有挑战性的作业环境中运行。在执行各种任务并躲避周围结构、邻近的作业车辆和其它障碍物时，操作员经常需要小心地驾驶这些作业车辆。考虑到作业车辆可能是尺寸较大且复杂的机械，在许多情况(包括使安装在吊杆上的工具或其它端部执行器移动)下，操作员需要具有相对较高的技术水平来控制作业车辆的各种功能。同时，作业车辆的底盘、铲斗或其它端部执行器相对于驾驶室的定位以及其它视觉障碍可能会限制从作业车辆的操作员站或驾驶室观察时的可见程度。为此，某些作业车辆现在配备有基于相机的显示系统或“视觉系统”，以向操作员提供作业车辆的外部环境的相对无阻碍的视野。作为特定示例，作业车辆可以配备有向操作员提供大体位于作业车辆后方的环境的视野的视觉系统，如在作业车辆的驾驶室内的显示屏上所呈现的。这不仅通过提供作业车辆的周围环境的无阻碍的后方视野来提高操作员效率和态势感知，而且还可以通过使操作员在查看显示屏和反向操作作业车辆时能够保持朝前的坐姿来提高操作员的舒适度。
技术实现思路
公开了一种作业车辆合成全景视觉系统，该作业车辆合成全景视觉系统根据由车载相机阵列捕获的相机馈送生成合成全景图像。在实施例中，作业车辆合成全景视觉系统包括显示装置、车载相机阵列和控制器，所述显示装置在作业车辆的操作员站内被使用。车载相机阵列依次包括安装到作业车辆的第一车辆相机，该第一车辆相机具有第一视场(FOV)，并且该第一车辆相机被定位成从第一有利位置捕获作业车辆的外部环境的第一相机馈送。相机阵列还包括安装到作业车辆的第二车辆相机，该第二车辆相机具有第二FOV，该第二FOV与第一FOV部分重叠，并且该第二车辆相机被定位成从第二有利位置捕获作业车辆的外部环境的第二相机馈送。控制器可操作地连接到显示装置、第一车辆相机以及第二车辆相机。控制器被配置成：(i)分别从第一车辆相机和第二车辆相机接收第一相机馈送和第二相机馈送；(ii)至少根据第一相机馈送和第二相机馈送生成作业车辆的外部环境的合并后的全景图像；以及(iii)将合并后的全景图像呈现在显示装置上，以供作业车辆的操作员查看。在其它实施例中，合成全景视觉系统包括车载相机阵列，该车载相机阵列包含：(i)安装到作业车辆的右后置车辆相机，该右后置车辆相机具有第一FOV，并且被定位成捕获作业车辆的外部环境的右后置车辆相机馈送；(ii)安装到作业车辆的中后置车辆相机，该中后置车辆相机具有第二FOV，该第二FOV与第一FOV重叠，并且该中后置车辆相机被定位成捕获作业车辆的外部环境的中后置车辆相机馈送；以及(iii)安装到作业车辆的左后置车辆相机，该左后置车辆相机具有第三FOV，该第三FOV与第二FOV重叠，并且该左后置车辆相机被定位成捕获作业车辆的外部环境的左后置车辆相机馈送。控制器可操作地连接到右后置车辆相机、中后置车辆相机、左后置车辆相机以及显示装置，该显示装置位于配备有合成全景视觉系统的作业车辆的驾驶室内。控制器被配置成使用从右后置车辆相机馈送、中后置车辆相机馈送和左后置车辆相机馈送中提取出的图像来生成作业车辆的外部环境的合并后的全景后方图像。在作业车辆合成全景视觉系统的操作期间，控制器将合并后的全景后方图像呈现在显示装置上，以供作业车辆的操作员查看。在附图和下列描述中阐述了一个或更多个实施例的细节。根据说明书、附图和权利要求书，其它特征和优点将变得显而易见。附图说明在下文中将结合下列附图描述本公开的至少一个示例：图1是配备有合成全景视觉系统的示例性实施例的作业车辆(此处为轮式装载机)的俯视图或平面图；图2是部署在图1所示的作业车辆上的示例性合成全景视觉系统的示意图，该系统包括控制器、显示装置和高度分布的相机阵列；图3和图4分别是图1至图2所示的轮式装载机的左视图和右视图，其描绘了包含在高度分布的相机阵列中的车载相机的潜在空间布置；图5是由图1至图4所示的合成全景视觉系统的控制器适当执行的示例性过程的流程图；以及图6示出了一示例性场景，在该场景中，由包含在高度分布的相机阵列中的不同车辆相机捕获的三个相机馈送可以在视觉上结合或合并以产生合成全景图像，该合成全景图像然后呈现在合成全景视觉系统的显示装置上。各个附图中相同的附图标记指代相同的元件。为了说明的简化和清楚性，可以省略公知特征和技术的描述和细节，以避免不必要地使在后续具体实施方式中描述的本专利技术的示例和非限制性实施例不清楚。还应当理解，除非另外说明，否则附图中出现的特征或元件不必按比例绘制。具体实施方式在上述简要描述的附图中示出了本公开的实施例。在不脱离如所附权利要求所阐述的本专利技术的范围的情况下，本领域技术人员可以设想对示例性实施例的各种修改。如本文中出现的，术语“外部环境”和术语“周围环境”可互换地使用以广泛地指作业车辆外部的作业环境或区域，无论该作业环境或区域总体上位于作业车辆的前方、侧方或后方，或其任何组合。此外，术语“显示”是指在显示装置的屏幕上生成的合成图像或“图片”，而术语“显示装置”是指其上呈现出显示(诸如下面所述的合成全景显示)的图像生成装置。概述如前所述，某些作业车辆可以配备有包括多个相机的视觉系统，使得操作员能够在作业车辆环境的不同相机(实时视频)馈送中进行选择，以供操作员在作业车辆的驾驶室内的显示装置上进行查看。考虑到许多作业车辆的相对较大的尺寸、操作能够同时执行多种作业功能的作业车辆所涉及的复杂性以及作业车辆经常在其中运行的动态环境，这种多相机视觉系统在作业车辆的情况下是特别有用的。因此，视觉系统内包括多个相机为操作员选择一相机馈送提供了更大的灵活性，该相机馈送提供了最适于一组特定情况或执行特定作业任务的作业车辆的外部环境的最佳视野。例如，在许多情况下，操作员可以与多相机视觉系统交互以选择提供了作业车辆的周围环境内的目标区域的优越视野的相机馈送，其中所选择的相机馈送可能不存在由视觉系统捕获的其它相机馈送中的视觉障碍物或阻碍物。常规地，作业车辆视觉系统通常在给定的时间点在显示装置上呈现单个相机馈送(即，由单个车辆相机捕获的图像)。因此，在作业车辆视觉系统包含多个车辆相机的情况下，操作员可能需要在可用相机馈送之间切换或浏览这些可用相机馈送，正如在显示装置上呈现的那样，以保持对视觉系统的所有可用相机馈送中包含的内容的态势感知。这不仅加重了操作员的工作量，而且还增加了在一特定相机馈送当前没有呈现在显示装置上时操作员可能不知道该特定相机馈送中包含的内容的可能性。当然，可以例如以并排格式、网格格式或画中画格式在显示装置上同时呈现多个相机馈送。然而，这种方法也是不利的，因为依赖于车辆相机的相应视场(FOV)，包含在相机馈送中并呈现在显示装置上的图像可能在视觉上是脱节的和冗余的。因此，在显示装置的视觉上不同的窗口或区域中同时呈现或显示多个相本文档来自技高网...

【技术保护点】
1.一种在具有操作员站的作业车辆上使用的作业车辆合成全景视觉系统，所述作业车辆合成全景视觉系统包括：/n显示装置，所述显示装置在所述作业车辆的所述操作员站内被使用；/n车载相机阵列，所述车载相机阵列包括：/n安装到所述作业车辆的第一车辆相机，所述第一车辆相机具有第一视场(FOV)，并且所述第一车辆相机被定位成从第一有利位置捕获所述作业车辆的外部环境的第一相机馈送；以及/n安装到所述作业车辆的第二车辆相机，所述第二车辆相机具有第二视场，所述第二视场与所述第一视场部分重叠，并且所述第二车辆相机被定位成从第二有利位置捕获所述作业车辆的外部环境的第二相机馈送；/n控制器，所述控制器可操作地连接到所述显示装置、所述第一车辆相机和所述第二车辆相机，所述控制器被配置成：/n分别从所述第一车辆相机和所述第二车辆相机接收所述第一相机馈送和所述第二相机馈送；/n至少根据所述第一相机馈送和所述第二相机馈送生成所述作业车辆的外部环境的合成全景图像；以及/n在所述显示装置上呈现所述合成全景图像以供所述作业车辆的操作员查看。/n

【技术特征摘要】
20191029 US 16/667,3561.一种在具有操作员站的作业车辆上使用的作业车辆合成全景视觉系统，所述作业车辆合成全景视觉系统包括：
显示装置，所述显示装置在所述作业车辆的所述操作员站内被使用；
车载相机阵列，所述车载相机阵列包括：
安装到所述作业车辆的第一车辆相机，所述第一车辆相机具有第一视场(FOV)，并且所述第一车辆相机被定位成从第一有利位置捕获所述作业车辆的外部环境的第一相机馈送；以及
安装到所述作业车辆的第二车辆相机，所述第二车辆相机具有第二视场，所述第二视场与所述第一视场部分重叠，并且所述第二车辆相机被定位成从第二有利位置捕获所述作业车辆的外部环境的第二相机馈送；
控制器，所述控制器可操作地连接到所述显示装置、所述第一车辆相机和所述第二车辆相机，所述控制器被配置成：
分别从所述第一车辆相机和所述第二车辆相机接收所述第一相机馈送和所述第二相机馈送；
至少根据所述第一相机馈送和所述第二相机馈送生成所述作业车辆的外部环境的合成全景图像；以及
在所述显示装置上呈现所述合成全景图像以供所述作业车辆的操作员查看。


2.根据权利要求1所述的作业车辆合成全景视觉系统，其中，所述第一车辆相机和所述第二车辆相机之间的视线(LOS)被所述作业车辆的介于中间的结构遮挡。


3.根据权利要求2所述的作业车辆合成全景视觉系统，其中，所述介于中间的结构在所述第一视场和所述第二视场中的至少一个中是可见的；并且
其中，所述控制器被配置成当至少根据所述第一相机馈送和所述第二相机馈送生成所述合成全景图像时，在视觉上从所述合成全景图像中移除所述介于中间的结构。


4.根据权利要求1所述的作业车辆合成全景视觉系统，其中，所述第一车辆相机和所述第二车辆相机分别包括左后置车辆相机和中后置车辆相机；
其中，所述车载相机阵列还包括右后置车辆相机，所述右后置车辆相机具有第三视场，所述第三视场与所述第二视场部分重叠，并且所述右后置车辆相机被定位成从第三有利位置捕获所述作业车辆的外部环境的第三相机馈送；并且
其中，所述控制器还连接到所述右后置车辆相机，并且所述控制器被配置成根据所述第一相机馈送、所述第二相机馈送和所述第三相机馈送生成所述合成全景图像。


5.根据权利要求4所述的作业车辆合成全景视觉系统，其中，所述作业车辆包括：纵向轴线、定位在所述纵向轴线的第一侧的左后车轮、以及定位在所述纵向轴线的相反的第二侧的右后车轮；
其中，如以俯视图的视角并沿着垂直于所述纵向轴线的横向轴线观察时，所述左后置车辆相机在相比所述纵向轴线更靠近所述作业车辆的所述左后车轮的位置处安装到所述作业车辆；
其中，如进一步以俯视图的视角并沿着所述横向轴线观察时，所述右后置车辆相机在相比所述纵向轴线更靠近所述作业车辆的所述右后车轮的位置处安装到所述作业车辆。


6.根据权利要求4所述的作业车辆合成全景视觉系统，其中，所述右后置车辆相机和所述左后置车辆相机以在约1米至约5米的范围内的相机间间距间隔开。


7.根据权利要求1所述的作业车辆合成全景视觉系统，其中，所述作业车辆包括位于所述操作员站后方的发动机舱壳体，并且
其中，所述第一车辆相机和所述第二车辆相机在邻近所述发动机舱壳体的相反侧的位置处安装到所述作业车辆。


8.根据权利要求1所述的作业车辆合成全景视觉系统，还包括至少一个障碍物检测传感器，所述至少一个障碍物检测传感器可操作地连接到所述控制器，并且所述至少一个障碍物检测传感器被配置成监测至少位于所述第一视场和所述第二视场中的障碍物；
其中，所述控制器还被配置成：
当通过所述障碍物检测传感器在所述第一视场和所述第二视场中的至少一个内检测到障碍物时，确定所述障碍物是否位于所述作业车辆的预定距离内；以及
如果确定所述障碍物位于所述预定距离内，则从在所述显示装置上呈现所述合成全景图像切换到呈现能够看到检测到的所述障碍物的单个相机视图。


9.根据权利要求8所述的作业车辆合成全景视觉系统，其中，所述预定距离等于或大于如沿所述作业车辆的纵向轴线以远离所述作业车辆移动的方式获取的、所述第一视场与所述第二视场重叠的距离。


10.根据权利要求1所述的作业车辆合成全景视觉系统，其中，所述第一视场和所述第二视场在视场重叠区域中重叠；并且
其中，所述控制器被配置成使用二维校准平面生成所述合成全景图像，所述二维校准平面横切所述视场重叠区域并且正交于所述作业车辆的纵向轴线。


11.根据权利要求10所述的作业车辆合成全景视觉系统，还包括至少一个障碍物检测传感器，所述至少一个障碍物检测传感器可操作地连接到所述控制器，并且所述至少一个障碍物检测传感器被配置成监测至少位于所述第一视场和所述第二视场中的障碍物；
其中，所述控制器被配置成：
跟踪由所述障碍物检测传感器在所述第一视场或所述第...

【专利技术属性】
技术研发人员：纳撒尼尔·M·克扎尼克，乔恩·M·哈戈曼，迈克尔·G·基恩，
申请(专利权)人：迪尔公司，
类型：发明
国别省市：美国;US