提供了一种用于使用机器视觉以非接触方式对工作机器上的机具的位置和取向进行确定系统和方法。安装在车辆上的3D相机具有包括机具上的组件(例如，在一些示例中为标记)的视场，该3D相机确定所述组件中的每个组件在局部坐标系中的三维位置。全球定位系统与惯性测量单元协作确定3D相机在全球坐标系中的三维位置和三维取向。计算系统使用组件的局部三维位置以及3D相机的全球三维位置和全球三维取向来针对所述组件计算在全球坐标系中的三维位置。然后可以基于所计算的组件的全球三维位置计算机具的位置和取向。计算机具的位置和取向。
【技术实现步骤摘要】
【国外来华专利技术】使用机器视觉对工作机器上的机具进行控制的系统和方法
[0001]本公开总体上涉及工作机器上的机具(implement)控制，并且更具体地涉及使用非接触系统和用于确定机具的位置的方法来实现对工作机器上的机具的控制。
技术介绍
[0002]在建筑和农业操作中使用的各种类型的运土(earth
‑
moving，土方)工作机器利用机具来执行一系列典型的工地功能。作为示例，诸如推土机、自动平地机、挖掘机、拖拉机等之类的工作机器通常包括作为用于执行工地功能的机具的铲刀(blade)，所述工地功能例如为使用推土机的铲刀将工地的一部分平整到所需的坡度。在许多建筑和农业操作中，越来越需要更高的精确度，以提高生产力和效率、降低成本和/或提高成品的质量。
[0003]为了满足这些需求，现在正在使工作机器的许多操作自动化以提高效率和精确度，同时还减少操作中的人为因素的影响。自动化的典型候选者是用于控制推土机、自动平地机或其他类似工作机器的铲刀的控制系统。例如，在执行高精确度的定表面坡度时，特别是在给定时间限制而以最少量的时间完成此类任务时，以非常高的精确度(例如，在厘米范围内)控制推土机或平地机的铲刀位置很重要。
[0004]用于控制铲刀位置的一些布置利用安装在铲刀自身的本体上的全球导航卫星系统(GNSS)天线。然后使用GNSS接收器来确定铲刀在空间中的位置和取向。在其他布置中，线性行程传感器放置在液压铲刀控制系统上，然后相对于工作机器自身的本体来计算铲刀的位置和取向。在又一布置中，惯性测量单元(IMU)安装在铲刀的本体上以再次相对于工作机器自身的本体来确定铲刀的位置和取向。
[0005]这些和其他布置需要将元件(例如，天线、传感器、测量装置等)安装在机具的本体上，这会导致各种问题，这些问题会对工作机器的操作中的精确度、可靠性、效率和质量产生不利影响。例如，与工作表面接触的推土机的铲刀会受到大量的冲击和振动引起的影响。结果，安装的传感器和其他敏感组件的操作可能会受到不利影响，从而导致工作输出的质量下降以及装备和组件故障、破损等。另一缺点涉及必须安装在铲刀上的大量传感器(或其他元件)，这造成了与现有标准控制系统集成困难且负复杂的分散性布置。
技术实现思路
[0006]根据各种实施方式，这些和其他问题通过使用机器视觉以非接触方式对工作机器上的机具的位置和取向进行确定的解决方案来解决。在一个或更多个实施方式中，该解决方案可以是集成式设计，其可以在不需要对工作机器的标准配置进行重大改变并且不需要与现有控制系统进行复杂集成的情况下进行安装。
[0007]根据一种实施方式，提供了一种用于对车辆上的机具的位置和取向进行确定的系统，该系统包括三维(3D)相机、全球定位系统、惯性测量单元(IMU)和计算系统。3D相机安装至车辆上的结构件，使得3D相机具有包括机具的多个组件(例如，特征)的视场。3D相机被配置成对多个组件(特征)中的每个组件在局部坐标系中的局部三维位置进行确定。全球定位
系统和IMU也安装至与3D相机相同的结构件，所述全球定位系统和IMU被配置成对3D相机在全球坐标系中的全球三维位置和全球三维取向进行确定。计算系统以通信的方式耦合到3D相机、IMU和全球定位系统，并且被配置成使用多个标记中的每个标记的局部三维位置和3D相机的全球三维位置和全球三维取向来针对(机具的)多个组件中的每个组件计算在全球坐标系中的全球三维位置。计算系统还被配置成基于针对多个组件中的每个组件所计算的全球三维位置来计算机具的位置和取向。
[0008]其他实施方式包括根据上述系统的用于对车辆上的机具的位置和取向进行确定的方法和被实施在非暂态计算机可读介质上的计算机程序。
[0009]根据一个或更多个实施方式，3D相机是3D立体相机。在各种实施方式中，多个组件包括位于机具上的多个标记(marker)，所述多个标记包括基于特定颜色的特征或基于特定形状的特征中的至少一者。根据一种实施方式，该系统还包括近红外照明器，该照明器被配置成对多个组件(例如，标记)进行照明以用于增强由立体相机进行的图像捕获。在一个或更多个实施方式中，全球定位系统、IMU和立体相机定位在结构件上的共同位置的布置结构中，该结构件可以安装至车辆的舱体上的舱顶表面。根据另一实施方式，计算系统还被配置成基于所计算的机具的位置和取向来计算机具的高度和倾斜度。在其他实施方式中，车辆是包括左履带和右履带的履带式工作机器，并且3D相机被配置成捕获在3D相机的视场内的左履带和右履带的运动的图像。在这些实施方式中，计算系统被配置成基于所捕获的图像，根据所测得的左履带的速度和所测得的右履带的速度来计算履带速度。在该示例中，计算系统可以被配置成基于所计算的履带速度与由全球定位系统测量的工作机器速度的比较来计算滑移率。在另一实施方式中，机具是运土铲刀，并且立体相机被配置成基于在立体相机的视场内捕获的铲刀的图像来对超过铲刀的高度的铲刀负载的能力进行检测。
[0010]通过参考以下详细描述和随附附图，这些和其他优点对于本领域普通技术人员将是显而易见的。
附图说明
[0011]图1是示出根据一个或更多个实施方式的用于对车辆上的机具的位置进行确定的系统的框图；
[0012]图2是根据一个或更多个实施方式的运土工作机器的侧视图；
[0013]图3A是根据一个或更多个实施方式的可安装系统的侧视图，且图3B是其俯视图；
[0014]图4是根据一个或更多个实施方式的运土工作机器的俯视图；
[0015]图5A示出了根据一个或更多个实施方式的NIR照明的光谱相关特征的图表，图5B示出了其时序相关特征的图表；
[0016]图6是示出根据一个或更多个实施方式的用于对车辆上的机具的位置进行确定的方法的流程图；
[0017]图7是根据一个或更多个实施方式的基于履带的运土机器的立体图，其示出了用于测量履带速度和检测铲刀负载的系统的特征；以及
[0018]图8示出了根据一个或更多个实施方式的计算系统的高级框图。
具体实施方式
[0019]现在将参照随附附图更全面地描述各种说明性实施方式，在附图中示出了一些说明性实施方式。然而，应当理解，不旨在将说明性实施方式限制为所公开的特定形式，相反，说明性实施方式旨在覆盖落入权利要求范围内的所有修改、等同物和替代物。在适当的情况下，相同的数字在整个附图的描述中指代相同的元件。应当理解，尽管本文可以使用诸如第一、第二等之类的术语来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一元件。例如，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件，而不脱离说明性实施方式的范围。如本文所用，术语“和/或”包括相关联地列出的项目中的一个或更多个项目的任何和所有组合。
[0020]根据本文所述的各种实施方式，非接触式测量解决方案可用于控制工作机器的机具(铲刀)的操作。如以下将更详细描述的，根据各种实施方式的系统和方法利用机器视觉来确定机具的位本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于对车辆上的机具的位置和取向进行确定的系统，所述系统包括：三维(3D)相机，所述3D相机安装至所述车辆上的结构件，使得所述3D相机具有包括所述机具的多个组件的视场，所述3D相机被配置成：确定所述多个组件中的每个组件在局部坐标系中的局部三维位置；全球定位系统和惯性测量单元，所述全球定位系统和所述惯性测量单元安装至所述结构件，所述全球定位系统和所述惯性测量单元被配置成：确定所述3D相机在全球坐标系中的全球三维位置和全球三维取向；以及计算系统，所述计算系统以通信的方式耦合至所述3D相机、所述全球定位系统和所述惯性测量单元，所述计算系统被配置成：使用所述多个组件中的每个组件的所述局部三维位置、所述3D相机的所述全球三维位置和所述3D相机的所述全球三维取向，针对所述多个组件中的每个组件计算在所述全球坐标系中的全球三维位置；以及基于针对所述多个组件中的每个组件所计算的全球三维位置来计算所述机具的位置和取向。2.根据权利要求1所述的系统，其中，所述3D相机是立体相机。3.根据权利要求1所述的系统，其中，所述多个组件包括位于所述机具上的多个标记，所述多个标记包括基于特定颜色的特征或基于特定形状的特征中的至少一者。4.根据权利要求1所述的系统，其中，所述局部坐标系与所述3D相机相关联。5.根据权利要求1所述的系统，所述系统还包括近红外照明器，所述近红外照明器被配置成：对所述多个组件进行照明以用于增强由所述3D相机进行的图像捕获。6.根据权利要求1所述的系统，其中，所述计算系统还被配置成：基于所计算的所述机具的位置和取向来计算所述机具的高度和倾斜度。7.根据权利要求1所述的系统，其中，所述全球定位系统和所述惯性测量单元集成有至少一个天线。8.根据权利要求1所述的系统，其中，所述结构件安装至所述车辆的舱体上的舱顶表面，并且其中，所述3D相机、所述全球定位系统和所述惯性测量单元定位在所述结构件上的共同位置的布置结构中。9.根据权利要求8所述的系统，其中，所述车辆是工作机器并且所述机具是运土机具。10.根据权利要求9所述的系统，其中，所述运土机具是铲刀，并且其中，所述3D相机被配置成：基于在所述3D相机的所述视场内所捕获的所述铲刀的图像，对超过所述铲刀的高度的铲刀负载的能力进行检测。11.根据权利要求9所述的系统，其中，所述工作机器是履带式工作机器，所述履带式工作机器包括左履带和右履带，并且其中：所述3D相机被配置成：捕获所述左履带和所述右履带的运动的图像，所述左履带和所述右履带位于所述3D相机的所述视场内；所述计算系统被配置成：基于所捕获的图像，根据所测得的左履带的速度和所测得的右履带的速度来计算履带速度；所述全球定位系统被配置成计算工作机器速度；以及所述计算系统被配置成：基于所计算的履带速度与所计算的工作机器速度的比较来计
算滑移率。12.一种用于对车辆上的机具的位置和取向进行确定的方法，所述方法包括：利用三维(3D)相机，确定在所述3D相机的视场中的所述机具的多个组件中的每个组件在局部坐标系中的局部三维位置；利用全球定位系统和惯性测量单元，确定所述3D相机在全球坐标系中的全球三维位置和全球三维取向；使用所述多个组件中的每个组件的所述局部...
【专利技术属性】
技术研发人员：米哈伊尔，
申请(专利权)人：拓普康定位系统公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。