用于提供用于控制机器人臂的决策依据的系统和方法、计算机程序以及非易失性数据载体技术方案

相机(110)登记挤奶位置的三维图像数据(D

【技术实现步骤摘要】
【国外来华专利技术】用于提供用于控制机器人臂的决策依据的系统和方法、计算机程序以及非易失性数据载体


[0001]本专利技术通常涉及动物的自动挤奶。特别地，本专利技术涉及一种用于提供用于控制机器人臂执行与产奶动物相关的至少一个动作的决策依据的系统以及一种对应的方法。本专利技术也涉及一种实现该方法的计算机程序和一种存储该计算机程序的非易失性数据载体。

技术介绍

[0002]现今的自动挤奶布置是高度复杂的装置。这在借助于为许多挤奶站服务的一个或多个挤奶机器人以完全自动化方式处理挤奶程序的场景中尤其如此。在这样的情况下，挤奶机器人在没有任何人类交互的情况下将奶杯和其他工具例如清洁杯附着到动物。当然，挤奶机器人臂的移动不会对动物造成任何伤害是至关重要的。为此，当控制机器人臂时，必须给挤奶机器人提供可靠的决策依据。
[0003]WO 2010/046669描述了一种挤奶设备，该挤奶设备包括传感器设备，该传感器设备在使用挤奶设备时可操作来确定动物的至少一个解剖学特征的在相对于动物的横向方向上的位置，所述至少一个解剖学特征是除动物的乳房以外的某物。传感器设备包括可操作来获取动物的至少部分的至少一个图像的图像捕获设备。挤奶设备也包括在使用挤奶设备时位于动物后面或前面的机器人臂。机器人臂可操作来按照所确定的解剖学特征的位置朝向乳房移动。
[0004]此设备可以是有用的。然而，所捕获的图像的数据质量可能不足以提供在控制与动物极为接近的机器人臂时能够完全地依赖于的决策依据。

技术实现思路

[0005]本专利技术的目的因此是为了提供用于自动控制机器人臂以高效方式执行与产奶动物相关的动作的增强决策依据。
[0006]根据本专利技术的一个方面，目的通过一种用于提供用于控制机器人臂执行与产奶动物相关的至少一个动作的决策依据的系统来实现。该系统包括相机和控制单元。相机被配置为登记表示挤奶位置的三维(3D)图像数据，所述挤奶位置进而包含所述动物以其后腿面向相机站立在上面的旋转平台。控制单元被配置为从相机接收图像数据，并且处理该图像数据以推导决策依据，例如指示控制机器人臂执行所述至少一个动作否合适。挤奶位置包含例如形式为物理实体或物理实体的一部分的参考物体，其与旋转平台的旋转平面平行地横向延伸。具体地，控制单元对图像数据的处理涉及检查是否能够在图像数据中找到用于机器人臂的进入窗口。检查进而涉及在图像数据中搜索参考物体；并且如果参考物体被找到，则在图像数据中搜索可接受的无障碍体积。无障碍体积位于相对于参考物体的允许空间内，包含面向相机的连续区域，所述连续区域超过阈值大小。此外，无障碍体积从预定义方位开始并且在深度方向上远离相机延伸至少主要距离。
[0007]此系统是有利的，因为它定义了明确定义的空间，其中只要此空间是可用的，机器
人臂就能够以安全方式操作。此外，明确定义的空间通过3D图像数据的相对小的子集来表示。因此，高度的可靠性能够与高数据处理效率组合。
[0008]根据本专利技术的这方面的一个实施方式，如果不能在图像数据中够找到参考物体，则检查涉及从表示挤奶位置的存储的图像数据获得关于参考物体的信息，所述存储的数据由相机在当挤奶位置被定位在相机前面时的较早时机登记了。因此，即使参考物体被暂时遮挡，也能够实现所提出的对进入窗口的检查。
[0009]根据本专利技术的这方面的另一实施方式，参考物体包含与旋转平台的旋转平面平行地横向延伸的物理实体或物理实体的一部分。因此，参考物体可以是位于旋转平台(例如，立柱、杆、栏杆或栏杆支架)上或与之相邻的任何种类的停止设备。
[0010]相机被优选地布置在这样的方位、定向并有这样的视场，使得在横向方向上，所登记的3D图像数据包括至少一个挤奶隔间的宽度。在纵向方向上，所登记的3D图像数据包括允许空间和参考物体。参考物体在横向方向上至少跨视场的中心部分延伸。优选地，参考物体跨图像数据的整个宽度延伸。结果，参考物体可容易地用作在3D图像数据中导航的起点。
[0011]参考物体可以形成布置在与旋转平台分离的挤奶位置的不动部分上的结构的一部分，并且所述结构被配置为防止后腿到达挤奶位置的安全区之外。因此，所谓的踢栏杆能够被用作参考物体。这是有利的，因为踢栏杆是位于距相机不同距离处的清晰可辨别的物体；换句话说，理想参考物体。
[0012]优选地，如果控制单元已在图像数据中找到可接受的无障碍体积，则控制单元被进一步配置为检查界定连续区域的一个或多个轮廓是否满足至少一个形状要求。例如，此类形状要求可以涉及连续区域的最大可接受的锯齿状程度和/或最大可接受的不规则程度。如果满足至少一个形状要求中的每一个要求，则控制单元被配置为将所述体积分类为用于机器人臂的进入窗口。这意味着经由进入窗口在动物之下控制机器人臂被认为是安全的。
[0013]如果控制单元已在图像数据中找到可接受的无障碍体积，则根据本专利技术的这方面的一个实施方式，控制单元被进一步配置为在图像数据的允许空间中搜索动物的乳房。这里，控制单元针对搜索使用参考物体作为第一边界条件并且使用旋转平台作为第二边界条件。因此，搜索空间被充分地界定。这进而使得搜索程序能够高效地完成。
[0014]优选地，搜索所述体积涉及滤出图像数据中的信息，所述信息表示比第一阈值距离更靠近相机并且比第二阈值距离更远离相机的物体。第一阈值距离和第二阈值距离彼此分离主要距离。这进一步界定搜索空间，从而更进一步提高搜索程序的效率。
[0015]预定义方位可以位于距相机第一阈值距离处，并且根据本专利技术的一个实施方式，第一阈值距离是零，即主要距离已经从相机开始。即，动物常常相对地靠近相机。因此，搜索空间可能需要从相机的前透镜开始。主要距离的远端可以相对于旋转平台的至少一个量度被定义，例如远离平台的边缘的特定距离最靠近与机器人臂的典型操作范围相对应的相机。
[0016]根据本专利技术的这方面的另一个实施方式，搜索所述体积涉及滤出图像数据中的信息，所述信息表示可接受的强度范围之外的光强度。换句话说，搜索空间被界定在除距离关系外的其他地面上。然而，光强度通常与距离相关，即相对低的光强度常常与相对较远的物体表面相关联，并且反之亦然。当然，与位于靠近相机的非常暗的物体比，遥远且非常明亮
地着色的物体可以产生更高强度的图像数据。
[0017]根据本专利技术的这方面的附加实施方式，推测了挤奶位置包含其方位相对于相机的方位已知的至少一个辅助参考物体。这里，控制单元被进一步配置为在执行检查是否能够找到进入窗口时在图像数据中搜索至少一个辅助参考物体。即，由此能够非常准确地定位进入窗口。这进而改进所提供的决策支持的质量。
[0018]根据本专利技术的另一方面，目的通过一种提供用于控制机器人臂执行与产奶动物相关的至少一个动作的决策依据的方法来实现。该方法涉及经由相机登记表示挤奶位置的3D图像数据。挤奶位置进而包含动物以其后腿面向相机站立在上面的旋转平台。该方法还涉及处理图像数据以推导决策依据，例如指示控制机器人臂执行至少一个动作是否合适。挤奶位置包含参考物体，并且该方法具体地涉及执行检查是否能够本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于提供用于控制机器人臂执行与产奶动物(100)相关的至少一个动作的决策依据(DB)的系统，所述系统包括：相机(110)，所述相机被配置为登记表示挤奶位置的三维图像数据(D
img3D
)，所述挤奶位置包括所述动物(100)以其后腿(LH、RH)面向相机(110)站立在上面的旋转平台(130)，以及控制单元(120)，所述控制单元被配置为从所述相机(110)接收所述图像数据(D
img3D
)，并且处理所述图像数据(D
img3D
)以推导所述决策依据(DB)，其特征在于：所述挤奶位置包括参考物体(R1)，并且所述控制单元(120)被配置为执行检查是否能够在所述图像数据(D
img3D
)中找到用于所述机器人臂的进入窗口，所述检查包括：在所述图像数据(D
img3D
)中搜索所述参考物体(R1)，并且如果所述参考物体(R1)被找到，则在所述图像数据(D
img3D
)中搜索可接受的无障碍体积(V)，所述体积(V)：位于相对于所述参考物体(R1)的允许空间(S)内，包括面向所述相机(110)的连续区域(A)，所述连续区域(A)超过阈值大小，并且从预定义方位(P)开始并且在深度方向上远离所述相机(110)延伸至少主要距离(d
OK
)。2.根据权利要求1所述的系统，其中如果在所述图像数据(D
img3D
)中未找到所述参考物体(R1)，则所述检查包括：从表示所述挤奶位置的存储的图像数据(d
img3D
)获得关于所述参考物体(R1)的信息，所述存储的图像数据(d
img3D
)由所述相机(110)在当所述挤奶位置被定位在所述相机(110)前面时的较早时机登记了。3.根据权利要求1或2中任一项所述的系统，其中：所述参考物体(R1)包括与所述旋转平台(130)的旋转平面平行地横向延伸的物理实体或物理实体的一部分；所述相机(110)被布置在这样的方位、定向并有这样的视场，使得所述登记的三维图像数据(D
img3D
)在横向方向上包括至少一个挤奶隔间的宽度，而在纵向方向上，包括允许空间(S)和所述参考物体(R1)；并且所述参考物体(R1)在所述横向方向上跨所述视场的中心部分延伸。4.根据前述权利要求中任一项所述的系统，其中所述参考物体(R1)形成布置在与所述旋转平台(130)分离的所述挤奶位置的不动部分(131)上的结构的一部分，所述结构被配置为防止所述后腿(LH、RH)到达所述挤奶位置的安全区之外。5.根据权利要求4所述的系统，其中，如果所述控制单元(120)已在所述图像数据(D
img3D
)中找到可接受的无障碍体积(V)，则所述控制单元(120)被进一步配置为：检查界定所述连续区域(A)的至少一个轮廓(C1、C2、C3)是否满足至少一个形状要求，并且如果满足所述至少一个形状要求则将所述体积(V)分类为用于所述机器人臂的所述入口窗口。6.根据权利要求5所述的系统，其中，如果所述控制单元(120)已在所述图像数据(D
img3D
)中找到可接受的无障碍体积(V)，则所述控制单元(120)被进一步配置为：针对所述搜索使用所述参考物体(R1)作为第一边界条件并且使用所述旋转平台(130)
作为第二边界条件来在所述图像数据(D
img3D
)的允许空间(S)中搜索所述动物(100)的乳房(U)。7.根据权利要求5或6中任一项所述的系统，其中所述至少一个形状要求中的第一形状要求定义所述至少一个轮廓(C1、C2、C3)的最大可接受的锯齿程度。8.根据权利要求5至7中任一项所述的系统，其中所述至少一个形状要求中的第二形状要求定义所述连续区域(A)的最大可接受的不规则程度。9.根据前述权利要求中任一项所述的系统，其中所述搜索所述体积(V)包括滤出所述图像数据(D
img3D
)中的信息，所述信息表示与第一阈值距离(d1)比更靠近所述相机(110)而与第二阈值距离(d2)比更远离所述相机(110)的物体，所述第一阈值距离和第二阈值距离(d1、d2)彼此分离所述主要距离(d
OK
)。10.根据权利要求9所述的系统，其中所述预定义方位(P)位于距所述相机(110)所述第一距离距离(d1)处。11.根据权利要求10所述的系统，其中所述第一阈值距离(d1)是零。12.根据前述权利要求中任一项所述的系统，其中所述主要距离(d
OK
)是相对于所述旋转平台(130)的至少一个量度来定义的。13.根据前述权利要求中任一项所述的系统，其中所述搜索所述体积(V)包括滤出所述图像数据(D
img3D
)中的信息，所述信息表示可接受的强度范围之外的光强度。14.根据前述权利要求中任一项所述的系统，其中所述挤奶位置包括所述挤奶位置的其方位相对于所述相机(110)的方位已知的至少一个辅助参考物体(R11、R2)，并且所述控制单元(120)被进一步配置为在执行所述检查是否能够找到所述进入窗口时在所述图像数据(D
img3D
)中搜索所述至少一个辅助参考物体(R11、R2)。15.一种提供用于控制机器人臂执行与产奶动物(100)相关的至少一个动作的决策依据(DB)的方法，所述方法包括：经由相机(...

【专利技术属性】
技术研发人员：E奥斯卡森，
申请(专利权)人：利拉伐控股有限公司，
类型：发明
国别省市：