【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及用于评估工业环境中的一个或多个对象的质量的方法、系统和计算机程序产品。更特别地，本公开涉及使用图像处理技术和人工智能方法的组合结合分析方法来评估对象的质量。
技术介绍
1、工业的快速数字化正在带来当前工业实践中的关键改变。例如，典型地对工业中的对象执行分类，以证明该对象和/或相关联的产品满足所定义的等级和质量要求。
2、尤其是在诸如集装箱码头的一些工业环境中，利用起重机的帮助的装载过程正在越来越普遍，并且是自动化的，即无需由操作者进行的人工干预。在这样的情况下，质量归类，包括通过起重机拾取和放下诸如线圈之类的对象，要求人类干预以用于评估对象的质量，并且此后通过起重机拾取、放下和分类装载对象。此外，为了确保装载操作的安全性，尤其是对于自动起重机而言，存在对于安全性系统和保护设备的很大需要，所述安全性系统和保护设备在起重机移动期间监视起重机被部署在其中的车道或环境，以便避免与起重机附近的对象或人碰撞。
3、典型地，质量归类由经训练的人类检查者执行，所述人类检查者通过寻找特定的质量属性来评估对象。这样的检查过程通常牵涉使用实验室的进一步测试，并且因此是耗时的。此外，这样的人类驱动的对象质量检查要求其他装备，例如用于估计对象的当前重量的秤、用于测量迹线和参数(诸如对象中的湿度)的实验室等。
4、更进一步地，常规的质量检查过程不仅由于对人类专门知识的严重依赖而经受不一致性，而且由于人工劳动成本而是昂贵的，并且考虑到工业规模和要被检查的对象的巨大体积而是麻烦的。为了解决前述问题，已经建议和/或使
5、更进一步地，用于标识工业对象缺陷的现有方法使用无监督学习方法，其中对象的表面颜色和表面纹理充当对象图像中的主要参数，以预测与其相关联的缺陷。图像分割在从图像中标识缺陷方面扮演核心角色。图像分割包括将图像的像素分类成随机数量的聚类。然而，在无监督图像分割中选择聚类标签的数量是一项具有挑战性的任务，并且耗尽了系统的处理能力和存储器，因此使其是资源密集型的。
技术实现思路
1、因此，本公开的一个目的是提供一种用于评估工业环境中对象的质量的质量评估系统、设备和方法，其采用有监督的机器学习方法结合选择的图像处理技术集，以时间和成本有效的方式基于(一个或多个)对象图像来标识工业环境中对象的质量，同时确保相关联的训练时间保持最小。
2、前述目的以如下方式实现：提供根据权利要求1的用于管理起重机系统的方法、根据权利要求8的起重机系统以及根据权利要求11的用于管理起重机系统的计算机程序产品。
3、本文中公开的是一种能够处置对象的起重机系统。根据实施例，起重机系统是在工业环境中可部署的高架起重机。如本文中所使用的，术语“对象”指代工业对象，例如沉重的金属线圈，并且因此要求起重机系统被从一个地方移动到另一个地方。
4、起重机系统包括被定位成使得捕捉对象的多个图像的相机。相机包括例如能够捕捉对象的高清晰度实时图像的高清晰度光探测和测距(lidar)相机。根据实施例，起重机系统包括安装在起重机系统上的预定义位置处的三个相机。根据该实施例，第一相机被布置在起重机系统的门架的第一端部处；第二相机被布置在门架的第二端部处；并且第三相机被布置在门架上的吊机附近。有利地，这些相机中的每一个被关于对象和/或能够移动对象的吊机针对预定义的捕捉角度对准。有利地，捕捉角度是基于起重机系统的大小和取向以及起重机系统部署在其中的区域来定义的。
5、将由本领域技术人员领会的是，被定位在门架的任一端部处的两个相机具有相似的功能性，并且可以容易地彼此替换。然而，在其中由于不可预见的情形而导致相机之一的视场被阻挡的情况下，具有这两者提供了所要求的冗余。
6、起重机系统包括具有人工神经网络的计算单元。所述计算单元从相机接收对象的图像，有利地是实时接收。有利地，人工神经网络被存储在计算单元上。人工神经网络是经训练的人工神经网络，例如，被训练来分析图像以用于识别图像中的模式。例如，人工神经网络是卷积神经网络(cnn)，其可以包括具有cnn的金字塔场景解析网络(pspnet)，以便捕捉局部和全局信息这两者连同图像的空间信息，由此使得处置对象的起重机系统不仅能够确定对象中的缺陷，还能够确定对象的剩余有用寿命。将由本领域技术人员领会的是，剩余有用寿命因子受制于对象的类型。例如，如果有的话，在与非易腐对象相比时，剩余有用寿命可以与由起重机系统处置的易腐对象更相关。
7、起重机系统包括控制单元。控制单元可以与起重机系统的驱动系统通信，使得控制单元直接或经由驱动系统引起相机和/或起重机系统的物理移动。
8、根据一个实施例，控制单元移动起重机系统，并且由此引起相机的物理移动。根据该实施例，相机由起重机系统的移动触发，以开始捕捉对象的图像。
9、根据另一实施例，控制单元独立地引起相机的移动，并且由此触发它们捕捉对象的图像。
10、有利地，相机沿着门架轨道的纵轴a-a’捕捉对象的图像。控制单元可以沿着垂直于纵轴的横轴移动被布置在门架上的吊机附近的相机之一。根据该实施例，计算单元被例如经由有线或无线通信网络可操作地耦合到控制单元，所述有线或无线通信网络包括互联网、内联网、有线网络、无线网络和/或能够建立强大和安全的通信的任何其他合适的通信网络。根据另一实施例，控制单元可以包括作为一部分或作为整体的计算单元。根据又一实施例，计算单元可以包括作为一部分或作为整体的控制单元。
11、根据实施例，计算单元从相机接收图像。根据该实施例，计算单元通过执行图像的预处理从图像生成图像数据流，图像的预处理包括但不限于降低图像中的噪声、增强图像的对比度，例如，通过应用中值滤波器，之后是直方图均衡化，之后是另一个中值滤波器，和/或将图像拼接在一起以形成图像数据流。根据该实施例，计算单元例如通过执行背景减法，从图像中确定与对象相关联的前景。根据该实施例，计算单元从图像中标注(一个或多个)前景。根据另一实施例，计算单元接收基于由相机捕捉的图像来生成的图像数据流。
12、计算单元使用人工神经网络来分析基于图像生成的图像数据流。计算单元基于对图像数据流的分析来确定与对象相关联的一个或多个对象性质。对象性质包括至少对象的质量。对象的质量基于对象中的(一个或多个)缺陷的存在来定义。对象性质还可以包括定位、取向、对象的尺寸、对象的类型、对象的表面、对象的边缘等。
13、计算单元从图像数据流中检测对象中的一个或多个异常的存在。所述异常包括例如对象中的缺陷、对象紧附近的人类等。计算单元基于人工神经网络分割图像并且标识对象中的标记，其中标记之间的距离对应于对象中的异常的程度。
14、人工神经网络包括标记图像，计算单元基于所述标记图像将图像分割成多个区域，即基于颜色、轮廓等的像素聚类。本文档来自技高网...
【技术保护点】
1.一种用于管理能够处置对象(201)的起重机系统(200)的方法(100A)，所述方法包括：
2.根据权利要求1所述的方法，其中生成图像数据流包括执行如下各项中的至少一个：
3.根据权利要求1或2所述的方法，其中使用人工神经网络分析图像数据流包括从图像数据流中检测与对象(201)相关联的一个或多个异常的存在，并且其中所述异常包括对象中的缺陷和对象附近的人类中的一个或多个。
4.根据前述权利要求中任一项所述的方法，其中使用人工神经网络分析图像数据流包括：
5.根据前述权利要求中任一项所述的方法，其中自动操作起重机系统(200)包括操作起重机系统(200)的吊机(208)，以用于在人工神经网络的训练期间，基于基于对象性质定义的预定义处置参数来处置对象(201)。
6.根据权利要求5所述的方法，进一步包括取决于图像数据流的图像(300A)中的标记(201B)的定位来控制吊机(208)和起重机系统(200)之一的至少一个工作参数。
7.一种用于特别是根据权利要求1-6中任一项训练人工神经网络的方法(100B)，用于
8.一种能够处置对象(201)的起重机系统(200)，包括：
9.根据权利要求8所述的起重机系统(200)，其中所述控制单元(209)被配置为沿着门架轨道(210A，210B)的轴(A-A’)移动用于捕捉对象(201)的图像(300A)的相机(202，203，204)。
10.根据权利要求8和9中任一项所述的起重机系统(200)，包括布置在起重机系统(200)的门架(211)的第一端部(211A)处的第一相机(202)，布置在门架(211)的第二端部(211B)处的第二相机(203)，以及布置在门架(211)上的吊机(208)附近的第三相机(204)。
11.一种具有人工神经网络的计算单元(205)，用于管理根据权利要求8-10中任一项的起重机系统(200)。
12.一种包括存储计算机程序代码的非暂时性计算机可读存储介质的计算机程序产品，所述计算机程序代码包括指令，所述指令由计算单元(205)的至少一个处理器可执行，以用于管理根据权利要求8-10中任一项的能够处置对象(201)的起重机系统(200)，其中所述计算机程序代码包括用于执行根据权利要求16中任一项所述的方法的指令。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于管理能够处置对象(201)的起重机系统(200)的方法(100a)，所述方法包括：
2.根据权利要求1所述的方法，其中生成图像数据流包括执行如下各项中的至少一个：
3.根据权利要求1或2所述的方法，其中使用人工神经网络分析图像数据流包括从图像数据流中检测与对象(201)相关联的一个或多个异常的存在，并且其中所述异常包括对象中的缺陷和对象附近的人类中的一个或多个。
4.根据前述权利要求中任一项所述的方法，其中使用人工神经网络分析图像数据流包括：
5.根据前述权利要求中任一项所述的方法，其中自动操作起重机系统(200)包括操作起重机系统(200)的吊机(208)，以用于在人工神经网络的训练期间，基于基于对象性质定义的预定义处置参数来处置对象(201)。
6.根据权利要求5所述的方法，进一步包括取决于图像数据流的图像(300a)中的标记(201b)的定位来控制吊机(208)和起重机系统(200)之一的至少一个工作参数。
7.一种用于特别是根据权利要求1-6中任一项训练人工神经网络的方法(100b)，用于从图像数据流中标识标记(201b)，包括：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。